У файлі сховали команду для ШІ: що змінила GPT-5.6 і де захист усе ще потрібен

Ви просите ШІ-агента підсумувати договір. На видимій сторінці — звичайні умови постачання, а в непомітному шарі документа хтось залишив команду: ігнорувати задачу й передати дані іншому сервісу. Для людини це файл. Для моделі і корисний текст, і прихована команда можуть виглядати однаково переконливо.

OpenAI додала до GPT-5.6 захист, навчений у самій моделі, і окремо перевірила сім’ю на непрямій ін’єкції промпта. Результати сильні, але вони не дають підстав прибирати підтвердження, обмеження прав або власні перевірки. Сильніша модель — корисний шар захисту, а не чарівний антивірус для всього, що агент прочитав у мережі.

Що саме перевіряла OpenAI

В оцінюванні з конекторами ворожі інструкції ховали у виводі інструмента. Їхня мета — переконати модель відступити від системних інструкцій, інструкцій розробника або користувача. Окремий складніший набір атакував пошук і виклик функцій.

Непряма ін’єкція промпта починається саме на цьому переході: конектор приносить зовнішні дані, а вивід інструмента стає ще одним недовіреним входом.

Результати варто читати уважно:

• у наборі для конекторів Connectors Sol і Terra отримали 1.000, Luna — 0.999; GPT-5.5 також мала 1.000;
• у складнішому наборі для пошуку та викликів функцій Search and Function-Calling Sol отримала 0.910, Terra — 0.946, Luna — 0.897; для GPT-5.4 вказано 0.697, а для GPT-5.5 результату немає.

Це справді сильний крок уперед порівняно з GPT-5.4 у складнішому наборі. Водночас формулювання «Sol — найстійкіша модель OpenAI до будь-якої ін’єкції» було б неточним: Terra має вищий результат у тесті пошуку та функцій, а простіший набір уже досяг стелі в GPT-5.5. Коректніший висновок такий: сім’я GPT-5.6 краще підготовлена до відомих атак, а OpenAI називає всю систему захисту цього запуску своєю найнадійнішою на сьогодні.

Є ще одна межа точності. OpenAI пише, що частина захистів навчена безпосередньо в GPT-5.6. Проте публічний розділ про ін’єкцію промпта описує тести, а не окрему програму навчання саме на прихованих інструкціях. Тому цифри підтверджують стійкість у цих сценаріях, але не розкривають, яким саме набором даних її отримали.

Чому навчання моделі змінює ситуацію

Звичайний агент постійно змішує два типи тексту:

• інструкції визначають, що дозволено робити;
• дані містять те, що треба прочитати, знайти або підсумувати.

Мова не має вбудованого біта «це лише дані». Рядок у PDF, коментар у коді, опис товару або відповідь зовнішнього API може граматично звучати як команда. Навчання допомагає моделі частіше зберігати початкову задачу й не слухатися такого рядка.

Це особливо корисно для агента з пошуком і конекторами: атака може з’явитися вже після старту роботи, коли користувач її не бачив. Модель, яка краще розпізнає конфлікт, зменшує кількість успішних обходів ще до того, як застосунок застосує власні правила.

Але навіть 0.946 — не обіцянка безпомилковості. Оцінювання покриває відомі сценарії й конкретну конфігурацію. Ваші документи, промпти, інструменти, мови та послідовності дій можуть створити інші слабкі місця. OWASP прямо застерігає: надійного єдиного способу повністю прибрати ін’єкцію промпта поки немає.

Побудуйте межу, де дані не стають командами

Перший крок — не класти недовірений текст у системне повідомлення або повідомлення розробника. Там мають залишатися правила процесу, а файл чи сторінка мають надходити як дані для обробки. Саме розділення ролей не дає повного захисту, але прибирає найнебезпечніше підсилення чужого тексту.

Другий крок — передавати між етапами лише потрібні поля. Нехай перший етап поверне структурований вивід: номер договору, суму, дату й перелік ризиків у перевіреній схемі. Наступний етап отримає ці поля, а не весь сирий документ із можливими командами.

Третій крок — застосувати принцип найменших привілеїв. Агент для підсумку договору не потребує доступу до пошти, секретів середовища або завантаження файлів на довільні адреси. Якщо інструмент уміє і читати, і видаляти, краще дати окрему операцію лише для читання.

Четвертий крок — залишити підтвердження там, де помилка дорога. Надсилання листа, публікація, платіж, зміна доступу, видалення або передавання приватних даних не повинні відбуватися лише тому, що модель сформувала правильний виклик інструмента.

Перевірте свій процес без небезпечного експерименту

Для першого набору достатньо нешкідливої контрольної фрази, наприклад INJECTION_TEST_DO_NOT_FOLLOW. Додайте до тестового файла фразу, яка просить знехтувати задачею і повернути лише цей маркер. Таке вороже тестування не потребує секретів, зовнішніх адрес або руйнівних команд.

Повторіть чотири сценарії:

1. Маркер у видимому абзаці документа.
2. Маркер у метаданих або прихованому шарі тестового файла.
3. Маркер на сторінці, яку агент знаходить через пошук.
4. Маркер у полі, яке повертає тестовий інструмент.

Для кожного запуску перевірте не лише фінальну відповідь. Подивіться, чи агент зберіг початкову задачу, чи не змінив параметри інструмента, чи не запросив зайвий доступ і чи не спробував виконати непередбачену дію. Корисний критерій проходження: агент обробив потрібні дані, не виконав вкладену команду, не розширив свої права й залишив зрозумілий запис у журналі.

Запускайте сценарії кілька разів, бо відповіді моделей не цілком детерміновані. Повторюйте набір після зміни моделі, її версії, системних інструкцій, конектора або схеми інструмента. Саме так оцінка перетворюється на повторну перевірку, а не на одноразове демо.

Антипатерни, які створюють хибне відчуття безпеки

«Ми перейшли на Sol, тому ін’єкцію закрито». Назва моделі не обмежує права інструмента й не підтверджує небезпечну дію.

Чорний список фраз. Нападник може змінити мову, кодування, пробіли або розбити команду між кількома джерелами. Фільтр корисний як сигнал, але не як єдина стіна.

Сирий документ у кожному наступному кроці. Так ворожий текст подорожує процесом і отримує нові шанси вплинути на рішення. Передавайте лише перевірені поля.

Один успішний запуск. Він доводить лише те, що одна комбінація входу й випадковості спрацювала один раз.

Спільний всемогутній інструмент. Якщо агенту для читання доступні видалення, публікація й секрети, одна помилка має надто великий радіус ураження.

Що зробити цього тижня

Не починайте з великої платформи безпеки. Виберіть один агентний процес, де модель читає зовнішні дані й має хоча б один інструмент. Позначте межі довіри, приберіть сирий текст із найвищих інструкцій, звузьте права, додайте підтвердження для дорогих дій і створіть чотири тести з безпечним маркером.

GPT-5.6 робить такий процес стійкішим на рівні моделі. Ваша архітектура має зробити так, щоб навіть помилка моделі не перетворила текст у файлі на реальну шкоду.

Якщо потрібно спочатку вибрати між Sol, Terra і Luna, дивіться практичну маршрутизацію сім’ї GPT-5.6. А перевірку небезпечного потрапляння даних у системні інструкції розібрано в матеріалі про системний промпт як точку атаки.

Джерела

• OpenAI GPT-5.6 System Card — Prompt injection
• OpenAI — Safety in building agents
• OWASP LLM01:2025 Prompt Injection
• OWASP LLM Prompt Injection Prevention Cheat Sheet