GenAI
Внедрение промптов и утечки данных в ИИ-ассистентах: защита от провайдера, продукт для защитных механизмов или собственные средства контроля
Что такое внедрение промптов, как инструкции, спрятанные на веб-странице, в письме или документе, могут заставить ИИ-ассистента слить данные и почему ни один фильтр не ловит все атаки. Здесь сравниваются защитные механизмы Microsoft, Amazon и Google, отдельные продукты и фреймворки с открытым кодом для защитных механизмов и средства контроля, которые вы встраиваете в собственное приложение; приведены опубликованные цены, тесты перед запуском и вопросы, которые стоит задать.
Автор: amBrain11 мин чтения
В этой статье
Внедрение промптов — это атака, при которой ИИ-ассистент выполняет инструкции, которые атакующий поместил в читаемый им текст. Текст может прийти от пользователя либо с веб-страницы, из письма, тикета или документа, которые ассистент обрабатывает. Если у ассистента при этом есть доступ к закрытым данным и возможность что-либо отправлять наружу, успешное внедрение может превратиться в утечку данных. Есть три линии защиты: защитные механизмы, которые предлагает провайдер модели или облака, отдельный продукт или фреймворк с открытым кодом для защитных механизмов и средства контроля, встроенные в ваше собственное приложение. Первые две снижают долю успешных атак. Жёсткие границы ущерба задаёт только третья, поэтому нужно больше одной.
Коротко: сначала включите проверки на внедрение у своего провайдера и уточните, какие входы они читают, поскольку документы и результаты работы инструментов часто остаются за рамками. Добавьте отдельный продукт или фреймворк для защитных механизмов, когда вы используете несколько моделей или облаков либо вам нужны единая политика и единый журнал. В любом случае встройте собственные средства контроля в приложение. Дайте ассистенту минимальный доступ, разрешайте отправку данных только в заданные места и пусть человек одобряет отправку, оплату и удаление.
Дальше по теме
Что такое внедрение промптов и как непрямое внедрение добирается до ассистента?
Open Worldwide Application Security Project (OWASP) — некоммерческий фонд в области безопасности. В своём списке Top 10 рисков 2025 года для приложений на основе больших языковых моделей (LLM) он ставит внедрение промптов на первое место. При прямом внедрении инструкции вводит сам пользователь, например приказывает боту поддержки игнорировать его правила. При непрямом они приходят внутри содержимого: «Непрямое внедрение промптов происходит, когда LLM принимает ввод из внешних источников, например с сайтов или из файлов».
Атакующему не нужен доступ к вашим системам. Центр реагирования на проблемы безопасности Microsoft (Security Response Center) приводит два примера: письмо, отправленное жертве, и общий документ. Инструкции в них «могут быть скрыты от пользователя, например белым текстом на белом фоне или непечатаемыми символами Unicode».
Почему успешное внедрение превращается в утечку данных?
Для утечки нужны сразу три условия. Их называет «Правило двух для агентов» (Agents Rule of Two) от Meta, отчасти вдохновлённое «смертельной тройкой» (lethal trifecta) Саймона Уиллисона (Simon Willison):
- Ассистент обрабатывает недоверенный ввод, например входящую почту или веб-страницы.
- Он может добраться до чувствительных систем или закрытых данных.
- Он может менять записи или отправлять данные наружу.
Meta считает, что у ассистента в одной сессии должно быть не больше двух из этих условий. Когда задаче нужны все три в одной сессии, ассистенту «не следует разрешать работать автономно, и как минимум требуется надзор».
Данные могут уйти и без инструмента для отправки почты. Microsoft описывает модель, которая пишет ссылку на изображение, в веб-адрес которой вшиты украденные данные. Браузер пользователя загружает изображение и отправляет данные атакующему «без какого-либо участия пользователя». Кликабельная ссылка сливает те же данные после клика, а инструмент, который пишет в публичное место, может слить их напрямую.
Национальная база данных уязвимостей США (US National Vulnerability Database) фиксирует уязвимость внедрения в Microsoft 365 Copilot, которая «позволяет неавторизованному атакующему раскрыть информацию по сети». Microsoft оценила её серьёзность в 9,3 балла из 10. Правила в инструкциях модели, то есть в системном промпте, не гарантируют защиту от таких утечек. В разделе OWASP о раскрытии чувствительной информации сказано, что они «могут не всегда соблюдаться и могут быть обойдены через внедрение промптов или другими способами».
Почему ни один фильтр не ловит все внедрения?
Британский Национальный центр кибербезопасности (National Cyber Security Centre, NCSC) объясняет причину: «Современные большие языковые модели (LLM) попросту не обеспечивают границу безопасности между инструкциями и данными внутри промпта». SQL-инъекция, более старая атака на базы данных, пресекается тем, что ввод никогда не считается командой. Языковая модель так не умеет, поэтому NCSC делает вывод, что внедрение промптов «останется остаточным риском и не может быть полностью устранено с помощью продукта или устройства».
Разработчики моделей с этим согласны. Meta называет внедрение промптов «фундаментальной, нерешённой слабостью всех LLM». Anthropic проверила своё расширение для браузера Chrome против внутреннего адаптивного атакующего, делая по 100 попыток на каждую тестовую среду. Атакующему всё равно удалось около 1% атак на Claude Opus 4.5 с улучшенными защитными механизмами Anthropic. Anthropic говорит, что такой уровень «по-прежнему представляет серьёзный риск».
Модели обнаружения, или классификаторы, учатся на уже известных атаках. Meta говорит, что её классификатор Prompt Guard 2 нацелен на «явные, известные шаблоны атак», и называет «уязвимость к адаптивным атакам» среди своих ограничений. NCSC советует покупателям: «Остерегайтесь тех, кто утверждает, что может „остановить“ внедрение промптов, и присмотритесь к тем, кто понимает, как его ослабить».
Что покрывают защитные механизмы вашего провайдера модели или облака?
Microsoft, Amazon и Google продают проверки на внедрение, которые работают рядом с моделью.
Prompt Shields от Microsoft, часть Azure AI Content Safety, обнаруживают «пользовательские атаки через промпт» и «атаки через документы». Вторые Microsoft определяет как «скрытые инструкции, встроенные в содержимое документов (документы, письма, веб-страницы)». На платформе Microsoft Foundry для моделей и агентов «обнаружение атак через документы по умолчанию отключено». Когда вы обращаетесь к сервису через программный интерфейс (API), «сам API не блокирует и не маршрутизирует содержимое», поэтому по результату должен действовать ваш код. Его модели обнаружения «в основном обучены и оценены на англоязычном содержимом». В прайс-листе Microsoft сервис теперь называется Content Safety in Foundry Control Plane. Там указан бесплатный уровень в 5000 текстовых записей в месяц. Стандартный уровень стоит $0,375 за 1000 текстовых записей, каждая до 1000 символов, в большинстве регионов.
Amazon Bedrock Guardrails определяет внедрение, которое ловит его фильтр атак через промпт, так: «Пользовательские промпты, созданные, чтобы игнорировать и переопределять инструкции, заданные разработчиком». При вызовах InvokeModel в Bedrock ввод пользователя нужно помечать тегами: «Если тегов нет, атаки через промпт для этих сценариев фильтроваться не будут». Amazon добавляет: «Фильтр атак через промпт не оценивает результаты работы инструментов». Фильтры содержимого, в которые входит проверка на атаки через промпт, стоят $0,15 за 1000 текстовых единиц по 1000 символов. Одна проверка на атаки через промпт через отдельную операцию стоит $0,08. Фильтр, который блокирует или маскирует персональные данные, стоит $0,10.
Model Armor от Google Cloud проверяет промпты, ответы и загруженные документы на внедрение, чувствительные данные и вредоносные ссылки для ИИ, развёрнутого «в Google Cloud или у других облачных провайдеров». Он «проверяет каждый промпт и каждый ответ независимо, как отдельный однократный запрос», не глядя на предыдущие сообщения. Он также «не декодирует и не проверяет закодированное содержимое, например промпты, закодированные в Base64», то есть в распространённом способе записи данных буквами, цифрами и несколькими символами. Model Armor бесплатен до 2 миллионов токенов в месяц, затем стоит $0,10 за каждый дополнительный 1 миллион токенов, при примерно четырёх символах на токен.
Провайдеры также обучают свои модели противостоять внедрению. Google говорит, что состязательное обучение «значительно усилило нашу защиту от непрямого внедрения промптов в моделях Gemini 2.5». У библиотеки OpenAI Guardrails с открытым кодом, пока в предварительной версии, есть проверка на внедрение, которая ищет «несоответствующие вызовы инструментов и результаты их работы».
Что добавляет отдельный продукт или фреймворк с открытым кодом для защитных механизмов?
Отдельный слой защитных механизмов можно поставить между вашим приложением и каждой моделью, к которой оно обращается, и тогда один набор правил и один журнал охватят их все.
NeMo Guardrails от NVIDIA — открытый проект под лицензией Apache 2.0. Он запускает проверки, которые называет рейлами (rails), на вводе пользователя, извлечённых фрагментах документов, вызовах инструментов и выводе. Рейл извлечения «может отклонить фрагмент, не позволив использовать его в промпте для LLM». Llama Prompt Guard 2 от Meta — небольшой классификатор, который вы запускаете на своих серверах. Он читает по 512 токенов за раз, поэтому длинные документы нужно разбивать. Оба можно скачать бесплатно. Затраты — это серверы, дополнительная задержка и инженеры, которые их настраивают.
Несколько коммерческих продуктов сменили владельцев. Check Point завершила покупку Lakera и продаёт её защиту на этапе выполнения как AI Agent Security. Palo Alto Networks купила Protect AI для своей платформы Prisma AIRS, а F5 купила CalypsoAI и продаёт F5 AI Guardrails. Их цифры — это их собственные заявления. Check Point приписывает Lakera «долю обнаружения выше 98 процентов при задержке менее 50 мс и ложных срабатываниях ниже 0,5 процента». Ни на одной из страниц продуктов, прочитанных для этой статьи, нет цены. Там предлагают демо, а Lakera позволяет начать бесплатно.
Какие средства контроля нужно встроить в приложение самостоятельно?
Эти средства контроля не пытаются распознать атаку. Они ограничивают то, до чего может добраться и что может сделать обманутый ассистент. Рекомендации Microsoft исходят из того, что нужно «исходить из того, что непрямое внедрение промптов произойдёт». OWASP говорит, что критически важные средства контроля, такие как проверки авторизации, «нельзя делегировать LLM».
- Давайте ассистенту только те инструменты и права, которые нужны для его задачи, в пределах прав вошедшего пользователя. В разделе OWASP об избыточной самостоятельности описан обработчик почты для краткого пересказа писем, которому «может требоваться лишь возможность читать письма».
- Держите недоверенное содержимое отдельно от инструкций. Где позволяет задача, планируйте каждый вызов инструмента до того, как прочитан какой-либо недоверенный текст. Это шаблон «plan-then-execute» («сначала план, затем выполнение»), один из шести в статье исследователей из нескольких компаний и научных институтов, среди которых Microsoft. Тогда внедрение «не может заставить LLM выполнить инструмент, не входящий в заданный план». Но оно всё ещё может изменить то, что отправляют запланированные вызовы, например текст письма.
- Разрешайте отправку данных только в заданные места: утверждённые почтовые домены, утверждённые веб-адреса (URL) и изображения или ссылки с ваших собственных доменов. Google сообщает, что выходной фильтр Gemini «определяет внешние URL изображений и не отображает их».
- Пусть человек одобряет всё, что отправляет, оплачивает, удаляет или меняет в записях, увидев настоящего получателя и содержимое. Microsoft сообщает, что в Copilot в Outlook «пользователь должен явно одобрить сгенерированный текст и сам отправить письмо». Meta предупреждает о «пользователе, который слепо подтверждает предупреждающее окно».
- Не храните секреты и правила доступа в системном промпте: по словам OWASP, его «не следует считать секретом и не следует использовать как средство безопасности».
- Записывайте в журнал «полный ввод и вывод LLM, а также использование инструментов», как советует NCSC. Ограничьте число действий, которые ассистент может выполнить в час или в сутки.
У этих средств контроля есть цена. CaMeL — это архитектура от исследователей из Google и ETH Zurich, которая отделяет запрос пользователя от недоверенных данных. В тестах агентов AgentDojo она выполнила 77% задач «с доказуемой безопасностью» против 84% у системы без защиты.
Дальше по теме
Когда подходит каждая линия защиты и зачем их сочетать?
- Защитные механизмы вашего провайдера подходят как первый слой, когда ассистент работает у одного облачного или модельного провайдера. Они стоят недорого в расчёте на проверку и не требуют нового договора.
- Продукт или фреймворк для защитных механизмов подходит, если у вас несколько моделей или облаков либо команда безопасности хочет единую политику и единый журнал. Инструменты с открытым кодом тоже могут проверять текст на ваших собственных серверах.
- Собственные средства контроля нужны в каждом развёртывании. Когда ассистент попадает под все три условия Meta, без них ни один классификатор не снижает риск достаточно.
В собственных рекомендациях Microsoft сказано: «Ни одно решение само по себе не достаточно», и обнаружение сочетается с детерминированными средствами контроля, которые всегда ведут себя одинаково. NCSC добавляет: «Если безопасность системы не выдерживает оставшегося риска, она, возможно, не подходит для сценариев с LLM».
По указанным выше прайс-листам проверка миллиона текстов по 1000 символов обходится примерно в $375 на стандартном тарифе Azure. В Bedrock она стоит $150 с фильтрами содержимого или $80 с отдельной проверкой на атаки через промпт. Model Armor берёт около $25 после бесплатного лимита. Проверки различаются, поэтому считайте эти цифры грубым ориентиром. Microsoft предупреждает, что такие проверки «иногда могут блокировать легитимные действия, что сказывается на удобстве пользователей».
Что проверить перед запуском?
OWASP советует тестировать, «рассматривая модель как недоверенного пользователя». Проверяйте ассистента целиком на вашем содержимом, с вашими инструментами и правами:
- Подложите инструкции в каждый вход: чат, загруженные файлы, извлечённые документы, входящую почту, веб-страницы и результаты работы инструментов. Добавьте скрытый текст и все языки, на которых пишут ваши клиенты.
- Попробуйте закодированный текст, инструкции, разбитые по нескольким файлам, и длинные документы, где инструкции находятся далеко от начала.
- Подложите тестовый секрет и попробуйте вытащить его через ссылки на изображения, кликабельные ссылки, исходящую почту, веб-запросы и общие системы.
- Войдите как один клиент и попробуйте прочитать данные другого клиента.
- Измеряйте ложные срабатывания, то есть безобидные сообщения, помеченные как атаки, на реальном трафике. Google предлагает запускать Model Armor в режиме «Inspect only», который пишет в журнал, но ничего не блокирует.
Сканеры с открытым кодом автоматизируют часть этой работы. garak от NVIDIA ищет «утечку данных, внедрение промптов» и другие сбои. PyRIT от Microsoft сочетает «автоматические сканирования, адаптивные многоходовые атаки и тестирование силами людей». Promptfoo сообщает, что «теперь входит в OpenAI», и остаётся проектом с открытым кодом. Он запускает из командной строки тесты в формате red team, то есть имитацию атак. Повторяйте тесты после каждой смены модели, промпта или инструмента.
Что будет, если ассистент допустит утечку персональных данных?
По Общему регламенту ЕС о защите данных (General Data Protection Regulation, GDPR) утечка через ассистента может быть нарушением безопасности персональных данных. Статья 4 исходного текста определяет его как «нарушение безопасности, приводящее к случайному или незаконному уничтожению, потере, изменению, несанкционированному раскрытию персональных данных или доступу к ним». Статья 33 требует от контролёра уведомить надзорный орган «без неоправданной задержки и, когда это возможно, не позднее чем через 72 часа после того, как ему стало об этом известно». Исключение составляет нарушение, которое вряд ли приведёт к риску для прав и свобод людей. Ваши журналы показывают, что и когда ушло.
Что спросить у вендора или компании-разработчика?
- Какие входы читает ваша проверка: сообщения пользователей, документы, почту, результаты работы инструментов? Какие проверки по умолчанию отключены?
- Блокирует ли проверка сама, или наш код должен действовать по её вердикту? Что происходит, когда она недоступна?
- На каких атаках, языках и каком трафике измерены ваши показатели обнаружения и ложных срабатываний? Проверите ли вы на нашем содержимом?
- Где проверяется наш текст, что вы храните и как долго?
- Сколько задержки добавляет каждая проверка?
- Какие инструменты может вызывать ассистент, с чьими правами и куда он может отправлять данные?
- Какие действия требуют одобрения и что видит одобряющий?
- Если вы делаете это для нас, кому принадлежат код, тесты и журналы и какие части — ваши многоразовые компоненты?
Где здесь место amBrain?
amBrain ведёт этот блог. О собственном продукте компания говорит: «Наш собственный продукт aigo работает на ИИ-агентах, которые исследуют, пишут, проверяют и измеряют на основе единой общей памяти о фактах компании. Человек одобряет всё, что уходит наружу». О клиентской работе с языковой моделью она говорит: «Мы вывели LLM-интеграцию в продакшен внутри FinTech-контура клиента: извлечение и нормализация неструктурированных уведомлений брокеров и торговых площадок — корпоративных действий, изменений по инструментам и марже — в структурированные записи, которые потребляет торговая система».
Своими словами: «amBrain создаёт программное обеспечение с 2019 года». О работе с клиентами компания говорит: «Три формата: полная разработка, выделенная команда или инженеры, встроенные в вашу команду». Об правах на результат у неё сказано так: «Клиент сохраняет полное право собственности на продукт и код, за исключением наших многоразовых компонентов». Попросите поимённый список этих компонентов до подписания договора.
Ни одна из приведённых здесь строк amBrain не посвящена защите от внедрения промптов, и ни в одной не сказано, что amBrain создаёт для клиентов защитные механизмы или агентов либо проверяет их безопасность.
Эта статья не является кейсом и не описывает клиентскую работу, кроме приведённой выше строки о FinTech, в которой ничего не сказано о том, как защищали тот проект. Остальные цитаты взяты с опубликованных страниц названных выше организаций, компаний и проектов, из научных статей на arXiv, Национальной базы данных уязвимостей США и legislation.gov.uk и прочитаны 13 ноября 2026 года. Статья не утверждает, что между amBrain и кем-либо из них есть связь, не рекомендует ни один из их продуктов и не называет цен и сроков amBrain.
Это тоже не юридическая консультация. Спросите юриста, как закон о защите данных применяется к вашему ассистенту и что должен охватывать ваш план действий при утечке. Если amBrain есть в вашем коротком списке, задайте ей те же вопросы, что и любой другой фирме.
Темы
- Prompt injection
- Безопасность ИИ
- Защитные механизмы
- Строить или покупать