Разработка AI на аутсорсе, а данные остаются у вас: как внешняя команда работает внутри ваших систем

Внешний подрядчик может построить и эксплуатировать AI-систему на документах, которые не должны покидать вашу компанию. Документы остаются на ваших серверах, а инженеры подрядчика получают к ним доступ с машин под вашим контролем и через учётные записи, которые вы выдаёте и можете отключить. Строят они на образцах документов, одобренных вашей командой, а с реальными документами работают только на ваших серверах. Чтобы найти подрядчика, который умеет так работать, спросите, как его инженеры получали доступ к документам одного из прошлых клиентов и что подрядчик удалил по завершении проекта.

Может ли внешний подрядчик построить нам AI-систему, если данные не должны покидать компанию?

Да. Где работает языковая модель — отдельное решение, его разбирает статья о закрытом периметре по ссылке выше. Эта статья — о людях, которые строят систему, и о том, что они могут увидеть и скопировать. Модель на ваших собственных серверах мало что защищает, если инженер сохранит папку реальных документов на ноутбук, чтобы проверить промпт (инструкции, которым следует модель).

Считается ли, что данные ушли из компании, если инженер только читает наши документы?

По праву ЕС о защите данных обработкой считается даже чтение персональных данных. Статья 4(2) GDPR определяет обработку как любую операцию с персональными данными, и в её перечне есть «consultation», то есть просмотр данных. Подрядчик, чьим инженерам такой доступ нужен для работы, обычно становится вашим обработчиком (processor) — так GDPR называет компанию, которая обрабатывает персональные данные по вашему поручению. Статья 28 требует заключить с обработчиком договор или другой юридически обязывающий акт.

Если подрядчик находится за пределами Европейской экономической зоны, его удалённый доступ — это передача данных за рубеж, даже если данные лишь отображаются на экране. Об этом говорится в Руководящих принципах 05/2021 Европейского совета по защите данных (EDPB), который объединяет надзорные органы ЕС в этой области.

Для передачи нужно правовое основание по главе V GDPR. Одно из них — решение о достаточности защиты, которым Европейская комиссия признаёт, что страна подрядчика защищает персональные данные в достаточной мере. Другое — стандартные договорные условия (SCC): готовые формулировки договора, которые Комиссия приняла 4 июня 2021 года. Прежде чем на них опираться, стороны оценивают законы страны подрядчика, как описано в Рекомендациях EDPB 01/2020.

В США Правило о мерах защиты (Safeguards Rule) Федеральной торговой комиссии (FTC) распространяется на финансовые организации под надзором FTC, например на ипотечных кредиторов и компании, которые выдают займы до зарплаты. Они обязаны принимать разумные меры, чтобы выбирать поставщиков услуг, способных защитить информацию клиентов, прописывать эту защиту в договоре и время от времени проверять поставщиков. Кроме того, они должны использовать многофакторную аутентификацию для «любого лица, получающего доступ к любой информационной системе», если только их ответственный за информационную безопасность письменно не одобрит разумно эквивалентные или более надёжные меры контроля. Прежде чем кто-то извне получит доступ, спросите у своего юриста, какие из этих правил касаются вас.

Как внешние инженеры получают доступ, не вынося данные наружу?

Выдавайте им доступ так же, как своим сотрудникам, только с более жёсткими ограничениями:

• Именная учётная запись для каждого человека, созданная в ваших собственных системах, с многофакторной аутентификацией. При общем логине по журналам не понять, кто какой документ открывал
• Одно место для работы: виртуальный рабочий стол — компьютер на ваших серверах, который инженер видит только как картинку на экране. Подойдёт и ноутбук под управлением вашей компании, если документы открываются на нём только через этот рабочий стол. Запретите копирование файлов и текста на другие устройства
• Доступ по ролям, а к реальным документам — только по отдельному согласованию с датой окончания
• Выход в интернет с рабочих мест — только туда, куда нужно для работы, чтобы документ нельзя было вставить на публичный сайт или в онлайн-чат
• Журналы входов и обращений к файлам хранятся у вашей службы безопасности, и подрядчик не может их править

Прежде чем к работе приступит первый инженер, попросите кого-нибудь со своей стороны вынести документ с рабочего места всеми способами, какие он сможет придумать. Закройте каждую лазейку, которая сработала, и повторяйте проверку после каждого изменения настроек.

На чём внешние инженеры строят систему, пока не увидели реальные документы?

Для значительной части работы реальные документы не нужны. Большую часть кода — от чтения входящих файлов до экрана, где проверяющие сверяют ответы, — можно построить на одобренных образцах. Хорошие образцы — это опубликованные документы того же типа и вымышленные документы, сгенерированные на ваших серверах по вашим же шаблонам.

Реальные документы нужны для двух задач. Первая — приёмочный набор: реальные документы, размеченные правильными ответами, по которым систему оценивают перед каждым релизом. Вторая — доводка системы на тех случаях, которые образцы не покрывают. И то и другое происходит на ваших серверах, а занимаются этим люди с допуском к реальным документам.

Если убрать из документа имена, анонимным он становится не всегда: номер счёта или дата вместе с суммой всё равно могут указать на конкретного человека. Пункт 26 преамбулы GDPR говорит, что псевдонимизированные данные — где имена заменены, но дополнительная информация всё ещё позволяет связать данные с человеком, — считаются персональными. Поэтому держите такие образцы на своих серверах, пока ваш специалист по защите данных не подтвердит, что они анонимны.

Где оседают копии наших документов во время проекта?

Работающая система и сама создаёт копии — в логах и поисковом индексе; их перечисляет статья об AI-пилотах по ссылке выше. Копии, которые люди делают в ходе разработки, упустить проще:

• Образец, сохранённый на ноутбук инженера, чтобы проверить промпт офлайн
• Скриншоты и вставленные фрагменты текста в таск-трекере, чате или почте подрядчика — они остаются в его системах и бэкапах
• Текст, вставленный в AI-ассистент для программирования или в чат-сервис, который может отправить его своему провайдеру
• Тестовая копия системы в собственном облачном аккаунте подрядчика, куда ради экономии времени загрузили ваши данные
• Выгрузка для демонстрации вашему руководству, которую потом кому-то переслали

Обращайтесь с поисковым индексом так же, как с самими документами. Он хранит каждый фрагмент в виде эмбеддинга — набора чисел, передающего его смысл. Во многих системах рядом лежит и сам текст фрагмента. Исследования показывают, что текст можно восстановить по одним только числам.

На конференции EMNLP в 2023 году Morris и коллеги в точности восстановили 92% фрагментов длиной 32 токена (токен — это слово или его часть). Они работали с эмбеддингами одной открытой модели и могли обращаться к ней с запросами многократно. Для коммерческой модели и для более длинных фрагментов доля точного восстановления была ниже. Тем же методом из набора клинических записей восстановили 89% полных имён.

Зафиксируйте письменно, что ваши документы и всё, что из них сделано, например поисковый индекс или приёмочный набор, остаются в ваших системах.

Какими инструментами могут пользоваться внешние инженеры?

Только теми, что входят в короткий список, согласованный с подрядчиком для машин с доступом к вашим документам. Чтобы составить список, спросите, какими AI-ассистентами для программирования и онлайн-инструментами его инженеры пользуются каждый день. Про каждый уточните, отправляет ли он внешнему провайдеру код, который видит, или вставленный в него текст.

Если команде нужен AI-ассистент для программирования, подключите его к модели внутри вашего контура, то есть сети и систем, которые контролирует ваша компания. Иначе ставьте его только на машины, которые никогда не видят документов. Список входит в договор, а новый инструмент добавляется только с вашего согласия.

Что должно быть в договоре с подрядчиком?

Для персональных данных из ЕС статья 28 GDPR перечисляет, что должно быть в договоре. Среди прочего подрядчик действует только по вашим документально оформленным указаниям, а все, у кого есть доступ, обязаны соблюдать конфиденциальность данных. Подрядчик принимает меры безопасности, которых требует статья 32, допускает ваши аудиты и не привлекает другого обработчика без вашего предварительного письменного разрешения. По окончании услуг подрядчик по вашему выбору удаляет или возвращает данные и удаляет существующие копии, если право ЕС или государства-члена не требует их хранить.

Таким проектам нужно ещё несколько условий сверх этого:

• Имя и роль каждого, у кого есть доступ, и страна, из которой этот человек работает
• Уведомление в установленный вами срок всякий раз, когда кто-то приходит в проект или уходит из него
• Никаких субподрядчиков без вашего письменного согласия — даже для документов, в которых нет персональных данных
• Подписанное в конце проекта подтверждение, что копий не осталось ни на ноутбуках, ни в аккаунтах, ни в бэкапах

Это не юридическая консультация: условия под вашу юрисдикцию составляет ваш юрист.

Что происходит, когда кто-то уходит из проекта или проект заканчивается?

Доступ должен заканчиваться в тот же день, что и работа. Американский институт стандартов NIST посвящает внешнему персоналу, включая компании, которые разрабатывают системы, меру PS-7 своего каталога мер безопасности SP 800-53. Эта мера предписывает обязать подрядчика в установленный вами срок сообщать, когда кто-то из тех, у кого есть ваши учётные данные или права доступа, переходит на другую работу или уходит.

В последний день ваша команда отключает учётные записи и виртуальные рабочие столы и забирает выданные ноутбуки. В тот же день смените все пароли и ключи, которые знали внешние инженеры, и получите от подрядчика письменное подтверждение: какие копии он удалил и что других не осталось. Те же шаги выполняйте, когда из продолжающегося проекта уходит один инженер.

Как проверить подрядчика до того, как он получит доступ?

Попросите каждую компанию из шорт-листа ответить письменно и сравните ответы между собой:

• Опишите, как ваши инженеры получали доступ к документам клиента в прошлом проекте с похожими правилами, не называя клиента
• Скажите, у кого будет доступ в нашем проекте, где эти люди работают и штатные ли это сотрудники или субподрядчики
• Скажите, на чём вы будете строить систему, пока не увидите реальных документов, и кто утверждает образцы
• Покажите подтверждение удаления, которое вы подписали в конце прошлого проекта, убрав из него данные клиента

Какие тревожные сигналы искать в плане или договоре подрядчика?

• Подрядчик просит выгрузить ваши данные в его собственное облако, «чтобы быстрее начать»
• Инженеры будут работать под одним общим логином, или подрядчик не может сказать, у кого будет доступ
• В плане инженеры тестируют промпты с реальными документами на собственных ноутбуках подрядчика
• Договор молчит о субподрядчиках или о копиях в конце проекта

Где здесь место amBrain?

Единственный проект с языковой моделью, который amBrain описывает публично, таков: «Мы вывели интеграцию LLM в прод внутри FinTech-периметра клиента: извлечение и нормализация неструктурированных уведомлений брокеров и торговых площадок — о корпоративных действиях, изменениях по инструментам и марже — в структурированные записи, которые потребляет торговая система».

Эта статья — не кейс. Клиент не называется. Статья не утверждает, что инженеры amBrain работали внутри систем этого клиента или что в том проекте использовалась какая-либо из описанных выше схем. Цен и сроков она не приводит.

amBrain делает софт с 2019 года. О владении у amBrain такая строка: «Клиент сохраняет полное владение продуктом и кодом, кроме наших переиспользуемых компонентов». До подписания попросите у amBrain поимённый список этих компонентов — так же, как попросили бы у любой другой компании.

Прежде чем привлекать внешнюю команду к работе над AI-системой на документах с ограниченным доступом, задайте вопросы выше каждой компании из своего списка.

Частые вопросы

• Могут ли внешние инженеры работать из своего офиса? Да, если они заходят в ваши системы только через виртуальный рабочий стол или управляемый ноутбук и ничего не хранят на своих компьютерах. Если подрядчик находится за пределами Европейской экономической зоны, такой доступ по правилам ЕС считается передачей данных, как описано выше
• Добавляет ли такая схема работы до старта проекта? Да. Учётные записи, рабочие места и согласования должны быть готовы до того, как к работе приступит первый инженер, поэтому заранее спросите подрядчика, что ему нужно от вашего ИТ-отдела
• Хватит ли соглашения о неразглашении (NDA)? Нет. Типичное NDA обязывает хранить тайну, и многие такие соглашения также требуют вернуть или уничтожить документы в конце работы, хотя некоторые разрешают подрядчику оставить копии в своих бэкапах. Именных учётных записей, рабочих мест и правил для субподрядчиков NDA не вводит. Для персональных данных из ЕС статья 28 к тому же требует условий, которых в NDA обычно нет