AI-проект под ключ: когда работает фиксированная цена и как выбрать подрядчика, который доведёт пилот до прода

Застрявший AI-пилот можно довести до конца как проект под ключ: в финале вам передают работающую систему. Начните с короткого аудита по фиксированной цене. Он замеряет пилот на ваших документах и задаёт показатель, до которого пилот нужно довести. Поднять показатель до этой цели — работа, цену которой заранее не назовёт никто, поэтому покупайте её с оплатой по времени и материалам (T&M): почасовые ставки и потолок на общую сумму. На остальное, то есть на работу, которую можно описать на бумаге, фиксируйте цену поэтапно.

Что значит «под ключ», когда речь идёт об AI-системе?

Для AI-системы «под ключ» означает, что подрядчик сдаёт систему, готовую к работе, а договор определяет, что значит «готовая». Например, система работает внутри вашего контура — на серверах или в облачных аккаунтах, которые контролирует ваша компания. Она достигает целевого показателя на ваших документах и передаёт сомнительные случаи человеку. После ухода подрядчика ваши сотрудники могут эксплуатировать её сами.

В строительстве подрядчик «под ключ» сам проектирует и строит весь объект и сдаёт его готовым к эксплуатации. Для таких проектов Международная федерация инженеров-консультантов (FIDIC) выпускает типовой договор, известный как «Серебряная книга».

На странице FIDIC о редакции 2017 года названы три случая, когда «Серебряная книга» не подходит:

• У участников тендера не хватает времени или информации, чтобы проверить требования заказчика, провести собственное проектирование и анализ рисков и оценить стоимость
• Значительная часть работ идёт под землёй или в других местах, которые участники тендера не могут осмотреть, — если только договор не покрывает условия, которые никто не мог предвидеть
• Заказчик собирается плотно контролировать работу подрядчика или проверять большую часть чертежей

Для таких случаев FIDIC рекомендует другой типовой договор — «Жёлтую книгу». Застрявший AI-пилот подпадает под первые два случая, пока какая-нибудь компания не прогонит через него ваши документы: грунт ещё никто не обследовал. Поэтапный договор, описанный ниже, подпадает под третий: работа при нём остаётся под вашим плотным контролем. Так что понимайте «под ключ» как передачу работающей системы, а цену назначайте поэтапно.

Почему в AI-проектах трудно назвать фиксированную цену?

Многие части программного проекта можно описать заранее, до того как их начнут строить. Отчёт или интеграция с другой системой укладываются в текст, а написанное подрядчик может оценить.

У системы, которая читает документы с помощью языковой модели, есть часть, которую никто не опишет заранее: как часто она правильно читает каждое поле в ваших документах. Поле — это один элемент данных, например дата или сумма. Ответ зависит от ваших сканов и шаблонов и от случаев, о которых никто не вспоминает, пока они не появятся. Сколько работы потребует целевой показатель, неизвестно, пока кто-нибудь не замерит систему на ваших документах.

То же различие проводят и правила госзакупок США. Часть 16 Регламента федеральных закупок (Federal Acquisition Regulation, FAR) посвящена типам контрактов. Контракт по времени и материалам она описывает так: отработанные часы оплачиваются по фиксированным почасовым ставкам, а материалы — по фактической стоимости. Такой контракт допускается, только если при подписании никто не может точно оценить объём работ или предсказать их стоимость «с какой-либо разумной степенью уверенности».

По FAR контракт с фиксированной ценой подходит для работ с ясной спецификацией, где справедливую цену можно установить на старте. Часть 16 также требует от сотрудников, заключающих контракты, не затягивать с T&M, когда опыт уже даёт основу для более твёрдой цены.

Поэтому фиксированная цена за весь проект, названная до того, как кто-то прогнал ваши документы, обычно включает большой запас на неопределённость. Альтернатива — список исключений, то есть того, что в цену не входит, и каждое исключение возвращает риск вам. Ищите в предложении и то и другое.

Какие этапы подходят для фиксированной цены, а какие — для T&M?

Это не юридическая консультация. Договор пишет ваш юрист, а эта статья перечисляет, что в нём должно быть. Разделите работу на части и назначайте цену каждой исходя из того, что известно к её началу:

• Начните с аудита по фиксированной цене. Подрядчик читает код пилота, прогоняет пилот на выборке ваших реальных документов внутри вашего контура и записывает, почему тот застрял. Вы получаете черновик приёмочного набора — подборку ваших реальных документов с правильным ответом для каждого — и план следующего этапа с ценой. И то и другое остаётся у вас, продолжите вы работу или нет
• Самый неопределённый этап — средний, подъём показателя. Ему подходит T&M с потолком, то есть с предельной суммой, которую подрядчик может выставить к оплате. Подрядчик пробует на приёмочном наборе разные промпты (письменные инструкции, которым следует модель) и разные модели и каждую неделю показывает вам замеры. Если прогресс застопорился, работу можно остановить
• Когда целевой показатель достигнут, остаётся обычная инженерная работа, и её оценивают фиксированными этапами. Сюда входят установка системы внутри вашего контура, оповещения о падении качества, очередь ручной проверки, где сотрудники разбирают сомнительные случаи, и перевод вашей команды на новую систему. Каждый фиксированный этап заканчивается приёмочным прогоном — тестом, который оценивает систему на приёмочном наборе и решает, оплачивается ли этап
• После запуска эксплуатацию системы разумно оплачивать ежемесячно, с письменным перечнем того, что входит в эту плату: кто-то должен следить за качеством и заниматься обновлениями модели

FAR также требует, чтобы контракт по времени и материалам содержал «предельную цену, превышая которую подрядчик действует на свой страх и риск». Заложите потолок и в свой договор. Он ограничивает ваши расходы, но по условию об оплате из самого FAR подрядчик не обязан продолжать работу после того, как потолок достигнут, если только вы его не поднимете. Договоритесь заранее, что тогда происходит: вы останавливаетесь, поднимаете потолок или перепланируете работу.

Подрядчик может предложить всю цепочку этапов одним договором и назвать это проектом под ключ. Так можно работать, если у каждого этапа своя цена и свой приёмочный прогон, а вы вправе остановиться между этапами.

Что в договоре должно означать «готово»?

«Готово» значит, что система прошла приёмочный прогон по проходному порогу, согласованному ещё до того, как зафиксировали цену. В договоре нужно прописать:

• Какие документы входят в приёмочный набор, сколько их каждого типа и кто записал правильные ответы. Как только цена этапа назначена, набор замораживается
• Проходной порог для каждого поля и каждого типа документов (вместе они и составляют целевой показатель) и поля, которые всегда уходят человеку, каким бы ни был показатель
• Где проходит приёмочный прогон и кто его проводит. Он проходит внутри вашего контура, на той самой версии, которую передаст подрядчик. Проводят его ваши сотрудники, либо они наблюдают, как это делает подрядчик
• Что происходит, если система не прошла приёмочный прогон. Подрядчик получает установленный срок, чтобы исправить её за свой счёт. После этого вы вправе остановиться и оставить себе то, что построено

Часть приёмочного набора не показывайте подрядчику до самого приёмочного прогона. Если подрядчик видел все тестовые документы, он может подогнать систему именно под них, и показатель завысит то, как она справляется с новыми. Как собрать такой набор, объясняет статья об AI-пилотах, которые так и не дошли до прода, — ссылка на неё выше.

Что потом может сломать договор на AI-проект с фиксированной ценой?

Договоритесь заранее, как эти события меняют цену:

• Новые типы документов или шаблоны, которых нет в приёмочном наборе. Считайте их изменениями и оценивайте так же, как этапы
• Вывод из эксплуатации модели, на которой работает система. На странице OpenAI об устаревании моделей (deprecations), например, установлен срок уведомления не меньше шести месяцев для общедоступной модели и не меньше трёх месяцев для её специальных версий. Preview-модели могут снять с гораздо более коротким уведомлением, а соображения безопасности или комплаенса могут сократить любой из этих сроков. Пропишите, кто платит за проверку замены на приёмочном наборе и за переход на неё
• Задержки на вашей стороне: например, доступ подрядчика к вашим системам долго согласуют или документы и правильные ответы, которые ему нужны, приходят с опозданием. Фиксированная цена исходит из того, что ваша часть приходит вовремя, поэтому перечислите, что и к какому сроку должна передать ваша сторона
• Изменение ваших собственных правил: например, ваш риск-менеджмент решает, что какой-то класс документов больше нельзя отправлять во внешнюю модель. Тогда эти документы придётся обрабатывать внутри вашего контура, а это меняет и работу, и её цену

Расходы на эксплуатацию не входят в цену разработки, если в договоре не сказано иное. Плата за использование модели или стоимость серверов, на которых она работает, растёт вместе с числом документов. Договоритесь, кто платит за это во время разработки и после запуска и на сколько документов в месяц рассчитана цена.

Как привязать платежи к результату?

Привяжите каждый платёж по фиксированной цене к тому, что система прошла приёмочный прогон внутри вашего контура, и не назначайте ни один из этих платежей просто на дату. На этапе T&M вы платите за часы в пределах потолка, а еженедельные замеры подсказывают, стоит ли продолжать.

Придержите часть последнего платежа, пока система не проработает в проде согласованный срок, не опускаясь ниже целевого показателя. Долю и срок согласуйте до подписания.

Сохраните за собой право остановиться после любого этапа и забрать всё, что построено к этому моменту, включая код, промпты, приёмочный набор и скрипты, которые по нему оценивают систему. Как в договоре устроено владение кодом, разбирает статья по ссылке ниже.

Как проверить подрядчика, который берётся довести наш пилот?

Напишите бриф на одну страницу: что делает пилот, какие документы он читает и сколько в день, куда могут уходить данные и какой показатель вам нужен. Отправьте его каждой компании из шорт-листа с одними и теми же вопросами:

• Что вам нужно увидеть, чтобы зафиксировать цену, и для какого этапа вы бы её зафиксировали?
• Покажите, как был устроен ваш прошлый договор на похожую работу, убрав из него цены и название клиента
• Что происходит, если в конце этапа система не прошла приёмочный прогон?
• Кто в вашей команде уже выводил AI-систему в прод и будет ли этот человек работать на нашем проекте?
• Могут ли ваши инженеры работать внутри нашего контура по нашим правилам доступа?

Последний вопрос подробно разбирает статья о том, как отдать разработку AI на аутсорс и оставить данные у себя, — ссылка на неё выше.

Что в коммерческом предложении должно насторожить?

• Цена за весь проект приходит раньше, чем подрядчик увидел хотя бы один ваш документ
• Предложение обещает процент правильных ответов, но не говорит, на каких документах его будут измерять
• Слова «под ключ» есть, а приёмочного прогона и права остановиться между этапами нет
• Расходов на эксплуатацию нет или они значатся только как «по согласованию»
• Проект договора записывает промпты или приёмочный набор в собственность подрядчика

Где здесь место amBrain?

Единственный проект с языковой моделью, который amBrain описывает публично, таков: «Мы вывели интеграцию LLM в прод внутри FinTech-периметра клиента: извлечение и нормализация неструктурированных уведомлений брокеров и торговых площадок — о корпоративных действиях, изменениях по инструментам и марже — в структурированные записи, которые потребляет торговая система».

Эта статья — не кейс. В ней не говорится, что проект выше начинался как застрявший пилот другой команды. Описанные выше модели оплаты, включая «под ключ» и фиксированную цену, — это общие советы, и статья не говорит, предлагает ли amBrain какую-либо из них. Цен и сроков amBrain она не приводит.

amBrain берёт на себя проекты, застрявшие у другой команды, и доводит их до продакшена.

amBrain делает софт с 2019 года. О владении у amBrain такая строка: «Клиент сохраняет полное владение продуктом и кодом, кроме наших переиспользуемых компонентов». До подписания попросите у amBrain поимённый список этих компонентов — так же, как попросили бы у любой другой компании.

Если ваш пилот застрял, отправьте amBrain тот же бриф и те же вопросы, что и всем остальным компаниям, и сравните ответы между собой.

Частые вопросы

• У нашего пилота уже есть цифра точности. Зачем платить за аудит? Если пилот проверяли на вымышленных данных или на документах, которые кто-то вычистил вручную, его цифра мало что говорит о ваших реальных документах. Аудит замеряет пилот на их выборке внутри вашего контура, а черновик приёмочного набора, который при этом получается, остаётся у вас в любом случае
• Может, лучше нанять свою ML-команду? Если AI — это продукт, который вы продаёте, скорее всего да, и этот выбор разбирает статья о найме ML-команды по ссылке выше. Если система — инструмент внутри ваших процессов, подрядчик может довести пилот, пока вы нанимаете людей, которые будут её эксплуатировать
• Нужно ли показывать наши документы каждой компании из шорт-листа? Нет. Бриф описывает ваши документы, но не содержит их. Реальные документы видит только компания, которую вы выбрали для аудита, и работает она внутри вашего контура