GenAI

Единая ИИ-платформа для всей компании: один вендор, мультимодельное рабочее пространство, шлюз, облачный каталог или своя разработка

Простое руководство по выбору единой ИИ-платформы для всей компании. В нём сравниваются продукт одного вендора, мультимодельное рабочее пространство, LLM-шлюз вроде LiteLLM, Portkey, Kong или Cloudflare, облачный каталог (Microsoft Foundry, Amazon Bedrock, Gemini Enterprise Agent Platform от Google) и собственная разработка. Рассказано, как переносить custom GPT, кто что может видеть, где хранятся данные, какие условия GDPR действуют для обработчика и как устроено управление. Есть и пример расчёта цены за пользователя и за токен, а ещё разговор о привязке к вендору и вопросы, которые стоит задать поставщикам.

Автор: amBrain10 мин чтения

В этой статье

Многие компании доходят до одной и той же точки. Сотрудники уже пользуются ChatGPT или Microsoft Copilot, и вот кто-то просит другую модель, общего ассистента для одной команды или запись о том, кто что спрашивал. Модель — это обученная программа, которая пишет ответы, а большая языковая модель (LLM) — модель, которая работает с текстом. Можно остаться с продуктом одного вендора, купить рабочее пространство с несколькими моделями или поставить шлюз перед несколькими поставщиками. Шлюз — это точка контроля между вашей программой и моделями. Можно также арендовать модели в облачном каталоге или построить свою платформу. Большинству компаний среднего размера стоит начать с продукта, которым их сотрудники уже пользуются, и добавлять элементы, только когда появится названная потребность.

Коротко: оставайтесь с ChatGPT Enterprise или Microsoft 365 Copilot, пока работа — это чат, черновики и поиск внутри инструментов, за которые вы уже платите. Добавьте шлюз, когда несколько команд обращаются к моделям из своих программ и вам нужно одно место для ключей, лимитов и журналов. Берите облачный каталог, когда ваши системы уже работают в этом облаке. Покупайте мультимодельное рабочее пространство, когда сотрудникам нужно переключаться между поставщиками в одном окне чата. Стройте своё, когда ИИ находится внутри вашего продукта или одному процессу нужна логика, которой нет ни в одном продукте. При любом варианте запишите, кто может видеть какие данные, прежде чем переносить хоть одного ассистента.

Зачем компании больше одной ИИ-модели и когда хватает одной?

Модели различаются тем, что они делают хорошо и сколько стоят, а вендоры часто меняют линейки. Даже один продукт смешивает модели. На странице Microsoft о Copilot сказано: «По умолчанию Copilot использует маршрутизатор реального времени, чтобы менять используемую модель в зависимости от вашего запроса».

Выбирать модели самостоятельно есть три причины. Команде может понадобиться модель, которой нет в вашем продукте. Для рутинной задачи может подойти более мелкая и дешёвая. Или вам нужен второй поставщик на случай сбоя. Одного вендора достаточно, когда сотрудники используют ИИ для черновиков и поиска, никто не встраивает ИИ в ваше программное обеспечение, а настройки администратора соответствуют вашим правилам.

Что дают нам ChatGPT Enterprise и Microsoft 365 Copilot и где они заканчиваются?

Для рабочего пространства ChatGPT Enterprise запросите у OpenAI в письменном виде действующие настройки администратора, условия по данным и список моделей. В документации к API OpenAI сказано: «данные, отправленные в API OpenAI, не используются для обучения или улучшения моделей OpenAI (если вы явно не согласились делиться данными с нами)», но эта страница относится к API, а не к приложениям ChatGPT.

Custom GPT — это ассистент, которого сотрудник настраивает внутри ChatGPT с помощью письменных инструкций и прикреплённых документов. OpenAI описывает это как способ настроить ChatGPT под себя, «задав инструкции и прикрепив документы в качестве знаний».

Microsoft пишет: «Microsoft предлагает сторонние ИИ-модели в Microsoft Copilot, например модели Anthropic и OpenAI». И добавляет: «Как администратор, вы можете решить, использовать ли эти модели в своих сценариях; могут действовать дополнительные условия».

Ограничения проявляются, когда вы создаёте ассистентов. Microsoft пишет, что декларативные агенты «используют ИИ-инфраструктуру, модель и оркестратор Copilot», так что вы задаёте инструкции, знания и действия, но остаётесь в рамках выбора моделей Microsoft. Агент на собственном движке, где вы «приносите свой оркестратор и модели», может «требовать дополнительного размещения вне Microsoft 365». Microsoft говорит, что настройка «варьируется от простых конфигураций в Copilot Studio до сложных реализаций с кодом», а сторона с кодом на этом пути — это уже разработка.

Что такое мультимодельное рабочее пространство и от чего мы отказываемся?

Мультимодельное рабочее пространство — это чат-приложение для сотрудников, где модели нескольких поставщиков доступны под одним входом. Два примера, которые вы запускаете на собственных серверах: в документации Open WebUI упомянута «поддержка Ollama и API, совместимых с OpenAI», а LibreChat называет себя «самостоятельно размещаемым веб-приложением». Бывают и размещённые у поставщика продукты такого рода.

Вы отказываетесь от глубины. Microsoft говорит, что Copilot «показывает данные организации, только если у конкретного пользователя есть хотя бы права на просмотр», потому что читает ваши права доступа в Microsoft 365 напрямую. Отдельному рабочему пространству нужны собственные связи с вашими файлами и системами, а вам придётся составить карту того, кто какой файл может видеть. Самостоятельное размещение требует того, кто будет им заниматься, а размещённый у вендора продукт добавляет ещё одну компанию, которая работает с вашими запросами.

Что делает LLM-шлюз и кому он нужен?

Шлюз — это сервис между вашим программным обеспечением и поставщиками моделей. Ваша программа отправляет все запросы по одному адресу, а шлюз передаёт их выбранной модели. Токен — это небольшая единица текста, которую модель читает и пишет и которую поставщики считают и тарифицируют. В глоссарии Anthropic сказано, что токены «могут соответствовать словам, частям слов, символам или даже байтам».

Открытый проект LiteLLM описывает свой шлюз как «самостоятельно размещаемый сервер», который предлагает «одну OpenAI-совместимую конечную точку для более чем 100 поставщиков LLM, инструментов MCP и агентов A2A». Там сказано «выдайте каждому пользователю, команде и проекту виртуальный ключ» — каждому со «своими моделями, бюджетами и лимитами запросов». Настоящие ключи поставщиков при этом хранятся в одном месте.

Другие решают похожие задачи. Portkey сообщает, что «открыл исходный код» своего шлюза. Cloudflare AI Gateway, размещённый у вендора сервис, позволяет «просматривать метрики, такие как число запросов, токенов и стоимость работы вашего приложения». Kong пишет, что его AI Gateway умеет «автоматически переключаться на другого поставщика или другую модель, когда текущая медленная или недоступна».

Шлюз нужен, когда несколько команд или продуктов обращаются к моделям из кода и вам нужно одно место для ключей, бюджетов, маршрутизации и журналов. Сотрудникам, которые пользуются только чат-приложениями, он не нужен. Окна чата он им не даёт, а его журналы могут содержать запросы (текст, который вводят сотрудники), в зависимости от настроек, так что защищайте их.

Что добавляет каталог моделей облачного провайдера?

Три примера — Microsoft Foundry (прежде Azure AI Foundry), Amazon Bedrock и Gemini Enterprise Agent Platform от Google (прежде Vertex AI). Они позволяют вашим инженерам обращаться к моделям многих поставщиков через облачный аккаунт, который у вас уже есть. Microsoft пишет, что каталог Foundry «включает более 10 000 моделей», а AWS — что Bedrock поддерживает «более 100 базовых моделей». Google говорит, что Model Garden содержит модели «от Google и партнёров Google».

Плюсы — ваша действующая система безопасности, один счёт и выбор места обработки. Microsoft пишет: «вы можете выбрать глобальную, зональную или региональную обработку в зависимости от требований к соответствию». Это относится к бессерверным развёртываниям. Для моделей Claude, размещённых на собственной инфраструктуре Anthropic, Microsoft говорит, что данные «могут обрабатываться за пределами Azure, в том числе за пределами выбранной вами географии Azure». Минус в том, что это набор инструментов для разработчиков. Любое окно чата в его консоли предназначено для проверок разработчиками, поэтому готового чат-продукта для сотрудников нет, а тестирование и выбор моделей остаются на вас. Microsoft также пишет, что старые модели «могут быть выведены из каталога моделей Foundry».

Как перенести наши custom GPT, промпты и файлы знаний и что останется на старом месте?

Сначала сверьтесь с графиком OpenAI. В сообщениях прессы осени 2026 года говорится, что OpenAI планирует закрыть custom GPT в декабре 2026 года и перенести их в плагины, а для некоторых рабочих пространств Enterprise сроки будут позже. Ориентируйтесь на уведомление для вашего собственного пространства. Составьте список всех ассистентов с владельцем и назначением. Сначала пересоберите самых востребованных и проверьте каждую копию на одних и тех же вопросах. Три вещи переносятся хорошо: текст инструкций, исходные документы, если у вас остались оригиналы, и ваши тестовые вопросы. Четыре вещи остаются на старом месте. История переписки остаётся на прежней платформе, а сколько из неё можно выгрузить, зависит от её инструментов администратора. Настройки доступа нужно задать заново. Действия — вызовы из ассистента в другие ваши системы — придётся настроить заново на каждой платформе. Описание API в формате OpenAPI можно использовать повторно там, где платформа его принимает. И ответы изменятся, потому что каждая платформа по-своему разбивает файлы и ищет по ним, да и модель под капотом другая.

Кто что может видеть и как каждый вариант обращается с нашими данными?

Спросите у каждого варианта, обучаются ли на ваших данных модели поставщика и где эти данные обрабатываются. Вот что говорят вендоры:

  • API OpenAI: «данные, отправленные в API OpenAI, не используются для обучения или улучшения моделей OpenAI (если вы явно не согласились делиться данными с нами)».
  • Microsoft 365 Copilot: запросы, ответы и данные, прочитанные через Microsoft Graph (службу данных Microsoft 365), не используются для обучения его базовых моделей. «Трафик из ЕС остаётся в границах EU Data Boundary, тогда как трафик из остального мира может направляться в ЕС и другие страны или регионы для обработки LLM», а «модели, предоставляемые Anthropic как субобработчиком, в настоящее время исключены из EU Data Boundary».
  • Amazon Bedrock: «AWS и сторонние поставщики моделей не будут использовать входные и выходные данные Amazon Bedrock для обучения Amazon Nova, Amazon Titan или любых сторонних моделей». В общем FAQ о конфиденциальности AWS добавлено: «Вы выбираете регионы AWS, в которых хранится ваш контент». При глобальном межрегиональном профиле вывода Bedrock может обработать запрос в «любом поддерживаемом коммерческом регионе AWS по всему миру».
  • Gemini Enterprise Agent Platform (прежде Vertex AI): Google заявляет, что не обучает модели на ваших данных без вашего предварительного разрешения или указания. Данные в состоянии покоя, по его словам, остаются в выбранном вами расположении, но запросы к глобальной конечной точке «могут обрабатываться в любом расположении Google Cloud по всему миру».
  • Рабочее пространство или шлюз на вашей стороне: данные остаются в вашей среде, пока их не передали дальше, а после этого действуют условия поставщика модели. Размещённый шлюз добавляет ещё одну компанию.

Что касается персональных данных, в GDPR компания, которая обрабатывает данные по вашему поручению, называется обработчиком (processor). Если говорить просто, статья 28 требует письменного договора и действий только по вашим задокументированным указаниям, если закон не требует иного. Другого обработчика можно привлечь только с вашего предварительного письменного разрешения. Оно может быть общим, и тогда обработчик обязан сообщать вам об изменениях, чтобы вы могли возразить. На странице Microsoft о Foundry сказано, что служба Azure Machine Learning «выступает обработчиком данных для запросов и итогового содержимого при бессерверном развёртывании». О моделях Claude в Foundry Microsoft говорит, что Anthropic «выступает независимым обработчиком данных», так что проверяйте, кто обработчик для каждой модели. Пусть каждый договор прочитает ваш юрист.

Внутри компании ассистент должен показывать человеку только то, что тот и так мог бы открыть. При любом варианте, включая Copilot, проверьте это на одной учётной записи с папкой, которую этому человеку видеть нельзя.

Что на практике требуется от управления?

Сначала роли: кто отвечает за каждого ассистента, кто одобряет нового и кто может переключить модель. В NIST AI Risk Management Framework сказано: «Роли, обязанности и каналы коммуникации, связанные с картированием, измерением и управлением рисками ИИ, документированы и понятны отдельным людям и командам во всей организации».

Согласования идут вторыми. Отправка письма, изменение записи или оплата счёта должны ждать человека, как объясняет статья о согласовании человеком, ссылка на которую дана выше. Журналы идут третьими: кто спросил, какая модель ответила, какая версия ассистента работала и сколько это стоило. Шлюз может вести почти всю такую запись по каждой модели, к которой вы обращаетесь, если ваша программа передаёт с каждым запросом пользователя и версию ассистента.

Четвёртый пункт — реестр сценариев использования. В руководстве NIST сказано: «Созданы механизмы инвентаризации систем ИИ, и на них выделены ресурсы в соответствии с приоритетами организационных рисков». Для начала хватит общей таблицы. Для каждого сценария заведите строку: сценарий, владелец, модель, затрагиваемые данные и дата проверки.

Чем оплата за пользователя отличается от оплаты за токен?

Оплата за пользователя берёт фиксированную сумму за каждого именованного пользователя. Оплата за токен берёт деньги за текст, который ваша программа отправляет и получает. Попросите у каждого вендора действующую цену за пользователя в письменном виде, со всеми минимумами и дополнениями.

За токены Anthropic публикует прайс-лист в долларах США. В нём Claude Sonnet 5.5 стоит 2 доллара за миллион входных токенов и 10 за миллион выходных. Claude Haiku 5.5 стоит 0,10 и 0,50 доллара для запросов до 100 000 токенов.

Возьмём придуманную нагрузку: 1000 запросов в день, в каждом отправляется 3000 токенов, а получается 500, то есть 3 миллиона входных и 0,5 миллиона выходных токенов. На Sonnet 5.5 это 6 долларов за вход плюс 5 за выход, 11 долларов в день. На Haiku 5.5 — 0,30 плюс 0,25, то есть 55 центов в день. Нагрузка условная, а облачные реселлеры могут брать иначе.

Выходные токены стоят дороже входных, выбор модели меняет счёт в разы, а длинные прикреплённые документы увеличивают входную часть. Задайте бюджет шлюза с первого дня.

Как выглядит привязка к вендору и что нам стоит сохранить, чтобы можно было уйти?

Привязка к вендору возникает там, где вложено больше всего усилий: в ассистентах, собранных в редакторе одного вендора, в файлах, которые хранятся и готовятся для поиска в его системе, в действиях, написанных в его формате, и в истории, которая есть только у него. Шлюз тоже может стать такой привязкой, если ваши правила маршрутизации записаны в формате, который читает только он.

Храните инструкции каждого ассистента в репозитории вместе с исходными документами, тестовыми вопросами и выгрузкой журналов. Обращайтесь к моделям через OpenAI-совместимую конечную точку (формат запросов, который копируют многие инструменты), а действия стройте на открытых форматах, таких как описание OpenAPI (стандартное описание API) или Model Context Protocol, который называет себя «открытым стандартом для подключения ИИ-приложений к внешним системам». Закрепите в договоре условия выгрузки, удаления и уведомления о снятии модели с поддержки.

Когда оправдана собственная платформа?

Строить своё оправданно, когда ИИ входит в продукт, который вы продаёте: тогда пользователи — ваши клиенты, и лицензия для сотрудников их не покрывает. Оправданно это и тогда, когда одному процессу нужна логика, которой нет ни в одном продукте, например маршрутизация по договору клиента. Правила о том, где можно обрабатывать данные, тоже могут исключить все размещённые у вендора варианты.

Для одного лишь чата сотрудников это трудно оправдать. Перечисленные выше продукты уже это делают, а вы возьмёте на себя обновления, управление доступом, журналы и дежурства.

О чём стоит спросить вендора?

  • Какие модели мы можем выбирать и кто решает, когда одну из них заменить или снять с поддержки?
  • Используются ли наши данные для обучения на каком-либо тарифе и где в договоре это сказано?
  • В каком регионе обрабатываются данные и меняется ли это от выбранной нами модели?
  • Выступает ли вендор нашим обработчиком по GDPR и каких субобработчиков он использует?
  • Может ли администратор видеть и выгружать журналы запросов и ответов?
  • Сколько стоит месяц нашего реального использования со всеми минимумами и дополнениями?
  • Что мы можем забрать с собой, если уйдём, и в каком формате?

Что спросить у компании, которая будет это строить?

  • Какие части вы будете писать, а какие настраивать на основе готовых продуктов?
  • Будет ли это работать в нашем облачном аккаунте и у кого ключи?
  • Как вы будете проверять каждого ассистента перед запуском и кто с нашей стороны это подписывает?
  • Что мы получим в конце: код, конфигурацию, наборы тестов, журналы, руководства по эксплуатации?
  • Кто управляет системой после запуска и сколько это стоит каждый месяц?

Где здесь место amBrain?

amBrain ведёт этот блог. О собственном продукте компания говорит: «Наш собственный продукт shyash.ai работает на ИИ-агентах, которые исследуют, пишут, проверяют и измеряют на основе единой общей памяти о фактах компании. Человек одобряет всё, что уходит наружу».

Эта статья не является кейсом и не описывает работу для клиентов. Она не утверждает, что amBrain создавал мультимодельную платформу или шлюз для какого-либо клиента. Строка выше относится к собственному продукту amBrain, а примеры носят общий характер.

Названные здесь компании и проекты цитируются по их опубликованным страницам, прочитанным 10 ноября 2026 года. Статья не утверждает, что между amBrain и кем-либо из них есть отношения, и не называет цены и сроки amBrain.

amBrain делает софт с 2019 года. О том, как компания работает с клиентами, она говорит: «Три формата: полная разработка, выделенная команда или инженеры внутри вашей команды». О владении у неё такая строка: «Клиент сохраняет полное владение продуктом и кодом, кроме наших переиспользуемых компонентов». До подписания попросите поимённый список этих компонентов.

Если amBrain в вашем коротком списке, задайте ему те же вопросы, что и любой другой фирме.

Темы

  • ИИ-платформа
  • LLM-шлюз
  • Мультимодельный ИИ
  • Строить или покупать

Выводите языковую модель в продакшен?

Отправьте проект архитектуры или задачу, которую вы решаете, и цифры, которые у вас уже есть.

Расскажите о вашем проекте

Мы ответим в течение 24 часов с чётким планом действий.

На столе похожая архитектура?

Мы ответим в течение 24 часов с чётким планом действий.

Бесплатное знакомство с проектом · 30 минут