GenAI

全社で使うAIプラットフォームを一つに:単一ベンダー、マルチモデルワークスペース、ゲートウェイ、クラウドカタログ、自社開発

会社全体で使うAIプラットフォームを一つ選ぶための、わかりやすいガイドです。単一ベンダーの製品、マルチモデルワークスペース、LiteLLM、Portkey、Kong、CloudflareなどのLLMゲートウェイ、クラウドのカタログ(Microsoft Foundry、Amazon Bedrock、GoogleのGemini Enterprise Agent Platform)、そして自社開発を比べます。カスタムGPTの移行、誰が何を見られるか、データの所在とGDPR上の処理者の条件、ガバナンスを扱います。また、ユーザー単位の料金とトークン単位の料金を計算した例、ロックインの問題、ベンダーへの質問も取り上げます。

執筆:amBrain読了10分

この記事の内容

多くの会社が同じ地点に行き着きます。従業員はすでにChatGPTやMicrosoft Copilotを使っていて、そこへ誰かが、別のモデル、一つのチーム向けの共有アシスタント、誰が何を尋ねたかの記録を求めます。モデルとは、回答を書く学習済みのプログラムで、大規模言語モデル(LLM)は文章を扱うモデルです。選択肢は、一社の製品にとどまる、複数のモデルを使えるワークスペースを買う、複数の提供元の前にゲートウェイを置く、の三つです。ゲートウェイとは、ソフトウェアとモデルのあいだに置く管理の拠点です。クラウドのカタログからモデルを借りる方法や、自社開発する方法もあります。中堅規模の会社の多くは、従業員がすでに使っている製品から始め、必要なものがはっきりしたときだけ部品を足すのがよいでしょう。

結論から言うと、作業がチャット、文書作成、すでに料金を払っているツール内の検索であるうちは、ChatGPT EnterpriseかMicrosoft 365 Copilotにとどまってください。複数のチームが自分たちのソフトウェアからモデルを呼び出し、キー、上限、ログを一か所にまとめたいなら、ゲートウェイを足します。システムがすでにそのクラウドで動いているなら、クラウドのカタログを使います。従業員が一つのチャット画面で提供元を切り替えたいなら、マルチモデルワークスペースを買います。AIが自社の製品の内部にある場合や、一つの業務にどの製品も提供していないロジックが必要な場合は、自社開発にします。どの方法でも、アシスタントを一つでも移す前に、誰がどのデータを見てよいかを書き出してください。

会社が複数のAIモデルを使いたいのはなぜですか。また、一つで足りるのはどんなときですか?

モデルは、得意なことも費用も異なり、ベンダーはラインナップを頻繁に変えます。一つの製品でも、複数のモデルが混在しています。MicrosoftのCopilotのページには「Copilotは、デフォルトで、リアルタイムのルーターを使い、プロンプトに応じて裏で使うモデルを調整する」とあります。

自分でモデルを選ぶ理由は三つあります。チームが、自社の製品にないモデルを必要とする場合。定型的な作業には、より小さくて安いモデルが向く場合。または、障害に備えて二つ目の提供元を用意しておきたい場合です。従業員がAIを文書作成と検索に使い、ソフトウェアにAIを組み込む人がおらず、管理機能が御社のルールを満たすなら、一社で十分です。

ChatGPT EnterpriseとMicrosoft 365 Copilotで何ができて、どこまでが限界ですか?

ChatGPT Enterpriseのワークスペースについては、現在の管理機能、データの条件、モデルの一覧をOpenAIに書面で確認してください。OpenAIのAPIドキュメントには「OpenAI APIに送信されたデータは、OpenAIのモデルの学習や改善には使用されません(ユーザーが明示的にデータの共有を選択した場合を除く)」とありますが、そのページが扱うのはAPIであり、ChatGPTのアプリではありません。

カスタムGPTは、従業員がChatGPTの中で、文章の指示と添付資料を使って作るアシスタントです。OpenAIは、これをChatGPTを「指示を与え、資料をナレッジとして添付することで」カスタマイズする方法と説明しています。

Microsoftは「MicrosoftはMicrosoft Copilotで、AnthropicやOpenAIのモデルなど、サードパーティのAIモデルを提供している」と述べています。さらに「管理者は、これらのモデルを使って体験を動かすかどうかを決められ、追加の条件が適用される場合がある」としています。

限界が見えるのは、アシスタントを作るときです。Microsoftは、宣言型エージェントは「CopilotのAIインフラ、モデル、オーケストレーターを使う」と述べており、指示、ナレッジ、アクションは設定できても、モデルの選択はMicrosoftのものに従うことになります。「独自のオーケストレーターとモデルを持ち込む」カスタムエンジンエージェントでは、「Microsoft 365の外に追加のホスティングが必要になる」場合があります。Microsoftは、セットアップは「Copilot Studioでの簡単な設定から、高度なプロコードの実装まで幅がある」と述べていますが、その道のプロコード側の端は、すでに自社開発です。

マルチモデルワークスペースとは何で、何を手放すことになりますか?

マルチモデルワークスペースは、複数の提供元のモデルを一つのログインで使える、従業員向けのチャットアプリケーションです。自社のサーバーで動かせる例が二つあります。Open WebUIのドキュメントには「OllamaとOpenAI互換APIのサポート」とあり、LibreChatは自らを「セルフホスト型のWebアプリケーション」と呼んでいます。この種のホスト型製品もあります。

手放すのは深さです。Microsoftは、Copilotが「個々のユーザーが少なくとも閲覧権限を持つ組織データだけを表示する」と述べています。Microsoft 365の権限を直接読み取るためです。別のワークスペースでは、ファイルやシステムへの接続を独自に用意し、誰がどのファイルを見てよいかを対応づける必要があります。セルフホストには運用する担当者が要り、ホスト型の製品では、プロンプトを扱う会社が一社増えます。

LLMゲートウェイは何をするもので、誰に必要ですか?

ゲートウェイは、御社のソフトウェアとモデル提供元のあいだに置くサービスです。ソフトウェアはすべてのリクエストを一つの宛先に送り、ゲートウェイが選ばれたモデルへ転送します。トークンは、モデルが読み書きする文字列の小さな単位で、提供元がこれを数えて課金します。Anthropicの用語集は、トークンは「単語、サブワード、文字、場合によってはバイトに相当することがある」と説明しています。

オープンソースのLiteLLMプロジェクトは、自社のゲートウェイを「セルフホスト型のサーバー」で、「100以上のLLM提供元、MCPツール、A2Aエージェントに対応する、OpenAI互換のエンドポイント一つ」を提供すると説明しています。「各ユーザー、チーム、プロジェクトに仮想キーを渡す」ことができ、それぞれに「モデル、予算、レート制限」が設定されます。実際の提供元のキーは、一か所に置いたままにできます。

ほかにも似た領域をカバーするものがあります。Portkeyは、自社のゲートウェイを「オープンソース化した」としています。ホスト型サービスのCloudflare AI Gatewayは、「リクエスト数、トークン数、アプリケーションの実行にかかる費用などの指標を確認できる」としています。Kongは、同社のAI Gatewayが「処理が遅い、または利用できないときに、別の提供元やモデルへ自動的にフェイルオーバーできる」としています。

複数のチームや製品がコードからモデルを呼び出し、キー、予算、ルーティング、ログを一か所にまとめたいなら、ゲートウェイが必要です。チャットアプリを使うだけの従業員には必要ありません。ゲートウェイは、従業員にチャット画面を提供するものではなく、設定によっては、ログにプロンプト(従業員が入力するテキスト)が残ることがあるため、保護してください。

クラウドプロバイダーのモデルカタログは、何を加えてくれますか?

例は、Microsoft Foundry(旧Azure AI Foundry)、Amazon Bedrock、GoogleのGemini Enterprise Agent Platform(旧Vertex AI)の三つです。すでに契約しているクラウドアカウントを通じて、エンジニアが多数の提供元のモデルを呼び出せます。Microsoftは、Foundryのカタログに「10,000を超えるモデルが含まれる」と述べ、AWSは、Bedrockが「100以上の基盤モデル」に対応すると述べています。Googleは、Model Gardenに「Googleとそのパートナーのモデル」があるとしています。

利点は、既存のセキュリティ設定、請求書が一本にまとまること、そして処理場所を選べることです。Microsoftは「コンプライアンス要件に応じて、グローバル、データゾーン、リージョンのいずれかの処理を選べる」と述べています。これはサーバーレスデプロイメントに当てはまります。Anthropic自身のインフラ上でホストされるClaudeモデルについては、Microsoftは、データが「選択したAzureのジオグラフィの外を含め、Azureの外部で処理されることがある」と述べています。代償は、これが開発者向けの道具箱だという点です。コンソールにあるチャット画面は開発者がテストするためのもので、従業員向けの完成したチャット製品は付いてこず、テストとモデル選びは御社の仕事のままです。Microsoftは、古いモデルは「Foundryのモデルカタログから提供終了になることがある」とも述べています。

カスタムGPT、プロンプト、ナレッジファイルはどう移行できますか。また、何が移せずに残りますか?

まずOpenAIの予定表を確認してください。2026年秋の報道によると、OpenAIは2026年12月にカスタムGPTを終了してプラグインへ移行する予定で、一部のEnterpriseワークスペースにはそれより遅い日付が設定されています。御社のワークスペースに届く通知に従ってください。すべてのアシスタントを、担当者と用途とともに一覧にします。よく使われるものから作り直し、同じ質問で各コピーをテストします。うまく移せるものは三つあります。指示文、元の資料が手元にあればその資料、そしてテスト用の質問です。移せないものは四つあります。会話履歴は旧プラットフォームに残り、どこまでエクスポートできるかは、その管理ツール次第です。共有設定は設定し直しになります。アクション、つまりアシスタントから他のシステムへの呼び出しは、プラットフォームごとに設定し直しです。APIのOpenAPI記述は、受け付けるプラットフォームであれば再利用できます。そして回答は変わります。プラットフォームごとにファイルの分割と検索の方法が違い、裏のモデルも異なるためです。

誰が何を見てよいことになっていますか。また、各方法は、当社のデータをどう扱いますか?

どの方法についても、データが提供元のモデルの学習に使われるかどうか、そしてどこで処理されるかを確認してください。各ベンダーの説明は次のとおりです。

  • OpenAI API:「OpenAI APIに送信されたデータは、OpenAIのモデルの学習や改善には使用されません(ユーザーが明示的にデータの共有を選択した場合を除く)」。
  • Microsoft 365 Copilot:プロンプト、応答、そしてMicrosoft Graph(Microsoft 365のデータサービス)を通じて読み取られたデータは、基盤モデルの学習に使われません。「EUのトラフィックはEUデータ境界内にとどまるが、世界各地のトラフィックはLLM処理のためにEUやその他の国・地域へ送られることがある」とされ、「Anthropicが復処理者として提供するモデルは、現在EUデータ境界の対象外である」とされています。
  • Amazon Bedrock:「AWSおよびサードパーティのモデル提供元は、Amazon Bedrockへの入力や出力を、Amazon Nova、Amazon Titan、またはサードパーティのモデルの学習に使用しません。」AWSの一般的なプライバシーFAQには、さらに「コンテンツを保存するAWSリージョンは、お客様が選択します」とあります。グローバルなクロスリージョン推論プロファイルを使うと、Bedrockは「世界中のサポート対象のAWS商用リージョン」のどこでもリクエストを処理できます。
  • Gemini Enterprise Agent Platform(旧Vertex AI):Googleは、事前の許可や指示なしに、お客様のデータでモデルを学習させることはないとしています。保存中のデータは選択した場所にとどまるが、グローバルエンドポイントへのリクエストは「世界中のあらゆるGoogle Cloudのロケーションで処理されることがある」とも述べています。
  • 自社でホストするワークスペースやゲートウェイでは、データは転送されるまで御社の環境にとどまり、転送後はモデル提供元の条件が適用されます。ホスト型のゲートウェイでは、関与する会社が一社増えます。

個人データについて、GDPRは、御社に代わってデータを扱う会社を処理者と呼びます。平たく言えば、第28条は、書面による契約を結ぶこと、そして、法律で別に定められている場合を除き、文書化された御社の指示にのみ従って行動することを求めています。別の処理者を加えられるのは、御社の事前の書面による許可がある場合に限られます。この許可は一般的なものでもかまいませんが、その場合、処理者は異議を述べられるよう、変更を御社に知らせなければなりません。MicrosoftのFoundryのページは、Azure Machine Learningサービスが「サーバーレスデプロイメントで送信されたプロンプトと出力コンテンツについて、データ処理者として機能する」と述べています。FoundryのClaudeモデルについては、MicrosoftはAnthropicが「独立したデータ処理者として機能する」と述べているため、モデルごとに処理者が誰かを確認してください。各契約は、御社の法務担当者に読んでもらってください。

社内では、アシスタントは、その人がすでに開ける情報だけをその人に見せるべきです。Copilotを含め、どの方法でも、見てはいけないフォルダについて、一つのログインでこれをテストしてください。

ガバナンスには、実務上何が必要ですか?

まず役割です。各アシスタントの担当者は誰か、新しいものを承認するのは誰か、モデルを切り替えられるのは誰か。NISTのAIリスクマネジメントフレームワークには「AIリスクのマッピング、測定、管理に関する役割、責任、連絡経路が文書化され、組織全体の個人とチームにとって明確である」とあります。

承認は二番目です。メールの送信、レコードの変更、請求書の支払いは、上でリンクした人による承認の記事で説明しているとおり、人の判断を待つべきです。ログは三番目です。誰が尋ねたか、どのモデルが答えたか、アシスタントのどのバージョンが動いたか、いくらかかったかを残します。ソフトウェアがリクエストごとに利用者とアシスタントのバージョンを送るなら、ゲートウェイは、呼び出すすべてのモデルについて、この記録の大半を書けます。

四つ目は、ユースケースの台帳です。NISTのプレイブックには「AIシステムを棚卸しする仕組みが整えられ、組織のリスクの優先度に応じて人員や予算が割り当てられている」とあります。始めるには、共有のスプレッドシートで十分です。各行に、ユースケース、担当者、モデル、扱うデータ、見直しの日付を書きます。

ユーザー単位の料金とトークン単位の料金は、どう違いますか?

ユーザー単位の料金は、名前を持つユーザー一人ごとに一定額を課します。トークン単位の料金は、ソフトウェアが送受信するテキストの量に対して課します。各ベンダーに、現在のユーザー単価を、最低利用量とアドオンをすべて含めて、書面で確認してください。

トークンについては、Anthropicが米ドルの価格表を公開しています。Claude Sonnet 5.5は、入力が100万トークンあたり2ドル、出力が100万トークンあたり10ドルです。Claude Haiku 5.5は、10万トークンまでのプロンプトで、0.10ドルと0.50ドルです。

仮の作業量を考えます。1日1,000件のリクエストで、1件ごとに3,000トークンを送り、500トークンを受け取る場合、入力は300万トークン、出力は50万トークンです。Sonnet 5.5では、費用は入力が6ドル、出力が5ドルで、1日11ドルです。Haiku 5.5では、0.30ドルと0.25ドルで、1日55セントです。この作業量は仮定であり、クラウドの再販業者は異なる料金を請求することがあります。

出力トークンは入力トークンより高く、モデルの選び方で請求額は大きく変わり、長い添付資料は入力側を増やします。ゲートウェイの予算は、初日から設定してください。

ロックインとは具体的にどんなもので、離れられるように何を手元に残すべきですか?

ロックインは、手間をかけた場所に生じます。一社のエディターで作ったアシスタント、そのシステムに保存して検索用に整えたファイル、そのフォーマットで書いたアクション、そこにしか残らない履歴です。ルーティングのルールがそのゲートウェイにしか読めない形式で書かれていれば、ゲートウェイもロックインになりえます。

すべてのアシスタントの指示文を、元の資料、テスト用の質問、ログのエクスポートとともに、リポジトリで管理してください。モデルの呼び出しにはOpenAI互換のエンドポイント(多くのツールが真似ているリクエスト形式)を使い、アクションは、OpenAPI記述(APIの標準的な記述形式)や、自らを「AIアプリケーションを外部システムにつなぐためのオープンソースの標準」と説明するModel Context Protocolなど、オープンな形式で作ってください。エクスポート、削除、モデルの提供終了の通知に関する条件は、契約で取り決めてください。

自社でプラットフォームを作るのは、どのような場合に正当化されますか?

自社開発が妥当なのは、AIが自社で販売する製品の一部になっている場合です。利用者が御社のクライアントになるため、従業員向けライセンスではカバーできません。一つの業務に、どの製品も提供していないロジック、たとえばクライアントとの契約に応じたルーティングが必要な場合も妥当です。データを処理してよい場所についてのルールによって、ホスト型の選択肢がすべて除外されることもあります。

社内のチャットだけのために作るのは、正当化しにくいでしょう。上で挙げた製品がすでにそれを提供しており、御社はアップデート、アクセス管理、ログ、そして待機当番まで引き受けることになります。

ベンダーに何を尋ねるべきですか?

  • どのモデルを選べますか。また、モデルを入れ替えたり終了したりするときは、誰が決めますか?
  • どのプランでも、データは学習に使われますか。また、契約書のどこにそう書かれていますか?
  • データはどのリージョンで処理されますか。また、選ぶモデルによってそれは変わりますか?
  • ベンダーは、御社のGDPR上の処理者にあたりますか。また、どの復処理者を使っていますか?
  • 管理者は、プロンプトと回答のログを閲覧し、エクスポートできますか?
  • 当社の実際の利用量で1か月にいくらかかりますか。最低利用量とアドオンをすべて含めた金額でお願いします。
  • 解約する場合、何を持ち出せますか。また、どの形式ですか?

構築を任せる会社に何を聞くべきか

  • どの部分を作り、どの部分を既存の製品から設定して組み上げますか?
  • 当社のクラウドアカウントで動かせますか。また、キーは誰が持ちますか?
  • 公開前に、各アシスタントをどのようにテストしますか。また、御社側の承認者は誰ですか?
  • 最終的に何を受け取れますか。コード、設定、テストセット、ログ、運用ガイドでしょうか?
  • 公開後は誰が運用し、毎月いくらかかりますか?

amBrain はどこに位置づけられるか

このブログを発行しているのは amBrain である。自社のプロダクトについて、amBrain はこう述べている:「自社プロダクトのshyash.aiは、会社の事実を集めた一つの共有メモリをもとに、調査、執筆、確認、計測を行うAIエージェントで動きます。配信されるものはすべて担当者が承認します。」

この記事は事例紹介ではなく、クライアントの業務を扱っていません。amBrainがいずれかのクライアントのためにマルチモデルプラットフォームやゲートウェイを構築したとは述べていません。上の一文はamBrain自身の製品についてのもので、例は一般的なものです。

ここで挙げた会社とプロジェクトは、2026年11月10日に確認した、各社の公開ページから引用しています。この記事は、amBrainとこれらの会社との間のいかなる関係も主張せず、amBrainの料金や納期も示していません。

amBrain は2019年からソフトウェアを作っている。顧客との仕事の進め方については、こう述べている:「三つの形態:フルデリバリー、専任チーム、あるいはあなたのチームに入るエンジニア。」所有権についての一文はこうだ:「顧客は、プロダクトとコードの完全な所有権を保持する。ただし、私たちの再利用可能なコンポーネントは除く。」署名の前に、そのコンポーネントを名前で列挙した一覧を求めること。

amBrainが候補に入っているなら、他社と同じ質問をしてください。

トピック

  • AIプラットフォーム
  • LLMゲートウェイ
  • マルチモデルAI
  • 自作か購入か

言語モデルを本番稼働させますか?

設計案、または解決しようとしている問題と、すでにお持ちの数字をお送りください。

プロジェクトについてお聞かせください

24時間以内に、明確な進行計画をお返しします。

手元に似た設計はありますか?

24時間以内に、明確な進行計画をお返しします。

無料のプロジェクト初回相談 · 30分