自社サーバーで動く、会社のためのプライベートな ChatGPT:何が必要で、誰が構築できるのか

プライベートな ChatGPT とは、ChatGPT と同じように使えるが、自社が管理するサーバーで動くチャットアシスタントのことだ。社員がチャットアプリにサインインすると、チャットアプリはその質問を同じサーバー上の言語モデルに送る。そして自社の文書に対する検索によって、モデルはそれらの文書をもとに答えられる。こうした部品はどれも、オープンソースまたはライセンス提供のソフトウェアとして、すでに存在している。

手間がかかるのは、これらの部品を自社のサインイン、文書の権限、ログにつなぐことと、そのあとシステムを運用することだ。トライアルなら自社の IT チームで立ち上げられる。全社員がそれに頼るようになる前に、規制対象の企業は、以下の各要件が自社のシステム上で機能するところを見せられるチームを雇うべきだ。

なぜ企業はプライベートな ChatGPT を求めるのか

社員は、雇用主が AI ツールを用意するのを待ってはいない。31か国の31,000人のナレッジワーカーを対象にした、Microsoft と LinkedIn による2024年の Work Trend Index では、AI を使っている人の78%が、自分の AI ツールを職場に持ち込んでいると答えた。

2023年5月、Samsung は、4月に社内のデータが誤って ChatGPT に流出したことを受けて、会社の端末と社内ネットワークでの生成 AI ツールの利用を一時的に制限した。TechCrunch は、外部のサーバーにあるデータは「回収して削除する」のが難しいという Samsung の懸念を報じている。同社は、「生成 AI を安全に利用するためのセキュアな環境をつくる措置を検討している」と述べた。

イングランド銀行（Bank of England）と FCA が2024年11月に公表した英国の金融機関への調査では、AI の利用に対する規制上の制約として最も大きいと受け止められていたのは、データ保護とプライバシーだった。

プライベートな ChatGPT は何でできているのか

「プライベートな ChatGPT」は、OpenAI の製品名ではない。別々の部品を組み合わせたシステムを指す言葉であり、ChatGPT を提供する企業である OpenAI のモデルが、その部品の一つになることもある。以下で名前を挙げるオープンソースのプロジェクトは、提案書で目にするかもしれない例であり、本稿はそれらを順位付けしない。部品は次のとおりだ:

• チャットアプリは、社員がサインインし、質問し、ファイルをアップロードし、過去のチャットを探す Web ページだ。オープンソースの例の一つが、MIT ライセンスの LibreChat である。プロジェクトのページには、OAuth2 と LDAP による社内アカウントでのサインインが挙げられている。どちらも、社員がすでに持っているアカウントにアプリをつなぐ一般的な方法だ。LibreChat は、OpenAI 自身のサービスと同じ形式でリクエストを受け付けるモデルサーバーなら、どれとも連携できる。この形式は OpenAI 互換 API と呼ばれる
• モデルサーバーは、自社のハードウェア上で言語モデルを動かし、チャットアプリからのリクエストに答える。オープンソースの例が vLLM だ。そのドキュメントには「OpenAI の Completions API、Chat API などを実装している」とある。そのため、OpenAI のサービス向けに書かれたチャットアプリは、送り先を自社のサーバーに替えて質問を送れる
• モデルとは、サーバーが読み込む、重み（weights）と呼ばれるファイル一式だ。オープンウェイトモデルは、そのモデルのライセンスの条件に従って、誰でもダウンロードして動かせる。たとえば OpenAI の gpt-oss-120b は Apache 2.0 ライセンスで公開されており、OpenAI によれば、NVIDIA H100 のような 80 GB のグラフィックスプロセッサー（GPU）1基に収まる
• 文書検索によって、アシスタントは自社の規程や契約書をもとに答えられる。文書は短い断片（パッセージ）に分けて検索インデックスに収められ、質問に合う断片が、その質問と一緒にモデルに渡される。エンジニアはこれを検索拡張生成（retrieval-augmented generation、RAG）と呼ぶ
• サインインは、社員がすでに使っている社内アカウントを通すべきだ。そうすれば、社員のアカウントを閉じた時点で、アシスタントへのアクセスも終わる
• チャット履歴とログには、誰がいつ何を尋ね、アシスタントが何と答えたかが記録される。どちらも自社のデータのコピーである
• 管理設定では、誰がどのモデルを使えるか、各グループがどの文書コレクションを検索できるか、ファイルをアップロードできるか、チャットをどれだけの期間保持するかを決める

全社でシステムを使うようになると、ライセンスが効いてくる。コードが公開されている別のチャットアプリ Open WebUI は、社内アカウントでのサインイン、ユーザーグループ、組み込みの文書検索を備えている。バージョン 0.6.6（2025年4月）以降、そのライセンスは、一つのデプロイで30日間のユーザーが50人を超えた場合、Open WebUI の名前とロゴを表示したままにすることを求めている。エンタープライズライセンスがあればこのルールは適用されず、実質的な貢献者がプロジェクトから書面で許可を得た場合も同じである。プロジェクト自身、この条項があるために、そのライセンスは Open Source Initiative のオープンソースの基準を満たさないことになると述べている。

「自社のインフラ」なら、ChatGPT Enterprise や Microsoft Copilot は対象外になるのか

「自社の」が自社の管理するサーバーを意味するなら、対象外になる。ChatGPT Enterprise の裏のサーバーは OpenAI が、Copilot の裏のサーバーは Microsoft が運用しているからだ。契約のもとでプロバイダーがデータを保持することをコンプライアンス部門が認めるなら、どちらも候補に残せる。社内アシスタントの裏で動くモデルを置ける場所は三つあり、すべてのプロンプトとファイルを自社の管理するサーバーにとどめられるのは、三つ目だけだ:

• ChatGPT Enterprise や Microsoft Copilot のようなプロバイダーの法人向けプランでは、サーバーはプロバイダーが運用し、データはその契約の対象になる。2026年10月に参照した OpenAI の ChatGPT のドキュメントは、Enterprise のワークスペース向けのデータレジデンシーと推論レジデンシー（inference residency）について説明している。これらは、データを保存する場所とモデルが動く場所を、選択したリージョンに結びつけるものだが、ドキュメントによれば、どちらも「対象となるコンテンツとサポートされているワークロードにのみ適用される」。さらに、「一部の処理や同期されたインデックスは、別の所在地ルールに従う場合がある」とも書かれている
• クラウドプロバイダーも、Azure OpenAI や Amazon Bedrock のようなモデルサービスを販売しており、モデルはプロバイダーのデータセンターで動く。チャットアプリは自社のクラウドアカウントに置けるが、質問はどれも、添えられた文書の断片と一緒にそのサービスへ送られる
• オープンウェイトモデルは、自社のデータセンターであれ、自社のクラウドアカウント内の仮想マシンであれ、自社で運用するサーバーで動かせる。その場合、プロンプト、アップロードされたファイル、ログは自社の管理するシステムにとどまり、サーバーとモデルのセキュリティは自社の仕事、あるいは自社が雇うチームの仕事になる

言語モデルを自社のシステムに組み込むことと、閉じた境界の中で動かすことについての記事（どちらも上でリンクしている）が、さらに詳しく扱っている。そこでは、プロバイダーのサービス、クラウドのサービス、自社で運用するサーバーを比較している。コストと二つのクラウドサービスについては、このページの下部でリンクしているページが扱っている。

トライアルと、社員が毎日使うアシスタントとを分けるものは何か

トライアルでわかるのは、答えが役に立つと人々が感じるかどうかだ。規制対象の企業で日常的に使うとなると、六つの要件が加わる。構築する側は、ローンチの前に、そのそれぞれが機能するところを見せられなければならない:

• 一人ひとりが、もともと開ける文書だけを目にする。Microsoft は自社のアシスタントにこのルールを課しており、Copilot は「個々のユーザーが少なくとも閲覧権限を持っている組織のデータのみを表示する」と書いている。言語モデルのソフトウェアにおける主なセキュリティリスクをまとめた OWASP Top 10 for LLM Applications は、「権限を考慮したベクトルストアと埋め込みストア」を推奨している。つまり、検索インデックスは、それぞれの断片を誰が読んでよいかを記録していなければならない
• 文書は信頼できない入力として扱う。ファイルには隠れた指示が仕込まれていることがあるからだ。OWASP の例の一つでは、履歴書に白地に白い文字で、その候補者を推薦するようシステムに指示する文が書かれていて、のちに誰かがその候補者について尋ねると、モデルがその指示に従ってしまう。OWASP はさらに、自社の文書をもとに答える仕組みは答えをより正確にするためのものであって、研究によれば、こうした攻撃を完全には防げないと付け加えている。だからアシスタントには答えを書かせるだけにとどめ、メールの送信のような別のシステムでの操作は、どれも人の承認を待つようにするべきだ
• チャット、アップロード、ログは、コンプライアンス部門が定めた期間、自社のサーバーにとどまる。Microsoft は管理者に、Purview のコンプライアンスツールを使って「Copilot とのチャットのやり取りに関連するデータに保持ポリシーを設定する」ことを認めている。プライベートなアシスタントにも、チャットのデータベース、アップロードされたファイル、検索インデックス、そして質問の全文を含みうるモデルサーバーのログに対して、同じ管理が必要だ。コンプライアンス部門は、エンジニアに頼まなくても、誰が何を尋ねたかを読めるべきである
• 正しい答えの付いた自社の質問セットを、変更のたびに流し直す。質問は、答えを知っている人たちが実際の仕事から書く。ここでいう変更とは、新しいモデル、モデルへの新しい指示、あるいは大量の新しい文書のことだ。そうしたセットの作り方は、上でリンクしたパイロットについての記事が説明している
• キャパシティは最も忙しい時間帯に合わせて見積もる。小さなグループでのトライアルからは、オフィスの多くの人が一斉に質問する朝のことはほとんどわからないからだ。Ollama は、1台のマシンでモデルを動かすためのツールである。2026年10月時点のそのドキュメントでは、デフォルトはモデルごとに一度に1リクエストで、それ以上のリクエストはキューで待つとされていた。このページの下部でリンクしている vLLM と Ollama の比較記事が、それぞれが大勢からの同時の質問をどう扱うかを説明している
• 名前の決まった担当者がアシスタントを受け持ち、サプライヤーを待たずに、それを止めたり、以前のモデルと設定に戻したりできる。社員は、誤った答えをどこに報告すればよいかを知っている

自社サーバーで動くプライベートな ChatGPT は、誰が構築できるのか

構築できるのは、自社の IT チーム、ベンダー、エンジニアリングチームだ。どれが合うかは、アシスタントを何人が使い、何につながなければならないかで決まる。

小さなグループでのトライアルなら、すでに Linux サーバーを運用している IT チームが、オープンソースのチャットアプリとモデルサーバーをインストールし、オープンウェイトモデルを読み込める。始めるには小さめのモデルで足りることもあり、OpenAI によれば、同社の gpt-oss-20b は 16 GB のメモリの範囲で動く。まずは、チャットアプリのものも含めてすべてのライセンスを読む。そしてトライアルは、グループの全員が読んでよい文書だけに限る。そうすれば、権限はまだ問題にならない。

ベンダーが、自社サーバーにインストールするソフトウェアとして販売するパッケージ製品は、共有の文書ライブラリを相手にした単純なチャットなら合うことがある。自社のどのシステムにつながるのか、アップデートを誰がインストールするのかを尋ね、個別開発のものと同じように、次の節にある五つのデモを課す。

アシスタントが自社のサインインや複数のシステムの権限と連携しなければならないなら、エンジニアリングチームが必要になる。文書管理システムのようなほかのシステムにつなぐ必要がある場合や、コンプライアンス部門が読めるログを残さなければならない場合も同じだ。そのチームは、外部の会社でも、自社の IT チームに加わるエンジニアでもよい。ローンチ後に誰がシステムを運用するのかは、作業を始める前に取り決めておく。

構築を申し出る会社を、どう見極めればよいか

契約の前に、どのサプライヤーにも五つのデモを求める。可能なら、自社のサインインと、サプライヤーと共有してよい文書を入れたテスト環境で行う:

• 特定の文書を開く権限のない人としてサインインし、その文書について尋ねる。アシスタントは、その文書が存在しないかのように答えるべきだ。次に、元のシステムで同僚のあるファイルへのアクセス権を外し、アシスタントがその同僚に対してそのファイルを使わなくなるまでに、どれだけ時間がかかるかを計る
• チャット、アップロード、ログがどこに保存されているかをサプライヤーに見せてもらい、目の前で一人分の履歴を削除してもらう。そのうえで、バックアップとログに何が残り、それがいつ消されるのかを確かめる
• モデルの更新後にサプライヤーが流し直すテスト用の質問セットと、その直近の実行記録を見て、正しい答えを誰が書いたのかを確かめる
• システムが同時に何人を想定した規模になっているかを尋ね、その数字の裏付けとなる負荷試験を見せてもらう。試験は、自社のものに近い質問と文書を使い、最も忙しい時間帯に見込まれるユーザー数で行われているべきだ
• サプライヤーなしでもシステムを運用できるかを確かめる。コード、設定、モデルファイル、テスト用の質問、運用手順はすべて引き渡されるべきで、サプライヤーのサーバーやライセンスキーに依存するものが一つもあってはならない

amBrain はどこに位置づけられるか

言語モデルに関する自社の仕事について、amBrain はこう述べている:「私たちは、あるクライアントの FinTech の境界の内側で、LLM インテグレーションを本番に導入した。ブローカーと取引所からの非構造化の通知 ― コーポレートアクション、銘柄の変更、証拠金の変更 ― を抽出・正規化し、トレーディングシステムが取り込む構造化レコードにするものである。」クライアントの名前は明かされておらず、このプロジェクトについての数字も公表されていない。

この記事は事例紹介ではない。そのプロジェクトでモデルがどこで動いたかは述べず、amBrain がいずれかの顧客のためにプライベートな ChatGPT、社員向けアシスタント、文書検索を構築したと主張するものでもない。価格や期間も示さない。

amBrain は2019年からソフトウェアを作っている。amBrain の働き方には三つの形態がある。フルデリバリー、専任チーム、あるいはあなたのチームに入るエンジニアだ。顧客は、プロダクトとコードの完全な所有権を保持する。ただし、amBrain の再利用可能なコンポーネントは除く。

上の三つのケースのどれが自社に当てはまるかを書いた1ページを用意する。六つの要件のそれぞれについて、どのシステムが文書の権限を持っているか、チャットをどれだけの期間保持しなければならないかなど、自社にとってそれが何を意味するかを書き加える。そのページを amBrain に、あるいは候補に挙がっているほかのどのチームにでも送り、すべてのチームに同じ五つのデモを求める。

よくある質問

• ChatGPT と同じくらい良いものになるか。自社の仕事でテストする前には、誰にも言えない。検討しているモデルのそれぞれに自社の質問セットを流し、答えを知っている人たちに結果を採点してもらう。一般向けのサービスと比べるなら、顧客のデータを含まない質問を使う
• プロバイダーのモデルから始めて、あとで自社サーバーに移れるか。チャットアプリが OpenAI 互換 API を通じてモデルにアクセスしているなら、移れる。移行までは、コンプライアンス部門が社外に出すことを認めたデータだけをプロバイダーに送る。vLLM は同じチャット API を実装しているので、プロバイダーのサービスにしかない機能を使っていない限り、移行の際にアプリに必要なのは自社サーバーのアドレスとモデル名だけだ。答えはモデルによって変わるので、社員が切り替える前に質問セットを流し直す。そして、すでに送ったデータをどう削除するのかをプロバイダーに尋ねる
• 社員が自分のファイルをアップロードできるか。できる。アップロードされたものはファイルのコピーであり、チャットアプリが保管し、検索インデックスに加えられることもある。チャットと同じ保持期間が必要で、チャットと一緒に削除しなければならない。アップロードしたものを本人のチャットの中だけにとどめるか、グループで共有できるようにするかを決めておく