生成AIを自社サーバーで：プライベートな言語モデルに必要な GPU メモリはどれくらいか

生成AI（GenAI）のモデルを自社のサーバーで動かすには、二つを足し合わせる。モデルの重みと、モデルがその瞬間に答えているリクエストが占めるメモリだ。一般的な16ビット精度では、重みはパラメータ10億個あたり約2 GB の GPU メモリを必要とする。したがって328億パラメータのモデルは、誰かに答える前の時点で約66 GB を使う。その上で、リクエストごとに長さに比例したメモリが加わり、この部分が、サーバーが同時に処理できるリクエストの数を決める。

言語モデルが動いているとき、GPU メモリを何が占めているのか？

言語モデルはたいてい GPU で動く。GPU は、モデルが行う種類の計算のために作られたプロセッサで、モデルは動いている間、GPU 自身のメモリに載っていなければならない。そのメモリに入っているのは次のものだ。

• 重み。モデルが学習で身につけた数値で、一度読み込まれるとそこに置かれ続ける
• KV キャッシュ。モデルが答えているリクエストごとの作業用メモリ
• 推論サーバーのソフトウェアが使う作業領域

重みは、モデルと精度を選んだ時点で固定される。KV キャッシュは、同時に答えるリクエストの数とその長さに応じて増える。どちらも、何かを買う前に計算できる。

モデルの重みはどれくらいのメモリを占めるのか？

モデルの大きさはパラメータの数で数え、精度とは、パラメータ一つを保存するのに使うビット数のことだ。2026年10月27日に閲覧した、モデルを効率よく動かすための Hugging Face のガイドは、「今日ではほとんどすべてのモデルが bfloat16 で学習されている」と述べている。bfloat16 は16ビットの形式で、パラメータ一つが2バイトを占める。ガイドの目安はこうだ。「X 十億個のパラメータを持つモデルの重みを読み込むには、bfloat16/float16 精度でおよそ 2 * X GB の VRAM が必要」。VRAM とは GPU のメモリのことだ。

ガイド自身が挙げる例は Llama 2 70B で、重みだけで約140 GB になる。Apache 2.0 ライセンスで公開されたオープンウェイトモデルの Qwen3-32B は、モデルカードによれば328億個のパラメータを持つので、重みは約66 GB を占める。オープンウェイトとは、開発元がモデルのファイルを公開し、誰でも動かせるようにしていることを意味する。

量子化は、重みをより少ないビット数で保存する。8ビットならパラメータ一つが1バイト、4ビットなら半バイトになるので、同じモデルが約33 GB、あるいは16 GB を少し超えるくらいで済む。Qwen チームは8ビット版の Qwen3-32B-FP8 を公開している。

Hugging Face のガイドは、重みは「性能を大きく損なうことなく8ビットや4ビットに量子化できる」と述べている。一方で、4ビット量子化は8ビットや16ビットと比べて「実際には異なる結果になることが少なくない」とも警告し、「試すのは利用者に委ねられている」と付け加えている。圧縮した版に頼る前に、自社のテスト用の質問を必ず通しておくこと。

リクエスト1件あたり、どれくらいのメモリが増えるのか？

モデルは答えを書いている間、それまでに読んだトークンと書いたトークンのそれぞれについて値を保存しておく。そうすれば、新しい単語を書くたびに計算し直さずに済むからだ。トークンとは単語の一部のことだ。この保存された値が KV キャッシュで、key-value cache の略である。モデルを提供するためのオープンソースのプログラム vLLM の開発者は、2023年の投稿で、このキャッシュは「LLaMA-13B では一つのシーケンスで最大1.7GB を占める」と記している。

自社のモデルについては、公開されている設定から大きさを計算できる。トークン一つごとに、キャッシュは各レイヤーについてキーと値という二組の数値を保存する。Qwen3-32B は、モデルカードと設定ファイルによれば64のレイヤーを持ち、キャッシュには128個の数値からなるアテンションヘッドを8つ保存する。数値一つあたり2バイトとすると、2 × 64 × 8 × 128 × 2 バイトで、トークン1つあたり約262 KB になる。

したがって、8,000トークンのリクエスト、たとえば自社の文書から見つけた文章を添えた長い質問とその答えは、答えが書き終わるまで約2.1 GB を占める。モデル本来のコンテキスト長いっぱいの32,768トークンなら、約8.6 GB を占める。

数えるべきなのは、アクセス権を持つ人の数ではなく、同じ瞬間に答えているリクエストの数だ。アシスタントを使う社員は、ほとんどの時間を答えを読むことと質問を打ち込むことに費やす。一方、たまった文書を処理するシステムなら、一晩中すべての GPU を働かせ続けることもある。

それは GPU 何台分になるのか？

データセンター向けの GPU のメモリ量は決まっている。同じ日に閲覧した Nvidia の仕様ページによれば、H100 は SXM 版が80 GB、NVL 版が94 GB、H200 は141 GB、L40S は48 GB だ。

推論サーバーのソフトウェアは、各 GPU の一部を空けておく。vLLM のドキュメントは、その設定を「モデルの実行器が使う GPU メモリの割合」と説明し、現在のバージョンでの既定値を0.92としている。94 GB の H100 NVL 1基なら、これは約86 GB になる。16ビットの Qwen3-32B の重みが、そのうち約66 GB を占める。KV キャッシュとソフトウェアのほかの作業用メモリに残るのはおよそ21 GB で、8,000トークンのリクエストを同時に10件扱うにも足りない。

8ビットの重みなら約54 GB が残り、そうしたリクエストを約25件扱える。80 GB の H100 では、16ビットの重みを載せると残りは約8 GB で、4件にも満たない。

重みが GPU 1基に収まらないときは、同じサーバー内の複数の GPU にモデルを分割する。vLLM のドキュメントは、「モデルが単一の GPU には大きすぎるが、複数の GPU を持つ単一ノードには収まる場合は、テンソル並列を使う」と書いており、これがこの分割の呼び名だ。700億パラメータのモデルは16ビット精度では94 GB の GPU 1基に収まらず、2基使うとリクエスト用に約33 GB が残る。

これらの数字からわかるのは、モデルが収まるかどうかだ。どれだけ速く答えるかは、GPU、答えの長さ、負荷によって決まり、それを示せるのは自社のリクエストを使ったテストだけである。

GPU はクラウドで借りるべきか、サーバーを買うべきか？

まず借りてみるほうが、何が必要かを知るための安上がりな方法だ。同じ日に閲覧した Microsoft の Azure の公開価格表は、East US リージョンの Linux 仮想マシンについて、従量課金で次の価格を示している。

• 94 GB の H100 NVL 1基（Standard_NC40ads_H100_v5）：1時間6.98ドル、730時間の1か月で約5,100ドル
• 94 GB の H100 NVL 2基（Standard_NC80adis_H100_v5）：1時間13.96ドル、1か月で約10,200ドル
• 80 GB の H100 8基（Standard_ND96isr_H100_v5）：1時間98.32ドル、1か月で約71,800ドル

これらは時間単位で支払う場合の定価で、予約した容量は別の条件で販売されている。価格は変わるので、テストで決まった構成について、複数のプロバイダーから見積もりを取ること。

自社のサーバーが理にかなうのは、負荷が安定していて、どのモデルを動かすかがわかっているとき、あるいは社内の規則でハードウェアを自社の建物に置かなければならないときだ。その場合、費用にはサーバーを動かし続ける人員も含まれる。この点は、ML チームなしで LLM システムを誰が運用するかについての記事が扱っている。

自社の用途に合わせて、システムの規模をどう決めるか？

• 候補のモデルを一つか二つ、実際の業務の質問でテストし、答えが合格したものを残す
• 最も忙しい時間帯にシステムが同時に答えるリクエストの数と、典型的なリクエストの長さを見積もる。長さには、質問、自社の文書から見つけた文章、そして答えを含める
• 上で示したように、重みと KV キャッシュに必要なメモリを計算し、余裕を持たせる
• 数日間 GPU を借り、そのピークを想定して自社のプロンプトで負荷テストを行う
• 容量を買う、あるいは予約するのは、テストが終わってからにする

vLLM には、こうしたテストのためのコマンド vllm bench serve がある。これは「ttft」と「tpot」、つまり最初のトークンまでの時間と出力トークン1つあたりの時間のパーセンタイルを出力できる。テストの前に、社員が答えの最初の言葉をどれだけ待てるかを決めておき、最も忙しい時間帯の結果で判断すること。

誰がこれを構築できるのか？

インフラチームがすでに自社のサーバーを管理しているなら、GPU サーバーも運用できる。マシンそのものについては、ハードウェアやクラウドのベンダーが手伝える。モデルを自社の文書、ログイン、権限につなぎ、その答えをテストするのは、モデルの周りにシステムを構築する側の仕事だ。

依頼する会社やチームは、計算の中身を示すべきだ。どのモデルとどの精度か、メモリのうちどれだけが重みに、どれだけが KV キャッシュに回るのか、テストではどんな負荷をかけ、何を測ったのか。ハードウェアの予算を承認する前に、これらの数字を求めること。

amBrain はどこに位置づけられるか

amBrain が公に説明している言語モデルのプロジェクトは、次の一件だ:「私たちは、顧客の FinTech 環境の境界内で LLM の統合を本番稼働させた:ブローカーや取引施設から届く非構造化の通知 ― コーポレートアクション、銘柄や証拠金の変更 ― を抽出・正規化し、トレーディングシステムが取り込む構造化された記録にするものだ。」

この記事は事例紹介ではなく、顧客のための仕事についても述べていない。引用した一文は、そのシステムがどのモデルを使い、どんなハードウェアで、どこで動いているのかを述べていない。上の数字は、公開された仕様と価格表から計算したものであり、そのプロジェクトや amBrain のほかの仕事で測定した値ではない。

ここで名前を挙げた企業、モデル、製品は、公開されているページから引用したものであり、この記事は、amBrain とそれらのいずれかとのあいだに何らかの関係があるとは主張しない。amBrain の価格、期間、条件も示さない。

amBrain は2019年からソフトウェアを作っている。働き方には三つの形態がある:フルデリバリー、専任チーム、あるいはあなたのチームに入るエンジニア。所有権についての一文はこうだ:「顧客は、プロダクトとコードの完全な所有権を保持する。ただし、私たちの再利用可能なコンポーネントは除く。」amBrain が候補リストに入っているなら、ほかのどの会社と同じように、計算の中身を示すよう求めること。