在自己的服务器上运行生成式 AI：一个私有语言模型需要多少 GPU 显存

要在自己的服务器上运行生成式 AI（GenAI）模型，需要把两部分加起来：模型的权重，以及它同一时刻正在回答的那些请求所占用的显存。按通常的 16 位精度，权重每十亿参数大约需要 2 GB 显存，所以一个有 328 亿参数的模型在回答任何人之前就要占用约 66 GB。之后，每个请求还会按其长度成比例地增加显存占用，正是这一部分决定了服务器能同时处理多少个请求。

语言模型运行时，GPU 显存被什么占用？

语言模型通常运行在 GPU 上，这种处理器专为模型所做的那类运算而设计，模型在工作时必须驻留在 GPU 自己的显存中。这块显存里存放的是：

• 权重，即模型在训练中学到的数字，加载一次后一直留在显存里
• KV 缓存，即模型为每个正在回答的请求准备的工作内存
• 推理服务软件的工作空间

一旦选定了模型和精度，权重的大小就固定了。KV 缓存随同时回答的请求数量和请求长度增长。这两部分都可以在购买任何东西之前算出来。

模型权重占用多少显存？

模型的规模以参数个数计算，精度是存储每个参数所用的位数。Hugging Face 关于高效运行模型的指南（于 2026 年 10 月 27 日查阅）指出，“如今几乎所有模型都用 bfloat16 训练”，这是一种 16 位格式，每个参数占 2 个字节。它给出的经验法则是：“加载一个有 X 十亿参数的模型的权重，在 bfloat16/float16 精度下大约需要 2 * X GB 的 VRAM”，其中 VRAM 指的是 GPU 显存。

指南自己举的例子是 Llama 2 70B，仅权重就约 140 GB。Qwen3-32B 是一个以 Apache 2.0 许可证发布的开放权重模型，根据其模型卡有 328 亿参数，所以它的权重约占 66 GB。开放权重的意思是，开发方公开发布模型文件，任何人都可以运行。

量化是用更少的位数来存储权重。在 8 位下每个参数占 1 个字节，在 4 位下占半个字节，所以同一个模型需要约 33 GB，或者 16 GB 多一点。Qwen 团队发布了一个 8 位版本：Qwen3-32B-FP8。

Hugging Face 的指南说，权重“可以量化到 8 位或 4 位，而不会显著损失性能”。它同时提醒，4 位量化“在实践中常常会得出与 8 位或 16 位不同的结果”，并补充说：“需要用户自己去试。”在依赖任何压缩版本之前，先用你自己的测试问题跑一遍。

每个请求会额外占用多少显存？

模型在写回答时，会为它已经读过和写出的每个 token 保存一些数值，这样每写一个新词时就不必重新计算。token 是词的一部分。这些保存下来的数值就是 KV 缓存，即 key-value cache 的简称。vLLM 是一个用于运行模型推理服务的开源程序，它的开发者在 2023 年的一篇文章中指出，在 LLaMA-13B 中，这个缓存“单个序列最多占用 1.7GB”。

你可以根据自己模型公开的配置来算出这个大小。对每个 token，缓存在每一层都保存两组数字：键和值。根据 Qwen3-32B 的模型卡和配置文件，它有 64 层，在缓存中保存 8 个注意力头，每个头 128 个数字。按每个数字 2 个字节计算，就是 2 × 64 × 8 × 128 × 2 字节，每个 token 约 262 KB。

因此，一个 8,000 token 的请求，比如一个附带从你的文档中检索出的段落的长问题，再加上回答，在回答完成之前约占 2.1 GB。模型完整的原生上下文为 32,768 个 token，约占 8.6 GB。

要数的是同一时刻正在回答的请求，而不是有访问权限的人数。使用助手的员工大部分时间在读回答、打问题，而一个处理积压文档的系统可以让每块 GPU 整夜都满负荷运转。

这意味着需要多少块 GPU？

数据中心 GPU 的显存容量是固定的。Nvidia 的规格页面（同一天查阅）列出：H100 的 SXM 版为 80 GB、NVL 版为 94 GB，H200 为 141 GB，L40S 为 48 GB。

推理服务软件会在每块 GPU 上留出一部分空闲。vLLM 的文档把相应设置描述为“供模型执行器使用的 GPU 显存比例”，当前版本的默认值是 0.92。在一块 94 GB 的 H100 NVL 上，这大约是 86 GB。16 位的 Qwen3-32B 权重占去其中约 66 GB。剩下约 21 GB 留给 KV 缓存和软件的其他工作内存，同时只容得下不到十个 8,000 token 的请求。

如果用 8 位权重，剩下约 54 GB，足够同时处理约 25 个这样的请求。在 80 GB 的 H100 上，16 位权重只剩下约 8 GB，容不下四个请求。

当权重在一块 GPU 上放不下时，就把模型拆分到同一台服务器的多块 GPU 上。vLLM 的文档说：“如果模型对单块 GPU 来说太大，但能放进一个有多块 GPU 的单节点，就使用张量并行”，这是它对这种拆分的叫法。一个 700 亿参数的模型在 16 位精度下放不进一块 94 GB 的 GPU，用两块的话，还剩约 33 GB 留给请求。

这些数字告诉你模型放不放得下。它回答得有多快，取决于 GPU、回答的长度和负载，只有用你自己的请求做测试才能看出来。

应该在云上租 GPU，还是买服务器？

先租是弄清楚你需要什么的更省钱的办法。Microsoft 公开的 Azure 价目表（同一天查阅）给出了其 East US 区域 Linux 虚拟机按需付费的以下价格：

• 一块 94 GB 的 H100 NVL（Standard_NC40ads_H100_v5）：每小时 6.98 美元，按每月 730 小时计约 5,100 美元
• 两块 94 GB 的 H100 NVL（Standard_NC80adis_H100_v5）：每小时 13.96 美元，每月约 10,200 美元
• 八块 80 GB 的 H100（Standard_ND96isr_H100_v5）：每小时 98.32 美元，每月约 71,800 美元

这些是按小时付费的目录价格，预留容量则按其他条件出售。价格会变化，所以要针对你的测试所指向的配置，向不止一家供应商询价。

在负载稳定、你也知道要运行哪个模型的时候，或者在你的规定要求硬件必须留在自己大楼里的时候，自建服务器才合理。这时成本还包括维持这些服务器运行的人员，关于没有机器学习团队时由谁运维 LLM 系统的那篇文章讲的就是这一部分。

如何按我们自己的用途来规划系统规模？

• 用你工作中的真实问题测试一两个候选模型，留下回答能通过检验的那个
• 估算系统在最繁忙的时段同时要回答多少个请求，以及一个典型请求有多长，把问题、从你的文档中检索出的段落和回答都算进去
• 按上面的方法算出权重和 KV 缓存所需的显存，并留出余量
• 租几天 GPU，在那个高峰用你自己的提示词做负载测试
• 测试完成之后再购买或预留容量

vLLM 提供了做这类测试的命令：vllm bench serve。它可以报告“ttft”和“tpot”的百分位数，也就是生成第一个 token 的时间和每个输出 token 的时间。测试之前先定好你的员工愿意等多久才能看到回答的头几个字，并以最繁忙时段的结果来评判。

谁能把这套系统搭起来？

如果你的基础设施团队已经在维护自己的服务器，它就可以运维 GPU 服务器，硬件或云供应商可以在机器本身上提供帮助。把模型接入你的文档、登录和权限系统，并测试它的回答，是在模型周围构建整套系统的那一方的工作。

你聘请的公司或团队应当把计算过程拿给你看：用哪个模型和精度，多少显存用于权重、多少用于 KV 缓存，测试用了什么负载、测出了什么。在批准硬件预算之前，先要到这些数字。

amBrain 在其中处于什么位置？

amBrain 公开描述的唯一一个语言模型项目是：“我们已在一家客户的金融科技边界之内，将一项 LLM 集成投入生产：把非结构化的经纪商与交易场所通知——公司行动、金融工具与保证金变更——抽取并规范化为交易系统所消费的结构化记录。”

本文不是案例研究，也不描述任何客户项目。上面引用的这句话没有说明那套系统用的是哪个模型、在什么硬件上、在哪里运行。上文的数字是根据公开的规格和价目表算出来的，不是来自那个项目或 amBrain 任何其他工作的实测结果。

本文提到的公司、模型和产品，均引自它们公开发布的页面，本文并不声称 amBrain 与它们中的任何一方有任何关系。本文不给出 amBrain 的任何价格、工期或条款。

amBrain 自 2019 年起开发软件。它有三种合作方式：整体交付、专属团队，或工程师嵌入你的团队。它关于所有权的说法是：“客户拥有产品与代码的全部所有权，我们的可复用组件除外。”如果 amBrain 在你的候选名单上，就像要求其他任何公司一样，请它把同样的计算拿给你看。