在自有服务器上为公司部署私有 ChatGPT：需要什么，谁能搭建

私有 ChatGPT 是一种聊天助手，用起来和 ChatGPT 一样，却运行在你公司掌控的服务器上。员工登录一个聊天应用，应用把他们的问题发给这些服务器上的语言模型；再加上对你们自有文档的搜索，模型就能依据这些文档作答。这些组成部分如今都已有开源或商业授权的软件可用。

真正的工作量在于把这些部分接入公司的登录体系、文档权限和日志，然后把系统运行下去。你的 IT 团队可以先搭起来做试用。但在全体员工都依赖它之前，受监管的公司应当聘请这样一支团队：它能在公司自己的系统上，把下文的每一项要求逐一演示出来。

公司为什么想要私有 ChatGPT？

员工并没有在等雇主提供 AI 工具。Microsoft 和 LinkedIn 发布的 2024 年 Work Trend Index 调查了 31 个国家的 31,000 名知识工作者，其中 78% 的 AI 用户表示，他们正把自己的 AI 工具带到工作中。

2023 年 5 月，三星在公司设备和内部网络上临时限制使用生成式 AI 工具，起因是 4 月有内部数据被意外泄露给了 ChatGPT。据 TechCrunch 报道，三星担心存放在外部服务器上的数据难以“取回和删除”。该公司表示，它正在“评估相关措施，为安全使用生成式 AI 营造安全的环境”。

英格兰银行（Bank of England）和 FCA 于 2024 年 11 月发布了一项针对英国金融机构的调查，在受访机构看来，数据保护和隐私是使用 AI 时最大的监管约束。

私有 ChatGPT 由哪些部分组成？

“私有 ChatGPT”并不是 OpenAI 某款产品的名称。它指的是一套由多个独立部分拼装而成的系统，而 ChatGPT 背后的公司 OpenAI 出品的模型，也可以是其中之一。下文点名的开源项目，是你在各家方案里可能见到的例子，本文不给它们排名。这些部分是：

• 聊天应用是员工登录、提问、上传文件和查找过往对话的网页。LibreChat 是一个开源的例子，采用 MIT 许可证。它的项目页面列出了通过 OAuth2 和 LDAP 实现的公司账号登录，这是把应用接入员工现有账号的两种常见方式。它还能与任何一个按 OpenAI 自家服务的格式接收请求的模型服务器配合使用，这种接口被称为 OpenAI 兼容 API
• 模型服务器在你的硬件上运行语言模型，并响应聊天应用的请求。vLLM 是一个开源的例子。它的文档说，它“实现了 OpenAI 的 Completions API、Chat API 等”，因此为 OpenAI 服务编写的聊天应用，可以改为把问题发到你的服务器上
• 模型是服务器加载的一组文件，称为权重。任何人都可以按照模型许可证的条款，下载并运行开放权重模型。例如，OpenAI 的 gpt-oss-120b 以 Apache 2.0 许可证发布，OpenAI 表示它能放进单块 80 GB 的图形处理器（GPU），比如 NVIDIA H100
• 文档搜索让助手能依据你们自己的政策和合同作答。文档被切分成段落，存放在搜索索引里；与问题相匹配的段落会连同问题一起交给模型。工程师把这种做法称为检索增强生成（retrieval-augmented generation），简称 RAG
• 登录应当通过员工已经在用的公司账号进行，这样一来，关闭某位员工的账号，也就同时终止了他对助手的访问
• 聊天记录和日志记下了谁在什么时候问了什么，以及助手答了什么。两者都是你数据的副本
• 管理设置决定谁可以使用哪个模型、每个用户组可以搜索哪些文档集合、能否上传文件，以及对话保留多久

一旦全公司都用上这套系统，许可证就变得要紧了。Open WebUI 是另一款代码公开的聊天应用，自带公司账号登录、用户组和内置的文档搜索。自 0.6.6 版（2025 年 4 月）起，它的许可证规定：一旦某个部署在 30 天内的用户超过 50 人，就必须让 Open WebUI 的名称和标志保持可见。企业许可证可以解除这条限制，项目方给予重要贡献者的书面许可也可以。项目方表示，由于这一条款，它的许可证不符合开放源代码促进会（Open Source Initiative）对开源的认定标准。

“我们自己的基础设施”是否就排除了 ChatGPT Enterprise 或 Microsoft Copilot？

如果“我们自己的”指的是你公司掌控的服务器，那答案是肯定的：ChatGPT Enterprise 背后的服务器由 OpenAI 运行，Copilot 背后的服务器由 Microsoft 运行。如果你的合规团队接受由提供方按合同保管数据，这两者都可以留在候选名单上。公司助手背后的模型可以在三个地方运行，而只有第三种能让每一条提示词和每一个文件都留在你掌控的服务器上：

• 使用提供方面向企业的套餐，例如 ChatGPT Enterprise 或 Microsoft Copilot，服务器由提供方运行，你的数据受其合同约束。OpenAI 的 ChatGPT 文档（2026 年 10 月查阅）介绍了面向 Enterprise 工作区的数据驻留和推理驻留。两者把数据存储在哪里、模型在哪里运行，绑定到所选的区域；文档说，两者都“仅适用于符合条件的内容和受支持的工作负载”。文档还补充说，“部分处理或已同步的索引可能遵循单独的位置规则”
• 云服务商也出售模型服务，例如 Azure OpenAI 和 Amazon Bedrock，模型运行在云服务商的数据中心里。你的聊天应用可以放在你自己的云账户里，但每一个问题，连同附在它上面的文档段落，都会发送到该服务
• 开放权重模型可以运行在你自己运营的服务器上，无论是在你自己的数据中心里，还是在你自己云账户里的虚拟机上。这样，提示词、上传的文件和日志都留在你掌控的系统里，而服务器和模型的安全也就成了你的工作，或者你所聘团队的工作

上面链接的两篇文章，一篇讲如何把语言模型接入你自己的系统，一篇讲如何在封闭边界内运行语言模型，都有更详细的说明。它们比较了提供方的服务、云服务和你自己运行的服务器。本页底部链接的几个页面，介绍了成本以及这两种云服务。

试用和员工每天都在用的助手，差别在哪里？

试用能说明大家是否觉得这些回答有用。而在受监管的公司里日常使用，还要再加上六项要求；开发方应当能在上线之前，把每一项都演示出来：

• 每个人只能看到自己本来就能打开的文档。Microsoft 为自家助手定下了这条规则，写明 Copilot “只会呈现单个用户至少拥有查看权限的组织数据”。OWASP Top 10 for LLM Applications 是一份列举语言模型软件主要安全风险的清单，它建议使用“具备权限感知的向量与嵌入存储”。这意味着，搜索索引必须记录每个段落可以由谁阅读
• 文档要被视为不可信的输入，因为文件里可能藏着指令。在 OWASP 举的一个例子中，一份简历里有白底白字的文本，指示系统推荐这位候选人；后来有人问起这位候选人时，模型便照此行事。OWASP 还补充说，依据你们自己的文档作答，本意是让回答更准确，而研究表明，这样做并不能完全防住此类攻击。所以，助手应当只负责写回答；在其他系统里的任何操作，比如发送邮件，都应当等人批准
• 对话、上传文件和日志留在你的服务器上，保存期限由你的合规团队设定。Microsoft 允许管理员用其 Purview 合规工具“为与 Copilot 聊天交互相关的数据设置保留策略”。私有助手需要对聊天数据库、上传的文件、搜索索引以及模型服务器的日志拥有同样的控制，而模型服务器的日志里可能存有问题的全文。你的合规团队应当不必求助工程师，就能查到谁问了什么
• 一组你们自己的问题，每个都附有正确答案，在每次变更之后重新跑一遍。这些问题由知道答案的人根据自己的实际工作来写。这里说的变更，指换了新模型、给模型下了新指令，或者新加入了一大批文档。上面链接的那篇关于试点的文章，讲了如何建立这样一组问题
• 容量按最繁忙的时段来配置，因为一个小组的试用，几乎说明不了某天上午办公室里大半的人同时提问时会怎样。Ollama 是一个在单台机器上运行模型的工具。2026 年 10 月，它的文档给出的默认设置是每个模型一次处理一个请求，其余请求在队列中等待。本页底部链接的 vLLM 与 Ollama 对比，讲了两者各自如何应对很多人同时提问
• 由一位指定的人负责这个助手，他无需等待供应商，就能把助手关掉，或者切回之前的模型和设置。员工知道错误的回答该报告到哪里

谁能在我们自己的服务器上搭建私有 ChatGPT？

你自己的 IT 团队、厂商或工程团队都可以搭建。哪一种合适，取决于有多少人会用这个助手，以及它要接入哪些东西。

如果只是小组试用，一支已经在运维 Linux 服务器的 IT 团队，就能装好开源的聊天应用和模型服务器，并加载一个开放权重模型。起步时用较小的模型也许就够了，OpenAI 表示它的 gpt-oss-20b 在 16 GB 内存以内就能运行。先把每一份许可证都读一遍，包括聊天应用的许可证；试用只用小组里人人都有权阅读的文档，这样暂时还不必考虑权限问题。

由厂商以软件形式出售、装在你自己服务器上的成品，适合在共享文档库上做简单的问答。要问清楚它能接入你的哪些系统、由谁来安装它的更新，并像对待定制开发一样，让它经受下一节的五项演示。

当助手必须配合你们公司的登录体系和多个系统各自的权限时，就需要一支工程团队。如果它必须接入其他系统（比如文档管理系统），或者要保存合规团队能够查阅的日志，同样如此。这支团队可以是外部公司，也可以是加入你们 IT 团队的工程师。开工之前就要商定，上线之后由谁来运行这套系统。

怎么考察一家提出要为我们搭建它的公司？

签约之前，请每家供应商做五项演示。条件允许时，就用一套测试环境，接上你们自己的公司账号登录，以及你们有权与供应商共享的文档：

• 以一位无权打开某份文档的人的身份登录，然后问起这份文档。助手的回答应当如同这份文档不存在一样。接着在源系统里撤销某位同事对一个文件的访问权限，并计时看助手要过多久才不再为这位同事使用该文件
• 让供应商展示对话、上传文件和日志存放在哪里，并当着你的面删除某一个人的历史记录。然后弄清楚备份和日志里还留着什么，以及什么时候会被清除
• 查看供应商在模型更新后重新运行的那组测试问题，以及最近一次运行的记录，并弄清楚正确答案是谁写的
• 问清楚系统是按多少人同时使用来配置的，并查看支撑这个数字的压测。测试应当使用与你们类似的问题和文档，用户数按你预计最繁忙时段的人数来设
• 核实离开供应商你也能运行这套系统。代码、配置、模型文件、测试问题和运行说明都应当移交给你，而且任何部分都不应依赖供应商的服务器或许可证密钥

amBrain 在其中处于什么位置？

关于自己在语言模型方面的工作，amBrain 是这样说的：“我们已在一家客户的金融科技边界之内，将一项 LLM 集成投入生产：把非结构化的经纪商与交易场所通知——公司行动、金融工具与保证金变更——抽取并规范化为交易系统所消费的结构化记录。”客户未具名，该项目的任何数字也均未公布。

本文不是案例研究。它没有说明该项目中模型在哪里运行，也不声称 amBrain 为任何客户搭建过私有 ChatGPT、员工助手或文档搜索。本文不给出任何价格或工期。

amBrain 自 2019 年起开发软件。amBrain 有三种合作方式：整体交付、专属团队，或工程师嵌入你的团队。客户拥有产品与代码的全部所有权，amBrain 的可复用组件除外。

写一页纸，说明上面三种情况中哪一种适合你。针对六项要求中的每一项，补充写明它在你们公司意味着什么，比如文档权限保存在哪些系统里、对话必须保留多久。把这页纸发给 amBrain，或者你名单上的任何其他团队，并请每个团队都做同样的五项演示。

常见问题

• 它会和 ChatGPT 一样好用吗？在用你们自己的工作测试之前，谁也说不准。把你们那组问题拿给每一个候选模型跑一遍，再请知道答案的人给结果打分。如果要和公共服务做比较，就用不含客户数据的问题
• 我们能不能先用提供方的模型，以后再迁到自己的服务器上？可以，前提是你的聊天应用通过 OpenAI 兼容 API 访问模型。迁移之前，只把合规团队允许离开公司的数据发给提供方。vLLM 实现了同样的聊天 API，所以到时候应用只需要换上你服务器的地址和模型名称，只要它没有用到只有提供方服务才有的功能。在员工切换之前，把你们那组问题重新跑一遍，因为回答会随模型而变；还要问清楚提供方，已经发给它的数据会如何删除
• 员工能上传自己的文件吗？能。上传的文件是原文件的副本，由聊天应用保存，有时还会被加入搜索索引。它需要和对话相同的保留期限，并且必须和对话一起删除。要决定上传的文件只留在上传者自己的对话里，还是可以与某个用户组共享