没有 ML 团队：在你自己服务器上处理客服工单和文档的 LLM 系统，上线后由谁来运行

在你自己的服务器上给客服工单分类、读取文档的 LLM 系统，上线后仍然需要有人来运行。LLM 是大语言模型（large language model）的缩写，也就是 ChatGPT 背后的那类 AI。没有机器学习（ML）团队的公司有三条路线。构建系统的公司可以按支持协议继续运行它。完成交接之后，也可以改由你的 IT 团队接手，或者由 IT 团队与那家公司分担工作。无论走哪条路线，都要有人定期检查回答质量，并在每次模型变更上线之前予以批准。

上线之后，运行 LLM 系统包括哪些工作？

上线之后，运行 LLM 系统归结为以下这些反复出现的任务：

• 服务器（通常配有 GPU，即运行语言模型的芯片），以及对运行模型的软件的更新
• 正在使用的模型版本，以及何时更换它的决定
• 定期用一批固定的、取自你自己工单和文档的样本给回答打分
• 复核队列，即软件转交给人处理的条目，以及处理这些条目的员工
• 你这边的变化，比如新的表单、工单类别或业务规则
• 日志（记录系统做了什么），以及对工单和文档的访问权限
• 夜间故障，以及被叫起来处理的人

vLLM 是一款在你自己的服务器上运行模型的开源程序。它在 GitHub 上的安全页面（2026 年 10 月 20 日查阅）列出了一条 2026 年 10 月 6 日发布的安全公告，涉及一个已在 0.31.0 版本中修复的缺陷。公告的标题是“单个请求中过大的 min_tokens 会让 vLLM 引擎挂起，而 /health 依然显示正常”。在这个标题里，min_tokens 是一个请求参数，用来设定回答的最小长度。

监控工具会检查 /health 这样的地址，确认服务器还在运行。在 vLLM 安全公告描述的情形下，服务器看起来一切正常，实际上已经不再响应请求。LLM 系统的监控应当发送真实的测试请求，并检查回答是否返回。

我们自己的系统，和内置 AI 的服务台工具有什么不同？

以软件即服务（SaaS）形式出售的服务台工具，是一种通过互联网租用的工具：服务由供应商运行，模型运行在供应商的服务器上，或者运行在与它合作的公司的服务器上。你的工单会发送给供应商以及这些公司。在这类工具和你自己的系统之间如何选择，那篇关于文档 AI 软件还是定制 LLM 管道的文章有讲。

服务台供应商 Zendesk 在其生成式 AI 页面（同一天查阅）上说，“Zendesk 以两种方式将 LLM 集成到服务中”。一种是使用托管在“例如 AWS Bedrock、Microsoft Azure、Groq 或 Fireworks AI”等平台上的模型，Zendesk 说在这种情况下，“LLM 提供方永远不会访问你的服务数据”。另一种是使用“由模型提供方直接托管”的模型，例如 OpenAI 和 Google Gemini。对于这些模型，Zendesk 说发送给模型的文本及其回答“不会保存到任何日志机制中”。

另一家服务台供应商 Intercom 公布了一份子处理者清单，也就是代表它处理数据的公司。这份清单自 2026 年 6 月 25 日起生效（同一天查阅），其中列出了用于“AI 处理”的 OpenAI、Anthropic、Google 和 Microsoft 等公司。页面还说，这些清单“可能由 Intercom 不时更新”。

构建我们 LLM 系统的公司，能继续负责运行它吗？

构建系统的公司可能会提供支持协议，也就是一份由它在上线后继续维持系统运行的合同。检查协议在以下几点上是怎么写的：

• 什么算故障事件，比如系统停止运行，或者在很多文档上读错同一个字段，以及每一类事件的响应速度
• 谁可以登录你的服务器、通过哪些账户登录，以及这些访问如何记录
• 服务器费用由谁支付，需要扩容时由谁决定
• 什么算变更请求，比如增加一种文档类型或工单类别，以及如何定价
• 每月会收到哪些报告，比如质量分数、复核队列的数量和故障事件

让那家公司负责，对你的员工要求最少。但这样一来，经验就留在那家公司，你的公司在大多数变更上都要依赖它。那家公司退出时你应当拥有什么，在那篇关于首席运营官签约前该问哪些问题的文章里有讲。

我们的 IT 团队没有 ML 经验，能接手这个系统吗？

已经在运维公司服务器的 IT 团队，通常可以把 LLM 系统的服务器、访问权限、备份和监控纳入自己的工作。语言模型特有的任务，例如解读质量分数、测试新的模型版本，则需要先经过培训。

交接时，IT 团队需要处置手册（runbook），即针对日常任务和每一种已知故障（比如复核队列积满）的分步操作指南。团队还需要那批附有正确答案的工单和文档测试样本，以及用这批样本给系统打分的脚本。代码和模型文件应当存放在你公司掌控的存储上。

测试环境是系统的一个副本，变更在触及真实工单之前先在这里试用，它应当在上线之前就准备好。培训也可以在这里进行：你的团队在副本上做日常操作，那家公司的工程师检查他们的工作。

提示词和规则的变更需要有人负责。提示词是告诉模型该做什么的文本。表单一改，或者出现新的工单类别，就得有人更新提示词或规则，并重新给测试样本打分。要决定这个人是在 IT 部门、在那家公司，还是在负责该流程的团队里，比如客服团队。

我们的 IT 团队和那家公司分工，会怎样运作？

在分工模式下，你的 IT 团队负责服务器和访问权限，模型变更和质量问题则请那家公司来处理。

分工可能留下空当。质量下降时，IT 可能怪模型，而那家公司怪服务器，所以协议应当用书面形式写明谁决定什么。

例如，由那家公司在测试样本上给每个新模型版本打分之后，再由你的公司批准。修复质量问题是那家公司的事，而服务器的访问权限仍由你的 IT 团队决定。还要指定夜里告警响起时第一个去查看的人，以及这个人如何联系到另一方。

为什么上线后回答质量有时会下降？

准确率可能发生漂移，也就是在没有任何报错的情况下慢慢变化。产品发布后出现的新工单主题、一张改过的表单或一个新的模型版本，都可能引起漂移。服务器照常运行，所以服务器监控看不出这种下降。

用同一批附有正确答案的工单和文档样本重新打分，漂移就会显现出来。这应当定期进行，比如每月一次，并且在模型、提示词或规则每次变更之后都要做。把每次的分数与上线时记录的分数进行比较。

那两篇分别讲停滞的 AI 试点和首席运营官该问哪些问题的文章，介绍了如何建立测试样本。无论你选择哪条路线，合同都应当指定负责重新打分的人，并写明谁能看到结果。

模型何时更换，由谁决定？

在你自己的服务器上使用开放权重模型，何时切换由你的公司决定。开放权重模型是指模型开发者公开模型文件，任何人都可以按其许可证下载和运行的模型。许可证依然适用，而且新版本可能附带不同的许可证。

Google 的 Gemma 模型就是一个例子。Hugging Face 模型网站上的 Gemma 3 页面（同一天查阅）指向《Gemma 使用条款》（Gemma Terms of Use），而该条款又引入了一份《禁止使用政策》（Prohibited Use Policy）。Google 的开源博客在 2026 年 4 月 2 日写道：“Gemma 4 模型是 Gemmaverse 中首批在 OSI 认可的 Apache 2.0 许可证下发布的模型。”因此，从 Gemma 3 换到 Gemma 4，会改变你的律师要审读的许可证：从 Google 自己的条款变为开源许可证 Apache 2.0。

运行在你自己服务器上的系统，仍可能通过托管 API 调用模型，也就是经互联网连接到另一家公司的服务器。这个模型何时停用，由那家公司的时间表决定。Anthropic 的模型弃用页面（同一天查阅）写道：“对已过停用日期的模型发出的请求将会失败。”Anthropic 表示，对于有活跃部署的客户，它会“针对公开发布的模型，在模型停用前至少提前 60 天通知”。该页面还说，这些日期适用于 Anthropic 自己的平台，而 Amazon Bedrock 和 Google Cloud “自行制定停用时间表”。

每次切换，都意味着新版本上线之前要先在你的样本上打分，同时让旧版本随时待命，以防分数下降。Anthropic 的页面建议“远在停用日期之前，就用新模型对你的应用进行全面测试。”

一张客服工单能骗过系统吗？

提示词注入是一种攻击：发给系统的文本里夹带着针对模型的指令。客服工单来自公司外部，所以读取工单的系统在运行期间始终暴露在这种风险之下。OWASP Top 10 for LLM Applications 2025 是 OWASP 安全项目发布的一份风险清单（同一天查阅），它把提示词注入列在第一位。其中一个例子写道：“攻击者向客服聊天机器人注入提示词，指示它忽略先前的规定、查询私有数据存储并发送电子邮件，从而导致未授权访问和权限提升。”

防范提示词注入的设计规则，例如只给系统完成任务所需的权限，写在那篇关于停滞试点的文章里。OWASP 还列出了一项在系统运行期间需要反复执行的措施：“定期进行渗透测试和入侵模拟，把模型当作不受信任的用户来对待”。渗透测试是指测试人员在你的许可下，有意尝试攻入系统。

渗透测试应当列入运行任务的日程，合同应当写明由哪一方安排测试、修复测试发现的问题。日志里可能保存着工单全文，所以要决定谁可以阅读日志、日志保存多久。

运行系统每月要花多少钱，签约之前该问些什么？

在你自己的服务器上，每月成本首先是服务器及其 GPU（买的或租的），以及员工处理复核队列所花的时间。如果那家公司继续承担某个角色，支持协议会让成本增加，每次变更后的重新测试也是如此。这里不给出数字，因为每一项都取决于你的业务量和配置。

成本的构成取决于你选择的路线。由那家公司运行系统时，大部分成本落在支持协议上。交接之后，更多的是你自己员工的时间，包括培训。

向每一家提出既构建又运行系统的公司，提出同样的问题：

• 上线之后，哪些运行任务由你们承担，哪些由我们的 IT 团队来做？
• 你们多久用我们的测试样本给系统打一次分？
• 我们使用的模型版本停用时，重新测试的费用由谁承担？
• 交接时我们的 IT 团队会拿到什么？你们如何确认它能独立运行系统？

许可条款因模型而异，数据保护规则因国家而异。本文不构成法律意见，所以请与律师核实适用于你的条款。

amBrain 在其中处于什么位置？

amBrain 公开描述的唯一一个语言模型项目是：“我们已在一家客户的金融科技边界之内，将一项 LLM 集成投入生产：把非结构化的经纪商与交易场所通知——公司行动、金融工具与保证金变更——抽取并规范化为交易系统所消费的结构化记录。”

本文不是案例研究，也不描述任何客户项目。上面引用的这句话没有说明现在由谁运行那套系统、它的模型在哪里运行，也没有说明它包括本文的哪些步骤。本文中的客服工单、文档和运行路线都是一般性的例子，并非取自那个项目或 amBrain 的任何其他工作。

本文提到的供应商、模型开发商和软件项目，都是取自公开页面的例子，本文并不声称 amBrain 与它们中的任何一方有任何关系。本文不给出 amBrain 的任何价格、工期或条款。

amBrain 自 2019 年起开发软件。它有三种合作方式：整体交付、专属团队，或工程师嵌入你的团队。它关于所有权的说法是：“客户拥有产品与代码的全部所有权，我们的可复用组件除外。”如果 amBrain 在你的候选名单上，就给它和其他任何公司同样的问题。