用生成式 AI 处理经纪商的通话录音：在自己的服务器上转写和搜索，还是购买合规产品

根据 MiFID II，欧盟的投资公司必须录下与客户订单和自营交易有关的通话，把录音保存五年，并定期检查。生成式 AI 可以把这些录音变成文字、摘要和搜索索引，这样复核人员无需听上几个小时的音频，就能直接跳到通话中的相关时刻。你可以把这项功能作为合规录音产品的一部分购买，也可以在自己的服务器上运行开放模型，让录音永远不离开你的系统。无论哪种方式，音频录音仍是正式记录；在依据转写文本采取行动之前，应当有人听一遍录音，因为语音模型有时会写出没有人说过的话。

欧盟规则要求经纪商如何处理通话录音？

欧盟投资服务指令 MiFID II 第 16(7) 条规定，投资公司的记录必须包括至少涉及两类事项的电话交谈和电子通信：公司以自有账户进行的交易，以及客户订单的接收、传递和执行。这也包括意在促成交易的通话，即使最终没有达成交易。公司必须事先告知客户，此类通话会被录音。

欧盟证券市场监管机构 ESMA 发布的该条文在线版本写明，这些记录“应保存五年”，如果公司的监管机构要求，最长保存七年。应相关客户的要求，还必须向其提供这些记录。本文所有来源均于 2026 年 11 月 2 日查阅。

欧盟委员会授权条例 (EU) 2017/565 第 76 条规定了具体细节。其中以下几部分对 AI 项目很重要：

• 为了检查录音和记录保存规则是否得到遵守，公司“应定期监控受这些要求约束的交易和订单记录，包括相关对话”，而且这种监控“应基于风险并合乎比例”
• 记录必须以“不允许更改或删除原始记录”的格式保存，并且必须“易于获取”
• 公司“应确保所有电话录音记录的质量、准确性和完整性”

因此，模型生成的转写文本是在录音中查找内容的一种手段，它绝不应取代或改动音频。

生成式 AI 能用这些录音做什么？

这项工作主要由两类模型完成。语音识别模型把音频转成文字，语言模型（也就是聊天助手背后的那类模型）则处理这些文字。再加上几个较小的工具，它们可以：

• 生成每一行都带时间戳的转写文本，让复核人员可以跳到音频中的对应时刻
• 标出谁在说话。这叫作说话人分离，通常需要一个单独的模型
• 用几行文字概括一通电话，比如写明金融工具、金额以及客户提出了什么要求
• 让合规人员按精确字词或按语义检索所有通话，比如找出每一通向客户承诺投资回报的通话，无论用的是什么说法
• 按照合规团队编写的规则，挑出需要人工复核的通话

两种模型都不应该决定一通电话是否违反了规则。OpenAI 为它的开放语音识别模型 Whisper 发布了一份模型卡：这份文档说明模型的用途以及它的不足之处。模型卡建议不要将其用于“高风险领域，例如决策场景，在这些场景中准确性上的缺陷可能导致结果出现明显缺陷。”关于客户或员工的结论，应当出自听过这通电话的人。

同一份模型卡还告诫，不要转写“未经本人同意而录制”的录音。MiFID II 要求公司告知客户通话会被录音。这一告知是否也涵盖由模型进行的转写，是需要你的数据保护官回答的问题。

如果系统会标记员工的通话，请向你的律师咨询 EU AI Act 如何适用。该法案附件 III 把在工作关系中用于“监控和评估人员的表现和行为”的 AI 系统列为高风险。其第 5 条禁止推断工作场所人员情绪的 AI，出于医疗或安全原因的除外。

转写文本有多准确？

准确率取决于语言、电话线路的质量和用词，比如金融工具的名称。Whisper 的项目页面说，它的表现“因语言不同而差异很大”。模型卡还指出，不同口音和方言的准确率参差不齐，而且输出“可能包含音频输入中实际上并未说出的文本（即幻觉）”。

这类凭空生成的文本并不常见。Allison Koenecke 等人 2024 年发表的一项研究，于 2023 年把一批每段约一句话长的短音频片段发送给 OpenAI 的 Whisper 服务。研究发现，“大约 1% 的音频转写包含完整的幻觉短语或句子”。说话时停顿较长的人，更容易出现这类凭空生成的短语。研究人员在 2023 年 12 月重新运行那些出问题的片段时，许多错误已经消失，也有一些仍然存在。一通电话包含很多句话，所以整通电话中某处出错的概率，比单个片段要高。

在一通关于交易的电话中，代价高昂的错误出在数字、金融工具名称，以及客户说的是买入还是卖出。在依赖任何系统之前，先用你自己的通话测试它：

• 从不同交易台、不同语言和不同电话线路中抽取一批近期通话作为样本，并由人工为它们写出准确的转写文本
• 把模型输出的文本与这些转写文本进行比较，并把金额、价格、金融工具名称以及买入或卖出指令中的错误，与其他所有错误分开统计
• 如果一通电话促成了订单，就把转写文本中的金额与交易系统中的订单进行核对
• 每当模型或其设置发生变化时，重新运行测试

我们应该购买产品，还是在自己的服务器上运行模型？

用于合规的录音与归档产品已经提供转写和搜索功能。Smarsh 就是其中之一：它介绍语音录音的页面说，该产品可以“自动将通话转换为可搜索的文本”，并列出了“AI 生成的摘要、情感分析、脱敏处理和元数据增强”。它把自己的技术描述为“云原生”，也就是专为在云端运行而构建。

如果你已经在用这样的供应商归档通话，并且获准让音频在它的云端处理，这是更快的选择。签约之前，要问清楚音频和转写文本在哪些国家处理和存储，是否会被用来训练该供应商的模型，以及如果你换用另一家供应商，如何把它们全部导出。

自己运行模型，意味着在你控制的服务器上使用开放模型。开放模型是指开发方公开发布模型文件、任何人都可以下载和运行的模型。Whisper 的项目页面说，它的代码和模型权重（保存模型所学内容的文件）以 MIT 许可证发布。Whisper 的 large 模型需要约 10 GB GPU 显存，速度更快的 turbo 模型约需 6 GB。一块数据中心 GPU 就能容纳，这种处理器专为模型所做的那类运算而设计。

在说话人分离方面，开源工具包 pyannote 以 CC-BY-4.0 许可证发布了一个名为 community-1 的模型。接受该模型的使用条件后，你可以从托管模型文件的网站 Hugging Face 下载它的文件，之后它就在你自己的服务器上运行。该工具包的默认设置还会向 pyannote 发送匿名使用数据，比如每个被处理文件的时长，它的项目页面说明了如何关闭这一功能。

同一个工具包也可以调用付费模型 precision-2。在项目页面的示例中，它“在 pyannoteAI 的服务器上运行”，而 pyannoteAI 的价格页面也在其 Enterprise 套餐中提供本地部署。无论由谁来构建你的系统，都应当向你说明它用的是哪个模型、这个模型在哪里运行，因为仅凭名称，你无法知道音频去了哪里。

摘要和按语义检索需要在同一批服务器上运行各自的模型。语言模型要占用多少 GPU 显存，在那篇关于在自己的服务器上运行生成式 AI 的文章中有介绍。

在以下情况下，使用自己的服务器是合理的：

• 由于你自己的政策或客户合同的要求，录音不得离开你的系统
• 你希望把转写文本和摘要与自己系统中的客户记录和订单关联起来
• 你的通话所用的语言或口音，是你测试过的产品处理不好的
• 你的通话量使产品的费用高于服务器以及运维人员的成本

无论选择哪种方案，都要像对待录音本身一样对待转写文本和摘要。给它们设定与录音相同的访问权限、保留期限和删除规则，并与你的合规团队和数据保护官商定这些规则。事先决定：客户索要录音副本时，是否也同时提供转写文本。

该问将要构建这套系统的公司哪些问题？

• 运行的是哪个语音模型和哪个语言模型，采用什么许可证，在谁的服务器上运行？
• 系统的任何部分，包括说话人分离和搜索，会把音频、文本或使用数据发送给外部服务吗？
• 你们将如何用我们的通话测试准确率，金额、价格和金融工具名称又如何核对？
• 复核人员如何从转写文本中的某一行跳到原始音频中的同一时刻？
• 原始录音如何防止被修改或删除？
• 谁能查看哪些通话，每一次搜索和每一次回放都会记入日志吗？
• 我们更换模型时，是否会重新测试，旧的转写文本是保持原样，还是用新模型重新生成？

amBrain 在其中处于什么位置？

amBrain 公开描述的唯一一个涉及语言模型的客户项目是：“我们已在一家客户的金融科技边界之内，将一项 LLM 集成投入生产：把非结构化的经纪商与交易场所通知——公司行动、金融工具与保证金变更——抽取并规范化为交易系统所消费的结构化记录。”

本文不是案例研究，也不描述任何客户项目。本文并未声称 amBrain 为任何客户构建过通话转写、语音搜索或合规监控，上文引用的那个项目只处理书面通知。文中提到的公司和产品均引自其公开发布的页面，本文并不声称 amBrain 与它们中的任何一方有任何关系。本文不给出 amBrain 的任何价格或工期。

本文同样不构成法律意见。本文只涉及欧盟规则。其他国家有各自的规则，所以请与律师核实适用于你公司的规则。

amBrain 自 2019 年起开发软件。它有三种合作方式：整体交付、专属团队，或工程师嵌入你的团队。它关于所有权的说法是：“客户拥有产品与代码的全部所有权，我们的可复用组件除外。”如果 amBrain 在你的候选名单上，就向它提出与其他任何公司同样的问题。