Генеративный ИИ для записей звонков брокера: расшифровка и поиск на своих серверах или покупка продукта для комплаенса

По MiFID II инвестиционная компания в ЕС должна записывать звонки о заявках клиентов и собственных сделках, хранить записи пять лет и периодически их проверять. Генеративный ИИ может превратить эти записи в текст, краткие изложения и поисковый индекс, чтобы проверяющий сразу переходил к нужному моменту звонка, не прослушивая часы аудио. Это можно купить в составе продукта для записи в целях комплаенса или запустить открытые модели на своих серверах, чтобы записи никогда не покидали ваши системы. В любом случае официальной записью остаётся аудиозапись, и прежде чем действовать на основании расшифровки, человеку следует прослушать саму аудиозапись, потому что речевые модели иногда пишут слова, которых никто не говорил.

Что правила ЕС требуют от брокера в отношении записей звонков?

Статья 16(7) MiFID II, директивы ЕС об инвестиционных услугах, говорит, что записи инвестиционной компании должны включать телефонные разговоры и электронную переписку как минимум по двум темам: сделкам, которые компания совершает за собственный счёт, а также приёму, передаче и исполнению заявок клиентов. Сюда входят и звонки, которые должны были привести к сделке, даже если сделки в итоге не было. Компании обязаны заранее сообщать клиентам, что такие звонки записываются.

В онлайн-версии статьи, опубликованной ESMA — органом ЕС по надзору за рынками ценных бумаг, — сказано, что эти записи «должны храниться в течение пяти лет», а если этого требует надзорный орган компании — до семи лет. Кроме того, по запросу их нужно предоставить клиенту, которого они касаются. Все источники в этой статье прочитаны по состоянию на 2 ноября 2026 года.

Статья 76 Делегированного регламента Комиссии (ЕС) 2017/565 устанавливает подробные требования. Для проекта с ИИ важны следующие её положения:

• Чтобы проверять соблюдение правил записи разговоров и хранения записей, компании «обязаны периодически контролировать записи о сделках и заявках, на которые распространяются эти требования, включая соответствующие разговоры», и такой контроль «должен быть основан на оценке рисков и соразмерен»
• Записи должны храниться в формате, «который не позволяет изменить или удалить исходную запись», и должны быть «легко доступны»
• Компании «обязаны обеспечивать качество, точность и полноту записей всех телефонных разговоров»

Поэтому расшифровка, сделанная моделью, — это способ найти нужное в записи, и она никогда не должна заменять или изменять аудио.

Что генеративный ИИ может сделать с записями?

Основную работу делают модели двух видов. Модель распознавания речи превращает аудио в текст, а языковая модель — того типа, что стоит за чат-ассистентами, — работает с этим текстом. Вместе с несколькими инструментами поменьше они могут:

• Составлять расшифровку с отметкой времени на каждой строке, чтобы проверяющий мог перейти к этому моменту в аудио
• Отмечать, кто говорит. Это называется диаризацией, и для неё обычно нужна отдельная модель
• Кратко излагать звонок в нескольких строках, где указаны, например, инструмент, сумма и то, о чём просил клиент
• Давать сотрудникам комплаенса искать по всем звонкам по точным словам или по смыслу — например, чтобы найти каждый звонок, в котором клиенту обещали доходность от инвестиций, какими бы словами это ни было сказано
• Отбирать звонки для проверки человеком по правилам, которые пишет команда комплаенса

Ни одна из моделей не должна решать, было ли в звонке нарушение правил. OpenAI публикует карточку модели для Whisper, своей открытой модели распознавания речи: документ, который описывает, для чего модель предназначена и в чём она не справляется. Карточка не рекомендует использовать модель «в областях с высоким риском, например в контекстах принятия решений, где недостатки точности могут приводить к заметным недостаткам в результатах». Вывод о клиенте или сотруднике должен делать человек, который прослушал звонок.

Та же карточка модели предостерегает от расшифровки записей людей, «сделанных без их согласия». MiFID II обязывает компании сообщать клиентам, что звонки записываются. Распространяется ли это уведомление и на расшифровку моделью — вопрос к вашему специалисту по защите данных.

Если система помечает звонки сотрудников, спросите своего юриста, как применяется Регламент ЕС об ИИ (AI Act). Его приложение III относит к системам высокого риска системы ИИ, используемые «для мониторинга и оценки работы и поведения лиц» в трудовых отношениях. Его статья 5 запрещает ИИ, который определяет эмоции людей на работе, за исключением медицинских целей и целей безопасности.

Насколько точны расшифровки?

Точность зависит от языка, качества телефонной линии и лексики, например названий инструментов. На странице проекта Whisper сказано, что качество его работы «сильно различается в зависимости от языка». Карточка модели добавляет, что точность неодинакова для разных акцентов и диалектов и что результат «может содержать текст, который на самом деле не звучит во входном аудио (то есть галлюцинации)».

Такой выдуманный текст встречается нечасто. Авторы исследования 2024 года, Allison Koenecke и коллеги, в 2023 году отправляли в сервис Whisper от OpenAI короткие фрагменты длиной примерно в одно предложение каждый. Исследование показало, что «примерно в 1% расшифровок аудио встречались целые фразы или предложения, порождённые галлюцинациями». Такие выдуманные фразы чаще появлялись у говорящих с длинными паузами в речи. Когда в декабре 2023 года исследователи снова прогнали проблемные фрагменты, многие ошибки исчезли, а некоторые остались. В звонке много предложений, поэтому вероятность ошибки где-то в звонке выше, чем в одном фрагменте.

В звонке о сделке дорого обходятся ошибки в числах, названиях инструментов и в том, что сказал клиент: купить или продать. Проверьте любую систему на своих звонках, прежде чем на неё полагаться:

• Возьмите выборку недавних звонков с разных торговых столов, на разных языках и по разным телефонным линиям и попросите людей сделать их правильные расшифровки
• Сравните текст модели с этими расшифровками и считайте ошибки в суммах, ценах, названиях инструментов и указаниях купить или продать отдельно от всех остальных ошибок
• Если звонок привёл к заявке, сверьте сумму в расшифровке с заявкой в вашей торговой системе
• Повторяйте тест при каждом изменении модели или её настроек

Покупать продукт или запускать модели на своих серверах?

Продукты для записи и архивирования в целях комплаенса уже предлагают расшифровку и поиск. Один из них — Smarsh: на его странице о голосовых записях сказано, что продукт умеет «автоматически превращать звонки в текст, по которому можно искать», и перечислены «созданные ИИ краткие изложения, анализ тональности, маскирование данных и обогащение метаданными». Свою технологию Smarsh описывает как «cloud-native», то есть созданную для работы в облаке.

Это более быстрый вариант, если вы уже архивируете звонки у такого вендора и вам разрешено обрабатывать аудио в его облаке. До подписания спросите, в каких странах обрабатываются и хранятся аудио и расшифровки, используются ли они для обучения моделей вендора и как выгрузить их все, если вы перейдёте к другому вендору.

Запускать модели самим — значит использовать открытые модели на серверах, которые вы контролируете. Открытая модель — это модель, разработчик которой публикует её файлы, чтобы любой мог их скачать и запустить. На странице проекта Whisper сказано, что его код и веса модели — файлы, в которых хранится то, чему модель научилась, — выпущены под лицензией MIT. Модели large в Whisper нужно около 10 ГБ памяти GPU, а более быстрой модели turbo — около 6 ГБ. Это помещается на один GPU для дата-центров — процессор, созданный для тех вычислений, которые выполняют модели.

Для диаризации open-source набор инструментов pyannote публикует модель community-1 под лицензией CC-BY-4.0. Вы скачиваете её файлы с Hugging Face — сайта, где размещают файлы моделей, — после принятия условий использования модели, и дальше она работает на ваших собственных серверах. При настройках по умолчанию набор инструментов также отправляет pyannote анонимные данные об использовании, например длительность каждого обработанного файла, а на странице проекта объясняется, как это отключить.

Тот же набор инструментов может обращаться к платной модели precision-2. В примере на странице проекта она «работает на серверах pyannoteAI», а на странице с ценами pyannoteAI в тарифе Enterprise предлагается также развёртывание on-premise. Тот, кто строит вашу систему, должен показать вам, какую модель она использует и где эта модель работает, потому что по одному названию не понять, куда уходит аудио.

Для кратких изложений и поиска по смыслу нужны свои модели на тех же серверах. Сколько памяти GPU занимает языковая модель, разбирается в статье о запуске генеративного ИИ на своих серверах.

Свои серверы имеют смысл, когда:

• Записи не должны покидать ваши системы — по вашей собственной политике или по договорам с вашими клиентами
• Вам нужно, чтобы расшифровки и краткие изложения были связаны с карточкой клиента и заявкой в ваших собственных системах
• Ваши звонки идут на языках или с акцентами, с которыми протестированные вами продукты справляются плохо
• При вашем объёме звонков плата за продукт выше, чем стоимость серверов и людей, которые их обслуживают

Какой бы вариант вы ни выбрали, обращайтесь с расшифровками и краткими изложениями так же, как с самими записями. Назначьте им те же права доступа, срок хранения и правила удаления, что и у записей, и согласуйте это с вашей командой комплаенса и вашим специалистом по защите данных. Заранее решите, получит ли клиент, который просит копию записи, ещё и расшифровку.

Что спросить у фирмы, которая будет строить систему?

• Какая модель распознавания речи и какая языковая модель будут работать, по каким лицензиям и на чьих серверах?
• Отправляет ли какая-либо часть системы, включая диаризацию и поиск, аудио, текст или данные об использовании во внешний сервис?
• Как вы будете проверять точность на наших звонках и как проверяются суммы, цены и названия инструментов?
• Как проверяющий переходит от строки расшифровки к тому же моменту в исходном аудио?
• Как исходные записи защищены от изменения или удаления?
• Кто какие звонки может видеть и логируется ли каждый поиск и каждое прослушивание?
• Когда мы меняем модель, повторяется ли тест и остаются ли старые расшифровки как есть или создаются заново новой моделью?

Где здесь место amBrain?

Единственный клиентский проект с языковой моделью, который amBrain описывает публично, таков: «Мы вывели интеграцию LLM в прод внутри FinTech-периметра клиента: извлечение и нормализация неструктурированных уведомлений брокеров и торговых площадок — о корпоративных действиях, изменениях по инструментам и марже — в структурированные записи, которые потребляет торговая система».

Эта статья — не кейс, и работа для клиентов в ней не описывается. В ней не утверждается, что amBrain строил для какого-либо клиента расшифровку звонков, голосовой поиск или комплаенс-мониторинг, а процитированный выше проект работает только с письменными уведомлениями. Компании и продукты, названные здесь, приводятся по их опубликованным страницам, и статья не утверждает, что между amBrain и кем-либо из них есть какие-либо отношения. Цен и сроков amBrain статья не приводит.

Это и не юридическая консультация. Статья рассматривает только правила ЕС. В других странах действуют свои, поэтому проверьте правила для вашей компании у юриста.

amBrain делает софт с 2019 года. Компания работает в трёх форматах: полная разработка, выделенная команда или инженеры внутри вашей команды. О владении у неё такая строка: «Клиент сохраняет полное владение продуктом и кодом, кроме наших переиспользуемых компонентов». Если amBrain в вашем шорт-листе, задайте ему те же вопросы, что и любой другой компании.