GenAI
Aracı Kurumun Kaydedilen Görüşmeleri için Üretken Yapay Zekâ: Kendi Sunucularınızda Yazıya Dökme ve Arama ya da Bir Uyum Ürünü Satın Alma
AB kurallarının aracı kurumdan kaydedilen görüşmeler için istedikleri, konuşma ve dil modellerinin bunları nasıl aranabilir metne ve özetlere dönüştürdüğü, nerede hata yaptıkları ve kendi sunucularınızın ne zaman bir uyum ürününden daha iyi bir seçim olduğu.
Yazan: amBrain9 dk okuma
Bu yazıda
MiFID II kapsamında AB'deki bir yatırım kuruluşu, müşteri emirleri ve kendi işlemleriyle ilgili görüşmeleri kaydetmek, kayıtları beş yıl saklamak ve periyodik olarak kontrol etmek zorundadır. Üretken yapay zekâ bu kayıtları metne, özetlere ve bir arama dizinine dönüştürebilir; böylece inceleme yapan kişi saatlerce ses dinlemeden bir görüşmenin ilgili anına doğrudan gidebilir. Bunu uyum amaçlı bir kayıt ürününün parçası olarak satın alabilir ya da kayıtlar sistemlerinizden hiç çıkmasın diye açık modelleri kendi sunucularınızda çalıştırabilirsiniz. Her iki durumda da resmî kayıt ses kaydı olarak kalır ve bir transkripte dayanarak harekete geçmeden önce bir kişi kaydı dinlemelidir; çünkü konuşma modelleri bazen kimsenin söylemediği kelimeler yazar.
Kısa yanıt: görüşmeleri zaten transkripsiyon sunan bir tedarikçide arşivliyorsanız ve firmanız için geçerli kurallar sesin o tedarikçinin bulutunda işlenmesine izin veriyorsa bir ürün satın alın. Kayıtların şirket içinde kalması gerekiyorsa ya da transkriptlerin kendi emir ve müşteri sistemlerinize bağlı olmasına ihtiyacınız varsa modelleri kendi sunucularınızda çalıştırın. Her iki durumda da önce transkriptleri kendi görüşmelerinizden alınmış bir örneklem üzerinde test edin ve biri bir müşteri ya da çalışan hakkında karar vermeden önce ses kaydını bir kişiye dinletin.
AB kuralları bir aracı kurumdan kaydedilen görüşmelerle ilgili ne istiyor?
Yatırım hizmetlerine ilişkin AB direktifi MiFID II'nin 16(7) maddesine göre bir yatırım kuruluşunun kayıtları, en az iki konudaki telefon görüşmelerini ve elektronik iletişimleri içermelidir: kuruluşun kendi hesabına yaptığı işlemler ile müşteri emirlerinin alınması, iletilmesi ve yerine getirilmesi. Sonunda bir işlem yapılmasa bile bir işleme yol açması amaçlanan görüşmeler de buna dahildir. Kuruluşlar, bu tür görüşmelerin kaydedildiğini müşterilere önceden bildirmek zorundadır.
Maddenin, AB'nin menkul kıymet piyasaları otoritesi ESMA tarafından yayımlanan çevrimiçi kopyası, bu kayıtların “beş yıllık bir süre boyunca saklanacağını”, kuruluşun denetim otoritesi isterse yedi yıla kadar tutulacağını söylüyor. Kayıtlar, talep hâlinde ilgili müşteriye de verilmelidir. Bu yazıdaki tüm kaynaklar 2 Kasım 2026'da okundu.
Ayrıntıları (AB) 2017/565 sayılı Komisyon Yetki Devri Tüzüğü'nün 76. maddesi belirler. Maddenin şu kısımları bir yapay zekâ projesi için önemlidir:
- Görüşme kaydı ve kayıt tutma kurallarına uyulduğunu kontrol etmek için kuruluşlar “ilgili görüşmeler dahil olmak üzere, bu gerekliliklere tabi işlem ve emir kayıtlarını periyodik olarak izlemelidir” ve bu izleme “risk temelli ve orantılı olmalıdır”
- Kayıtlar “orijinal kaydın değiştirilmesine ya da silinmesine izin vermeyen” bir formatta saklanmalı ve “kolayca erişilebilir” olmalıdır
- Kuruluşlar “tüm telefon görüşmesi kayıtlarının kalitesini, doğruluğunu ve eksiksizliğini sağlamalıdır”
Dolayısıyla bir modelin ürettiği transkript, kayıtta bir şeyleri bulmanın bir yoludur ve hiçbir zaman ses kaydının yerine geçmemeli ya da onu değiştirmemelidir.
Üretken yapay zekâ kayıtlarla ne yapabilir?
İşi iki ana model türü yapar. Konuşma tanıma modeli sesi metne dönüştürür; sohbet asistanlarının arkasındaki türden bir model olan dil modeli ise bu metin üzerinde çalışır. Birkaç küçük araçla birlikte bu modeller şunları yapabilir:
- Her satırında zaman damgası olan bir transkript yazmak; böylece inceleme yapan kişi ses kaydında o ana atlayabilir
- Kimin konuştuğunu işaretlemek. Buna konuşmacı ayrımı (diarizasyon) denir ve genellikle ayrı bir model gerektirir
- Bir görüşmeyi, örneğin enstrümanı, tutarı ve müşterinin ne istediğini veren birkaç satırla özetlemek
- Uyum personelinin tüm görüşmelerde tam kelimelere ya da anlama göre arama yapmasını sağlamak; örneğin, hangi kelimeler kullanılmış olursa olsun bir müşteriye yatırımından getiri vaat edilen her görüşmeyi bulmak için
- Uyum ekibinin yazdığı kurallarla, bir kişinin incelemesi için görüşmeleri seçmek
Bir görüşmenin bir kuralı ihlal edip etmediğine iki modelden hiçbiri karar vermemelidir. OpenAI, açık konuşma tanıma modeli Whisper için bir model kartı yayımlıyor: modelin ne için olduğunu ve nerede yetersiz kaldığını anlatan bir belge. Kart, modelin “doğruluktaki kusurların sonuçlarda belirgin kusurlara yol açabileceği karar verme bağlamları gibi yüksek riskli alanlarda” kullanılmamasını tavsiye ediyor. Bir müşteri ya da çalışan hakkındaki bir tespit, görüşmeyi dinlemiş bir kişiden gelmelidir.
Aynı model kartı, kişilerin “rızaları olmadan alınmış” kayıtlarının yazıya dökülmesine karşı uyarıyor. MiFID II, kuruluşların müşterilere görüşmelerin kaydedildiğini bildirmesini zorunlu kılar. Bu bildirimin bir model tarafından yazıya dökülmeyi de kapsayıp kapsamadığı, veri koruma görevlinizin yanıtlayacağı bir sorudur.
Sistem çalışanların görüşmelerini işaretliyorsa, AB Yapay Zekâ Yasası'nın (EU AI Act) nasıl uygulanacağını avukatınıza sorun. Yasa, Ek III'te iş ilişkilerinde “kişilerin performansını ve davranışını izlemek ve değerlendirmek” için kullanılan yapay zekâ sistemlerini yüksek riskli olarak listeler. Madde 5 ise tıbbi ya da güvenlik nedenleri dışında, işyerindeki kişilerin duygularını çıkarsayan yapay zekâyı yasaklar.
Transkriptler ne kadar doğru?
Doğruluk; dile, telefon hattının kalitesine ve enstrüman adları gibi kelime dağarcığına bağlıdır. Whisper'ın proje sayfası, modelin performansının “dile bağlı olarak büyük ölçüde değiştiğini” söylüyor. Model kartı ayrıca doğruluğun aksanlar ve lehçeler arasında eşit olmadığını ve çıktının “ses girdisinde gerçekte söylenmemiş metinler içerebileceğini (yani halüsinasyon)” ekliyor.
Bu tür uydurma metinler yaygın değildir. Allison Koenecke ve meslektaşlarının 2024 tarihli çalışması, 2023'te her biri yaklaşık bir cümle uzunluğunda kısa klipleri OpenAI'ın Whisper servisine gönderdi. Çalışma, “ses transkripsiyonlarının kabaca %1'inin tamamen halüsinasyon ürünü ifadeler ya da cümleler içerdiğini” buldu. Bu uydurma ifadeler, konuşmasında uzun duraklamalar olan konuşmacılarda daha sık görüldü. Araştırmacılar sorunlu klipleri Aralık 2023'te yeniden çalıştırdığında hataların birçoğu ortadan kalkmıştı, bir kısmı ise sürüyordu. Bir görüşme çok sayıda cümle içerir; bu yüzden bir görüşmenin herhangi bir yerinde hata olma olasılığı tek bir klibe göre daha yüksektir.
Bir işlemle ilgili görüşmede pahalıya mal olan hatalar rakamlarda, enstrüman adlarında ve müşterinin al mı sat mı dediğindedir. Herhangi bir sisteme güvenmeden önce onu kendi görüşmeleriniz üzerinde test edin:
- Farklı masalardan, dillerden ve telefon hatlarından son görüşmelerden bir örneklem alın ve bunların doğru transkriptlerini insanlara yazdırın
- Modelin metnini bu transkriptlerle karşılaştırın ve tutarlardaki, fiyatlardaki, enstrüman adlarındaki ve alış ya da satış talimatlarındaki hataları diğer tüm hatalardan ayrı sayın
- Bir görüşme bir emirle sonuçlandıysa, transkriptteki tutarı trading sisteminizdeki emirle karşılaştırın
- Model ya da ayarları her değiştiğinde testi yeniden çalıştırın
Bir ürün mü satın almalıyız, yoksa modelleri kendi sunucularımızda mı çalıştırmalıyız?
Uyum amaçlı kayıt ve arşivleme ürünleri zaten transkripsiyon ve arama sunuyor. Bunlardan biri Smarsh: ses kayıtlarına ilişkin sayfası, ürünün “görüşmeleri otomatik olarak aranabilir metne dönüştürebildiğini” söylüyor ve “yapay zekâ ile üretilen özetler, duygu analizi, maskeleme (redaction) ve meta veri zenginleştirme” özelliklerini sıralıyor. Smarsh teknolojisini “buluta özgü” (cloud-native), yani bulutta çalışmak üzere geliştirilmiş olarak tanımlıyor.
Görüşmeleri zaten böyle bir tedarikçide arşivliyorsanız ve sesin onun bulutunda işlenmesine izin veriliyorsa bu daha hızlı seçenektir. İmzalamadan önce ses kayıtlarının ve transkriptlerin hangi ülkelerde işlenip saklandığını, tedarikçinin modellerini eğitmek için kullanılıp kullanılmadığını ve başka bir tedarikçiye geçerseniz hepsini nasıl dışa aktarabileceğinizi sorun.
Modelleri kendiniz çalıştırmak, kontrol ettiğiniz sunucularda açık modeller kullanmak demektir. Açık model, geliştiricisinin model dosyalarını herkesin indirip çalıştırabilmesi için yayımladığı modeldir. Whisper'ın proje sayfasına göre kodu ve model ağırlıkları, yani modelin öğrendiklerini tutan dosyalar, MIT lisansıyla yayımlanmıştır. Whisper'ın large modeli yaklaşık 10 GB GPU belleğine, daha hızlı olan turbo modeli ise yaklaşık 6 GB'a ihtiyaç duyar. Bu, modellerin yaptığı türden hesaplamalar için geliştirilmiş bir işlemci olan tek bir veri merkezi GPU'suna sığar.
Konuşmacı ayrımı için açık kaynaklı pyannote araç seti, community-1 adlı bir modeli CC-BY-4.0 lisansıyla yayımlıyor. Modelin kullanım koşullarını kabul ettikten sonra dosyalarını, model dosyalarını barındıran bir site olan Hugging Face'ten indiriyorsunuz; model bundan sonra kendi sunucularınızda çalışıyor. Araç setinin varsayılan ayarları ayrıca pyannote'a, işlenen her dosyanın uzunluğu gibi anonim kullanım verileri gönderiyor; proje sayfası bunun nasıl kapatılacağını açıklıyor.
Aynı araç seti ücretli bir model olan precision-2'yi de çağırabilir. Proje sayfasındaki örnekte bu model “pyannoteAI sunucularında çalışır”; pyannoteAI'ın fiyatlandırma sayfası ise Enterprise planında şirket içi kurulum (on-premise) da sunuyor. Sisteminizi kim geliştirirse geliştirsin, hangi modeli kullandığını ve o modelin nerede çalıştığını size göstermelidir; çünkü modelin adı tek başına sesin nereye gittiğini söylemez.
Özetler ve anlama göre arama, aynı sunucularda kendi modellerini gerektirir. Bir dil modelinin ne kadar GPU belleği kapladığı, üretken yapay zekâyı kendi sunucularınızda çalıştırmayı ele alan yazıda anlatılıyor.
Ayrıca okuyun
Kendi sunucularınız şu durumlarda mantıklıdır:
- Kendi politikanız ya da müşterilerinizle yaptığınız sözleşmeler nedeniyle kayıtlar sistemlerinizden çıkmamalıdır
- Transkriptlerin ve özetlerin kendi sistemlerinizdeki müşteri kaydına ve emre bağlı olmasını istiyorsunuz
- Görüşmeleriniz, test ettiğiniz ürünlerin iyi işleyemediği dillerde ya da aksanlarda
- Görüşme hacminiz, bir ürünün ücretlerini sunucuların ve onları işleten insanların maliyetinden yüksek hâle getiriyor
Hangi seçeneği tercih ederseniz edin, transkriptlere ve özetlere kayıtların kendisine davrandığınız gibi davranın. Onlara kayıtlarla aynı erişim yetkilerini, saklama süresini ve silme kurallarını verin ve bunlar üzerinde uyum ekibiniz ve veri koruma görevlinizle anlaşın. Bir kaydın kopyasını isteyen müşterinin transkripti de alıp almayacağına önceden karar verin.
Sistemi geliştirecek bir firmaya neler sormalıyız?
- Hangi konuşma modeli ve hangi dil modeli, hangi lisanslarla ve kimin sunucularında çalışacak?
- Konuşmacı ayrımı ve arama dahil, sistemin herhangi bir parçası ses, metin ya da kullanım verisini dışarıdaki bir servise gönderiyor mu?
- Doğruluğu bizim görüşmelerimiz üzerinde nasıl test edeceksiniz ve tutarlar, fiyatlar ve enstrüman adları nasıl kontrol ediliyor?
- İnceleme yapan kişi, transkriptteki bir satırdan orijinal ses kaydındaki aynı ana nasıl geçiyor?
- Orijinal kayıtlar değiştirilmeye ya da silinmeye karşı nasıl korunuyor?
- Hangi görüşmeleri kim görebiliyor ve her arama ve her dinleme loglanıyor mu?
- Bir modeli değiştirdiğimizde test tekrarlanıyor mu ve eski transkriptler olduğu gibi mi saklanıyor, yoksa yeni modelle yeniden mi üretiliyor?
amBrain nerede devreye girer?
amBrain'in kamuya açık olarak anlattığı, dil modeli kullanılan tek müşteri projesi şu: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.”
Bu yazı bir vaka çalışması değildir ve hiçbir müşteri çalışmasını anlatmaz. amBrain'in herhangi bir müşteri için görüşme transkripsiyonu, ses kayıtlarında arama ya da uyum izlemesi geliştirdiğini söylemez; yukarıda alıntılanan proje de yalnızca yazılı bildirimlerle çalışır. Burada adı geçen şirketler ve ürünler kendi yayımlanmış sayfalarından aktarılmıştır ve yazı amBrain ile bunların herhangi biri arasında bir ilişki iddia etmez. Yazı amBrain'e ait fiyat ya da takvim vermez.
Hukuki tavsiye de değildir. Yazı yalnızca AB kurallarını ele alır. Diğer ülkelerin kendi kuralları vardır; bu yüzden firmanız için geçerli kuralları bir avukatla kontrol edin.
amBrain 2019'dan bu yana yazılım geliştiriyor. Üç formatta çalışıyor: tam teslim, özel ekip ya da sizin ekibinize yerleşen mühendisler. Mülkiyet konusundaki satırı ise şöyle: “Müşteri, yeniden kullanılabilir bileşenlerimiz dışında ürünün ve kodun tam mülkiyetini elinde tutar.” amBrain kısa listenizdeyse, ona da diğer her firmaya sorduğunuz soruların aynısını sorun.
Konular
- Çağrı Kaydı
- Konuşma Tanıma
- Kendi Sunucularınızda Yapay Zekâ
- Mevzuata Uyum