Hasar dosyalarını, destek taleplerini ya da KYC dosyalarını kendi sunucularınızda yapay zekâ ile otomatikleştirmeyi teklif eden bir firmaya sorulacak sekiz soru ve yanıtlarının nasıl sınanacağı.
Hasar dosyalarını, destek taleplerini ya da KYC dosyalarını kendi sunucularınızda yapay zekâ ile otomatikleştirmeyi teklif eden bir firmayla sözleşme imzalamadan önce, firmanın sisteminin bugün back-office'inizde yapılan işe nasıl uyacağını sorun. İyi yanıtlar, kendi dosyalarınızdan alınmış bir örneklemden çıkan rakamlarla gelir: kaç dosyanın hâlâ bir kişi tarafından kontrol edilmesi gerekeceği ve sistemin her ay işletilmesinin neye mal olacağı gibi. Bir firma dosyalarınızı görmeden rakam veriyorsa, bu rakamların hangi belgeler üzerinde ölçüldüğünü sorun.
Kısa yanıt: firmadan, kendi dosyalarınızdan alınmış bir örneklem üzerinde, sisteminin okuyamadığı bir dosyayla ne yaptığını ve yanıtlarını kontrol etmenin haftada kaç personel saati alacağını göstermesini isteyin. Ardından sistemin doğruluğunun çalışanlarınızınkiyle nasıl karşılaştırılacağını, en yoğun gününüzle nasıl başa çıktığını, her ay işletilmesinin neye mal olduğunu ve belgeleriniz ya da model değiştiğinde bunu kimin fark ettiğini sorun. İmzalamadan önce neyin sahibi olacağınızı ve firma ayrıldıktan sonra sistemi kimin işleteceğini yazılı hâle getirin.
Ayrıca okuyun
İşe, firmanın dosyalarınızdan hangilerini görmek istediğini sorarak başlayın. Bu işi daha önce yapmış bir firma genellikle size gerçekte gelen dosyaların bir aylık kesitini ister; taramalar ve telefonla çekilmiş fotoğraflar, birkaç eki olan e-posta yazışmaları, yarısı doldurulmuş hâlde geri dönen formlar ve çalışanlarınızın bir yöneticiye aktardığı vakalar da buna dahildir. Ayrıca bir hasar dosyasındaki hasar tarihi ya da bir kimlik belgesindeki geçerlilik bitiş tarihi gibi hangi alanların sizin için önemli olduğunu ve bunlardan biri yanlış okunduğunda bugün ne olduğunu sorar.
İlk toplantıdan önce kendi sisteminizden bir aylık dosyayı çekin ve her birinin ekibinizin ne kadar zamanını aldığına göre sıralayın; çünkü bir firmayı sınamanız gereken dosyalar en yavaş ilerleyenlerdir. Her türden kaç dosya olduğunu sayın ve hangilerinde kararı bir yöneticinin vermesi gerektiğini not edin.
Kısa listenizdeki her firmaya bu dosyaların sayılarıyla birlikte yazılı bir açıklamasını gönderin. Gerçek dosyalar yalnızca ücretli bir değerlendirme için seçtiğiniz firmaya gider: bu, ana sözleşmeyi imzalamadan önce firmanın sistemini kendi sunucularınızda test ettiği kısa bir ilk sözleşmedir. Aşağıdaki rakamların çoğu bu değerlendirmeden çıkar.
Her back-office'te sistemin başa çıkamayacağı dosyalar vardır; örneğin eğik açıyla çekilmiş bir fotoğraf ya da yeni bir düzende hazırlanmış bir banka ekstresi. Bunların her biri sonunda karar verebilecek bir kişinin önüne gelmelidir.
Değerlendirme için en sorunlu üç dosyanızı seçin ve firmadan, her birine geldiği andan karar veren kişiye ulaşana kadar ne olduğunu adım adım anlatmasını isteyin. Firmanın tarif edemediği her adımı not edin ve imzalamadan önce yeniden gündeme getirin.
İyi bir yanıtta dosya bir inceleme kuyruğuna gider: ekibinizde adı belirlenmiş bir kişinin sırayla ele aldığı bir dosya listesi. Bu kişi, belirsiz alanı işaretlenmiş sayfayı görür ve o karar verene kadar hasar ya da KYC sisteminize hiçbir şey ulaşmaz.
Firma ayrıca sistemin, okuyamadığı bir dosyayı yanlış okuduğu bir dosyadan nasıl ayırt ettiğini de açıklamalıdır. İkinci türü yakalamak daha zordur, çünkü yanlış bir tarih ya da tutar başka herhangi bir değer gibi görünür ve bir şey onu kontrol etmedikçe geçip gider.
Örnekleminizden elli dosya alın ve ekibinizin bugün her birine ne kadar zaman harcadığını ölçün. Değerlendirme sırasında firmaya, aynı elli dosyada incelemenin bu sürenin ne kadarını hâlâ alacağını sorun. Aradaki fark, işletme maliyetleri hesaba katılmadan önce sistemin kazandırdığı zamandır. Fark küçükse, bunu çalışanlarınızın yeni bir aracı öğrenmek için ihtiyaç duyacağı zamanla karşılaştırın.
Sistem dosyaların belirli bir oranını incelemeye gönderecek ve kaç çalışana ihtiyacınız olduğunu bu oran belirler. Firma bu oranı ana sözleşmeyi imzalamadan önce tahmin etmelidir: hem ilk haftalar için hem de en yaygın hatalar giderildikten birkaç ay sonrası için. Bu rakamlar olmadan, sistem devreye alındıktan sonra ekibinizin iş yükünü planlayamazsınız.
İncelemeyi bu dosyaları bugün işleyen kişiler yapmalıdır, çünkü doğru bir yanıtın neye benzediğini onlar bilir. Firma size bu kişilerin kullanacağı ekranı, sayfa ile işaretli alan yan yana olacak şekilde göstermeli ve bir incelemenin ortalama ne kadar sürdüğünü söylemelidir.
Çalışanlarınızdan ikisine, örnekleminizdeki elli dosyanın doğru yanıtlarını birbirleriyle konuşmadan yazdırın. Yanıtlarının farklı olduğu yerlerde ekibinizin henüz üzerinde uzlaşılmış bir yanıtı yoktur ve sistem bu dosyalarda puanlanamaz. Bu tür durumların nasıl karara bağlanacağı konusunda testler başlamadan önce anlaşın.
Firmalar doğruluğu genellikle tüm sistem için tek bir yüzde olarak verir. İşe yarayan bir puan ise tarih ya da tutar gibi her alan ve her belge türü için ayrı ayrı verilir. Puanlar test setinizden gelmelidir: örnekleminizden alınmış, doğru yanıtları kendi çalışanlarınız tarafından yazılmış ve firmanın sistemi ayarlarken kullanmadığı dosyalar. Çalışanlarınız da hata yapar; bu yüzden sistemin neyle karşılaştırıldığını görmek için onları da aynı dosyalar üzerinde ölçün.
İyi bir yanıt, geçme eşiğini, yani sistemin ulaşması gereken en düşük puanı, fiyat konusunda anlaşmaya varılmadan önce sabitler. Sistem bu puana ulaştığında hangi alanları kendi başına doldurabileceğini ve hangi alanların her zaman bir kişiye gideceğini söyler. Geçme eşiğini, iki kez ödenen bir hasar ya da yanlış kişi adına açılan bir hesap gibi bir hatanın size neye mal olduğuna göre belirleyin ve firmaya yazılı olarak iletin.
Hemen yukarıda bağlantısı verilen, üretime hiç ulaşamayan yapay zekâ pilotları yazısı, test setinin nasıl kurulacağını anlatıyor.
Bazı günler diğerlerinden çok daha fazla dosya getirir; örneğin ay sonu ya da bir fırtınanın ertesi sabahı. Ortalama bir günde iş yükünü karşılayan bir sistem, böyle bir günde geride kalabilir.
Kendi kayıtlarınızda son bir yılın en yoğun gününü dosya sayısıyla birlikte bulun ve firmadan, sisteminin o günle nasıl başa çıkacağını açıklamasını isteyin. Sunucular sizin olduğu için, böyle bir günde kapasite eklemenin neler gerektireceğini ve ne kadar süreceğini de sorun.
Yanıt, sistemin ona vereceğiniz sunucularda saatte kaç dosya işleyebileceğini ve dosyalar bir saatten uzun beklediğinde kimin aranacağını söylemelidir. Dosyalar sırayla, acil türler önde olacak şekilde beklemeli ve sizin tarafınızda biri bir belge türünü yeniden manuel işlemeye alabilmelidir. Biriken işi daha hızlı eritmek için hiçbir dosya atılmaz ya da kontrol edilmeden ileri gönderilmez.
İşletme maliyetleri geliştirme bedelinin üzerine eklenir ve sistem çalıştığı sürece devam eder. Kendi sunucularınızda bu maliyetlerin en az dört kalemi vardır:
Her firmadan, varsayımları yazılı olarak belirtilmiş bir aylık tahmin alın: aylık dosya sayısı, dosya başına sayfa sayısı, her türden kaç dosya olduğu ve firmanın öngördüğü sunucular. Sonra bu varsayımları gerçek hacminizle karşılaştırın. Bir firma hiçbir varsayım belirtmeden bir işletme maliyeti veriyorsa, rakamını diğer firmalarınkiyle karşılaştırmadan önce varsayımlarını yazmasını isteyin.
Sözleşme, sistem devreye alındıktan sonra firmanın aylık destek ücretinin neleri kapsadığını sıralamalıdır; örneğin sistemi yeni bir belge şablonuna uyarlamanın bu ücrete dahil mi olduğunu, yoksa ayrıca mı faturalandığını.
Bu yazı fiyat vermez, çünkü maliyet hacminize ve sunucularınıza bağlıdır. Her firma bunu sizin kendi rakamlarınızdan hesaplamalıdır.
Sistem devreye alındıktan sonra belgeleriniz değişecektir; örneğin iş ortağı bir banka ekstrelerinin tasarımını yenilediğinde ya da yeni bir ürün grubu yeni bir form getirdiğinde. Model de değişebilir: daha yeni bir sürüm çıktığında ya da modeli sunucularınızda çalıştıran yazılım eski sürümü desteklemeyi bıraktığında.
Model değiştiğinde sistem, geçişten önce test setiniz üzerinde alan alan yeniden puanlanmalı ve önceki modele geri dönebilmelisiniz. Bu testlerin her birinin bedelini kimin ödeyeceği konusunda önceden anlaşın.
Bir bankadan gelen tüm ekstreler salı günü incelemeye gitmeye başlarsa ya da bir alan bir hafta boyunca yanlış okunursa, sunucu izleme ekranları yine de hiçbir hata göstermez. Bunu yakalamak için sizin tarafınızda biri her hafta her belge türünün ne kadarının incelemeye gittiğini kontrol etmeli, firma da bu oran değiştiğinde ne yaptığını söylemelidir.
Projenin sonunda, sistemi firma olmadan işletmek ve değiştirmek için gereken her şey elinizde olmalıdır. Bu da kod, prompt'lar (modelin izlediği yazılı talimatlar), doğru yanıtlarıyla birlikte test seti, sistemi puanlayan betikler ve dokümantasyon demektir. Bu listeyi, firmanın her biri adıyla belirtilmiş yeniden kullanılabilir bileşenleriyle ve bunlarla neler yapabileceğinizle birlikte sözleşmeye yazın.
Sonra sizin tarafınızda sistemi kimin işleteceğini sorun. Firma bu rolü ve o kişinin neleri bilmesi gerektiğini tarif etmeli, eğitim de sistem devreye alınmadan önce tamamlanmalıdır. Yanıt “sistemi sizin yerinize biz işletiriz” ise, sözleşme sona erdiğinde ne olacağını ve devir teslimin neye mal olacağını sorun.
Ayrıca okuyun
AB Yapay Zekâ Yasası (EU AI Act) Madde 4 hükmü 2 Şubat 2025'ten bu yana uygulanıyor. Temmuz 2026 tarihli (AB) 2026/1744 sayılı Tüzük ile belirlenen güncel metnine göre madde, yapay zekâ sistemlerinin sağlayıcılarının ve uygulayıcılarının, kendi çalışanlarının ve sistemleri onlar adına işleten ve kullanan diğer kişilerin yapay zekâ okuryazarlığını desteklemek için önlemler almasını şart koşar. Madde, hiçbir kişiden belirli bir yapay zekâ okuryazarlığı düzeyi şart koşmaz.
Yasa bazı kullanımları yüksek riskli olarak sayar; bunlar arasında finansal dolandırıcılığın tespiti hariç olmak üzere gerçek kişilerin kredi değerliliğinin değerlendirilmesi ile hayat ve sağlık sigortasında risk değerlendirmesi ve fiyatlandırma yer alır. Bu kullanımlar için Madde 26, sistemi devreye alan şirkete ek yükümlülükler getirir; 2026 değişikliğine göre bu yükümlülükler 2 Aralık 2027'den itibaren uygulanır. Bu durumda insan gözetimi “gerekli yetkinlik, eğitim ve yetkiye” sahip kişilere verilir ve şirket sistemin işleyişini izler. Sistemin ürettiği loglar, şirketin kontrolü altında oldukları ölçüde ve başka bir mevzuat aksini öngörmedikçe en az altı ay saklanır.
AB finansal hizmetler mevzuatına tabi bankalar, sigorta şirketleri ve diğer finansal kuruluşlar, izleme yükümlülüğünü iç yönetişime ilişkin mevcut kurallarına uyarak yerine getirir; logları da bu kuralların zaten gerektirdiği dokümantasyonla birlikte saklar.
Sisteminizin bu kuralların kapsamına girip girmediği avukatlarınızın yanıtlayacağı bir sorudur ve bu yazı hukuki tavsiye değildir. Çalışanlarınızı eğitmek ve sizin tarafınızda sistemi işleten kişiyi belirlemek her iki durumda da işe yarar.
amBrain'in kamuya açık olarak anlattığı tek dil modeli projesi şu: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.”
Bu yazı bir vaka çalışması değildir ve müşterinin adı verilmez. Yazı, amBrain'in hasar dosyaları, destek talepleri ya da KYC dosyaları için bir sistem kurduğunu söylemez. O projede modelin nerede çalıştığı ve yukarıdaki uygulamalardan hangilerinin kullanıldığı açıklanmaz. Yazı, amBrain'e ait fiyat ya da takvim de vermez.
amBrain 2019'dan bu yana yazılım geliştiriyor. Müşterileriyle nasıl çalıştığını tek satırla anlatıyor: “Üç format: tam teslim, özel ekip ya da sizin ekibinize yerleşen mühendisler.” Mülkiyet konusundaki satırı ise şöyle: “Müşteri, yeniden kullanılabilir bileşenlerimiz dışında ürünün ve kodun tam mülkiyetini elinde tutar.” Başka herhangi bir firmadan isteyeceğiniz gibi, amBrain'den de bu bileşenlerin adlarıyla listesini isteyin.
amBrain kısa listenizdeyse, ona da diğer firmalara gönderdiğiniz yazılı soruların aynısını gönderin.
Mevcut mimarinizi ve sizi endişelendiren hata senaryosunu getirin; yarım saatte birlikte üzerinden geçelim.