API, Kendi Altyapınız ya da Hibrit: Düzenlemeye Tabi Bir Şirket LLM ile Belge İşlemeyi Nasıl Yürütebilir ve Bunu Üretime Kim Taşır

Düzenlemeye tabi bir şirket, LLM ile belge işlemeyi sözleşmeye dayalı olarak bir sağlayıcının API'si üzerinden, kendi sunucularında ya da ikisini birleştiren hibrit bir yapıyla yürütebilir. Her belge sınıfı sözleşme kapsamında dışarı çıkabiliyorsa API'yi, hiçbiri çıkamıyorsa kendi altyapınızı kullanın. Hibrit yapı ancak her iki tarafa da çok sayıda belge düştüğünde kendini amorti eder; çünkü iki sistem işletirsiniz ve yönlendirme tablosunun sorumluluğu sizdedir. Böyle bir sistemi hangi firmaların gerçekten üretime taşıdığını anlamak için sistemin geride bıraktığı kayıtları isteyin.

Üç yaklaşım nasıl karşılaştırılır?

Yukarıda bağlantısı verilen kapalı perimetre yazısı bunları ayrıntılı olarak karşılaştırıyor. Bir sağlayıcının API'sinde verileriniz, sözleşmenin ve sağlayıcının taahhüt ettiği veri kontrollerinin kapsamındadır. OpenAI'ın veri kontrolleri sayfası (8 Ekim 2026'da okundu), 1 Mart 2023'ten bu yana API'sine gönderilen verilerin, siz açıkça onay vermedikçe eğitim için kullanılmadığını belirtiyor.

Aynı sayfa, OpenAI'ın kötüye kullanımı tespit etmek için kullandığı ve prompt'ları ve yanıtları içerebilen kötüye kullanım izleme loglarının varsayılan olarak 30 güne kadar saklandığını belirtiyor. Yasa gerektiriyorsa ya da OpenAI'ın hizmetlerini veya başkalarını zarardan korumak için makul ölçüde gerekliyse bu loglar daha uzun süre saklanıyor. İçeriğinizin bu loglara girmemesi için OpenAI'ın önceden onay vermesi gerekiyor.

Bir bulut platformunun yönetilen model servisinde modeli sizin için bulut şirketi işletir ve modellerinin bir kısmı, halihazırda sahip olabileceğiniz bir bulut sözleşmesi kapsamında satılır. Microsoft'un dokümantasyonu, Azure tarafından satılan modellerde prompt'larınızın ve modelin yanıtlarının OpenAI'a ya da bu modellerin diğer sağlayıcılarına açık olmadığını belirtiyor. Amazon Bedrock dokümantasyonu ise model sağlayıcılarının müşterilerin prompt'larına ve modelin yanıtlarına erişimi olmadığını belirtiyor. Model yine de bulutun sunucularında çalışır; bunun perimetrenizin, yani şirketinizin kontrol ettiği ağ ve sistemlerin içinde sayılıp sayılmayacağına risk ekibiniz karar verir.

Kendi barındırdığınız açık ağırlıklı bir model, yani geliştiricisinin herkes indirip çalıştırabilsin diye yayımladığı bir model, sizin kontrol ettiğiniz sunucularda çalışır; bu yüzden hiçbir belge bir model sağlayıcısına gitmez. Bunun karşılığında sunucuları ve modeli işletmek ekibinizin işi olur.

Hibrit yapı pratikte nasıl görünür?

Hibrit yapı, bir dış yolu (bir sağlayıcının API'si ya da bir bulutun yönetilen servisi) ve bir iç yolu tek bir pipeline'da birleştirir. Her belgenin nereye gideceğine karar veren mantığa yönlendirici (router) denir. Üç temel tasarım vardır ve bunlar birleştirilebilir:

• Yayımlanmış kurallar ve rehberler gibi kamuya açık ya da düşük riskli belgeler API'ye gider, müşterilerin kimlik belgeleri ise içeride kalır
• Her belge önce kendi barındırdığınız modele gider; modelin başaramadığı belgeler ise yalnızca sınıfları izin veriyorsa dışarı çıkar
• Metin API'ye gitmeden önce isimler gibi tanımlayıcılar perimetrenin içinde yer tutucularla değiştirilir

Hangi belgelerin bir API'ye gidebileceğine kim karar verir?

Kararı risk ya da veri koruma birimi verir, mühendislik ekibi de bu kararı koda döker. Kararı önce kısa bir tablo olarak kâğıda geçirin; bu yazıda buna yönlendirme tablosu deniyor. Tablo, her belge sınıfı için izin verilen yolları, maskelemenin zorunlu olup olmadığını ve sağlayıcının metni ne kadar süre saklayabileceğini listeler.

Ardından pipeline'ın her belgenin sınıfını belirlemesi gerekir. Sizin kontrol ettiğiniz sinyaller bir modelin yargısından daha güvenlidir: belgenin geldiği kanal, gönderen, belge türü. Sinyaller çeliştiğinde daha katı sınıf geçerli olur, kimsenin sınıflandıramadığı bir belge ise içeride kalır.

Bu kontrol perimetrenin içinde çalışır. Bir belgenin dışarı çıkıp çıkamayacağını dışarıdaki API'ye soran bir kontrol, belgeyi çoktan göndermiş olur. Yönlendirme tablosundaki bir değişiklik, her kod değişikliği gibi incelemeden geçer ve bir sürüm numarası ile tarih alır.

Metni maskeleyip yine de API'ye gönderebilir miyiz?

Bazen, belirli sınırlar içinde. Presidio gibi açık kaynaklı araçlar isimleri, hesap numaralarını ve diğer tanımlayıcıları yer tutucularla değiştirir ya da bir anahtarla şifreler. Anahtarı içeride tutarsanız, yanıt geri geldiğinde Presidio'nun şifre çözme adımı gerçek değerleri yerine koyar; yer tutucu kullanıyorsanız hangi yer tutucunun hangi değerin yerine geçtiğini gösteren kendi tablonuzu tutarsınız. Bu şekilde maskelenmiş verilere takma adlandırılmış (pseudonymised) veri denir.

Avrupa Veri Koruma Kurulu (EDPB), takma adlandırmaya ilişkin 01/2025 sayılı Kılavuz'u 16 Ocak 2025'te kamuoyu görüşüne açılan bir versiyon olarak kabul etti. Kılavuz, ek bilgiler bu verileri bir kişiyle ilişkilendirebiliyorsa bu tür verilerin hâlâ kişisel veri sayıldığını belirtir. Ayrıca bunun, maskelenmiş metin ile bu bilgiler farklı taraflarda bulunduğunda, örneğin metin sağlayıcıda, tablo ya da anahtar sizdeyken de geçerli olduğunu ekler.

Avrupa Birliği Adalet Divanı aynı soruyu Eylül 2025'te, AB kurumlarına yönelik veri koruma kuralları kapsamındaki C-413/23 P sayılı davada ele aldı. Divan, takma adlandırılmış verilerin her durumda ve herkes için kişisel veri olmadığına hükmetti: koşullara bağlı olarak maskeleme, verileri maskeleyen şirket dışında hiç kimsenin verilerdeki kişileri tanımlayamamasını sağlayabilir. Tabloyu ya da anahtarı elinde tutan sizin için ise veriler kişisel olmaya devam eder. Bunun sözleşmeleriniz açısından ne anlama geldiğini veri koruma alanındaki hukuk danışmanınıza sorun.

İkinci sınır tespittir. Presidio kişisel verileri, kişi, yer ve kuruluş adlarını fark eden bir modelle ve hesap numaraları gibi bilinen biçimleri yakalayan kurallarla bulur. Dokümantasyonu, tespit otomatik olduğu için “Presidio'nun tüm hassas bilgileri bulacağının garantisi yoktur” der. Belge işlemede tipik olarak gözden kaçanlar:

• Taramaları metne dönüştüren adım olan optik karakter tanıma (OCR) bir ismi yanlış okur ve tespit aracı artık orada bir isim görmez
• Bir kişi hiçbir isim geçmeden tanımlanır: küçük bir firmadaki unvanıyla ya da belirli bir tarihteki benzersiz bir tutarla
• Maskelenen alan tam da ihtiyacınız olan alandır: görev karşı tarafın adını çıkarmaksa, maskelenmiş metin artık bu adı içermez

Maskelenmiş bir yolu kimse onaylamadan önce, kendi belgelerinizden alınmış bir örneklemde insanlara tüm tanımlayıcıları elle işaretletin, ardından tespit aracının neleri kaçırdığını sayın.

Bir belge yanlış yöne giderse ne olur?

Hibrit yapıda sızıntı bir yönlendirme hatasıdır. Sıradan bir bildirime eklenmiş taranmış bir pasaport ya da iletilmiş bir e-postanın en altında alıntılanmış bir müşteri mesajı, kısıtlı içeriği dış yola taşıyabilir. Her eki ayrı ayrı sınıflandırın ve bir yazışma zincirindeki alıntılanmış geçmişi içeriğin parçası sayın.

Sistemi, yanlış bir kararın belgeyi dışarı göndermek yerine durduracağı şekilde kurun. Yukarıda bağlantısı verilen kapalı perimetre yazısı ağ tarafını ele alıyor: iç yolun dış sağlayıcıya ait ne anahtarı ya da parolası ne de ona giden bir ağ yolu vardır. Buna bir kural ekleyin: kendi barındırdığınız model çalışmadığında kuyruğu bekler ya da insanlara gider, asla API'ye geçmez.

Bir belge yine de yanlışlıkla dışarı giderse, yönlendirme kaydı hangi belgelerin ne zaman ve hangi sağlayıcıya gittiğini gösterir. Sağlayıcının sözleşmesi ise onları ne kadar süre saklayabileceğini gösterir. Bunu veri koruma ekibinizle birlikte bir olay olarak ele alın; bildirilmesi gerekip gerekmediğine onlar karar verir.

İşi iki model yaptığında kaliteyi nasıl test ederiz?

Kabul seti, her biri için doğru yanıtın belli olduğu ve sistemin geçip geçmediğine karar vermek için kullanılan gerçek belgelerden oluşan bir gruptur. Hibrit yapıdaki iki model farklı yanıtlar verir; bu yüzden tüm pipeline için tek bir puan, zayıf olan yolu gizler.

Ayrıca API modelini kısıtlı belgeler üzerinde test edemezsiniz, çünkü bu belgeler oraya gidemez. Dolayısıyla kapalı perimetre yazısının her yol için önerdiği ortak kabul seti yalnızca iki yolda da izin verilen belgeleri içerebilir. Bu seti iki modeli karşılaştırmak için kullanın ve her yola, işlediği sınıflardan derlenmiş, kendine ait daha büyük bir set verin. Sağlayıcı API modelini kullanımdan kaldırdığında bu yol, geçişten önce yeniden puanlanır.

İki yolu birden işletmek ne gerektirir?

Hibrit yapı sözleşmeleri ikiye katlar: sağlayıcının şartları ve veri işleme sözleşmesi, artı kendi barındırdığınız modelin altındaki donanım ya da bulut sözleşmesi. Avrupa Bankacılık Otoritesi (EBA), AB'nin Dijital Operasyonel Dayanıklılık Yasası DORA'nın 17 Ocak 2025'ten bu yana uygulandığını belirtiyor. Kapsamındaki AB finansal kuruluşları, BİT (bilgi ve iletişim teknolojileri) üçüncü taraf hizmet sağlayıcılarıyla yaptıkları sözleşmesel düzenlemelere ilişkin bir kayıt defteri tutmak zorundadır. Dış bir model sağlayıcısı eklemek o kayıt defterini ilgilendiren bir sorudur ve bu soruyu uyum ekibiniz yanıtlar.

Operasyon da ikiye katlanır. Sağlayıcı dakikada gönderebileceğiniz istek sayısını sınırlar ve modelleri kendi takvimine göre kullanımdan kaldırır; bu yüzden birinin ikisini de izlemesi gerekir. Kendi sunucularınız kapasite planlaması ve gece nöbet tutacak birini gerektirir. Yönlendiriciyi ve maskeleme katmanını yalnızca siz işletirsiniz.

Her gün, her yoldaki belgelerin payını sınıf bazında izleyin. Kendi barındırdığınız model her belgeyi ilk gördüğünde, API'ye gönderilen payın artması daha fazla belgenin dışarı çıktığı ve API faturasının büyüdüğü anlamına gelir. Bunun nedeni çoğu zaman iç modelin okuyamadığı yeni bir belge şablonudur.

Denetim izi her belge için neyi göstermeli?

Belgenin sınıfını ve bu sınıfı belirleyen sinyalleri, yönlendirme tablosunun sürümünü ve izlenen yolu saklayın. Buna belgenin maskelenip maskelenmediğini ve hangi tespit aracı sürümüyle maskelendiğini, yanıtı veren sağlayıcıyı ve modelin tam sürümünü ekleyin. Bu kayıtla “geçen çeyrekte perimetreden çıkan bu sınıftaki tüm belgeleri göster” talebi tek bir veritabanı sorgusuyla karşılanır.

Hibrit yapı ne zaman yanlış seçimdir?

Tüm belgeleriniz tek bir veri sınıfına giriyorsa tek yol yeterlidir. Hacim küçükse ikinci bir yol kazandırdığından fazlasına mal olur ve kendi barındırdığınız modelin okuyamadığını bir insan halledebilir. Hibrit yapı, kendi sunucularınızın gece nöbetindeki her boşluğu da devralır. Ayrıca bölgenizdeki yönetilen bir bulut servisi her sınıfın kurallarını karşılıyorsa size tek bir sözleşme ve tek bir operasyon düzeni sağlar.

Bir firmanın bunu pilottan üretime taşıdığını nasıl kontrol ederiz?

Bu yazı hiçbir firmayı sıralamıyor, çünkü her firma web sitesine “üretimde yapay zekâ” yazabilir. Üretimdeki bir sistem, bir pilotun bırakmadığı kayıtlar bırakır; bu yüzden müşteri bilgileri çıkarılmış hâlde şunları isteyin.

• Sürümlenen bir belge olarak yönlendirme tablosu ve değişiklikleri onaylayan kişinin adı
• Her belge için sınıfı, yolu, yönlendirme tablosu sürümünü ve model sürümünü gösteren birkaç satırlık yönlendirme kaydı
• Kısıtlı bir belgeyi dış sağlayıcıya doğru gönderen ve belgenin durdurulduğunu gösteren bir testin son çalıştırması
• Her yol ve her sürüm için kabul puanları; buna bir sağlayıcının bir modeli kullanımdan kaldırması üzerine çıkarılan sürüm de dahil
• Tasarım metni maskeliyorsa, tespit aracının bir müşterinin kendi belgeleri üzerinde ölçülmüş kaçırmaları
• Her yolun kesintisi için runbook (operatörlere yönelik yazılı talimatlar) ve nöbette kimin olduğu
• Sistemi bugün işleten kişiyle bir görüşme

Uyarı işaretleri nelerdir?

• Maskeleme, ölçülmüş bir kaçırma oranı olmadan gizlilik sorusunun tek yanıtı olarak sunuluyor
• Neyin dışarı çıkabileceğine karar veren kontrol, bunu dışarıdaki API'nin kendisine soruyor
• İç model çalışmadığında trafik API'ye geçiyor ve kısıtlı belgeleri de beraberinde dışarı gönderiyor
• Yol başına puan yok, tüm pipeline için yalnızca tek bir doğruluk rakamı var

amBrain nerede devreye girer?

amBrain'in kamuya açık olarak anlattığı tek dil modeli projesi şu: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.”

Bu yazı bir vaka çalışması değildir: müşterinin adı verilmez ve o projede modelin nerede çalıştığı açıklanmaz. Yazı, amBrain'in herhangi bir müşteri için hibrit bir yapı, bir maskeleme katmanı ya da bir yönlendirici kurduğunu iddia etmez; fiyat ya da takvim de vermez.

amBrain, başka bir ekiple takılıp kalmış projeleri devralır ve üretim ortamına taşır.

amBrain 2019'dan bu yana yazılım geliştiriyor. Üç formatta çalışıyor: tam teslim, özel ekip ya da sizin ekibinize yerleşen mühendisler. Müşteri, amBrain'in yeniden kullanılabilir bileşenleri dışında ürünün ve kodun tam mülkiyetini elinde tutar.

Bu seçenekleri tartıyorsanız belge sınıflarınızı ve yukarıdaki kayıt listesini, amBrain dahil görüştüğünüz her firmaya götürün.

Sık sorulan sorular

• Maskeleme her belgeyi API'ye göndermemize izin verir mi? Hayır. Bir kişiyle yeniden ilişkilendirebildiğiniz maskelenmiş metin sizin için hâlâ kişisel veridir ve tespit araçları bazı tanımlayıcıları kaçırır. Maskelemeyi, dışarı çıkmasına zaten izin verilen sınıflarda maruziyeti azaltmak için kullanın
• Kendi barındırdığınız bir model kalitede API modeline yetişebilir mi? Bazı belge türlerinde evet. İşi nasıl bölüştüreceğinize karar vermeden önce ikisini de iki yolda da izin verilen belgelerden oluşan ortak sette puanlayın
• Tek yolla başlayıp ikincisini sonra ekleyebilir miyiz? Evet ve bu çoğu zaman daha ucuz bir yoldur. Yönlendiriciyi ve yönlendirme kaydını ilk günden kurun ki ikinci yolu sonradan eklemek pipeline'ı yeniden kurmak anlamına gelmesin