Verileriniz Şirketten Çıkmadan Yapay Zekâ Geliştirmeyi Dış Kaynağa Vermek: Dışarıdan Bir Ekip Sistemlerinizin İçinde Nasıl Çalışır

Dışarıdan bir firma, şirketinizden çıkmaması gereken belgeler üzerinde çalışan bir yapay zekâ sistemini kurup işletebilir. Belgeler sunucularınızda kalır; firmanın mühendisleri onlara sizin açtığınız ve kapatabileceğiniz hesaplarla, sizin kontrol ettiğiniz bilgisayarlardan erişir. Geliştirmeyi ekibinizin onayladığı örnek belgeler üzerinde yaparlar; gerçek belgelerle yalnızca sizin sunucularınızda çalışırlar. Bu şekilde çalışabilen bir firma bulmak için mühendislerinin önceki bir müşterinin belgelerine nasıl eriştiğini ve iş bitiminde firmanın neleri sildiğini sorun.

Verilerimizin dışarı çıkmaması gerekiyorsa yapay zekâ sistemimizi dışarıdan bir firma geliştirebilir mi?

Evet. Dil modelinin nerede çalışacağı ayrı bir karardır ve yukarıda bağlantısı verilen kapalı perimetre yazısında ele alınıyor. Bu yazı, sistemi geliştiren insanlarla ve onların neyi görüp kopyalayabildiğiyle ilgilidir. Bir mühendis bir prompt'u (modelin izlediği talimatları) denemek için gerçek belgelerle dolu bir klasörü dizüstü bilgisayarına kaydediyorsa, modelin kendi sunucularınızda çalışması pek koruma sağlamaz.

Bir mühendisin belgelerimizi yalnızca okuması da verilerin dışarı çıkması sayılır mı?

AB veri koruma hukukunda kişisel verileri okumak bile işleme sayılır. GDPR Madde 4(2), işlemeyi kişisel veriler üzerinde gerçekleştirilen her türlü işlem olarak tanımlar; maddenin saydığı işlemler arasında “consultation”, yani verilere bakmak da vardır. Mühendislerinin işi yapabilmek için bu erişime ihtiyaç duyduğu bir firma genellikle sizin veri işleyeninizdir; GDPR bu terimi sizin adınıza kişisel verileri işleyen şirket için kullanır. Madde 28, veri işleyenle bir sözleşme ya da bağlayıcı başka bir hukuki işlem yapılmasını şart koşar.

Firma Avrupa Ekonomik Alanı dışında yerleşikse, veriler yalnızca bir ekranda görünse bile firmanın uzaktan erişimi verilerin yurt dışına aktarımı sayılır. AB'nin veri koruma otoritelerini bir araya getiren Avrupa Veri Koruma Kurulu (EDPB), bunu 05/2021 sayılı Kılavuz'unda belirtir.

Aktarım, GDPR'ın V. Bölümü uyarınca hukuki bir dayanak gerektirir. Bu dayanaklardan biri yeterlilik kararıdır: Avrupa Komisyonu bu kararla firmanın bulunduğu ülkenin kişisel verileri yeterince koruduğunu tespit eder. Bir diğeri, Komisyon'un 4 Haziran 2021'de kabul ettiği hazır sözleşme hükümleri olan standart sözleşme maddeleridir. Taraflar bunlara dayanmadan önce, Kurul'un 01/2020 sayılı tavsiye belgesinde anlatıldığı gibi firmanın ülkesindeki mevzuatı değerlendirir.

ABD'de Federal Ticaret Komisyonu'nun (FTC) Safeguards Rule adlı düzenlemesi, FTC'nin denetlediği, konut kredisi ve maaş günü kredisi (payday loan) veren şirketler gibi finansal kuruluşları kapsar. Bu kuruluşlar müşteri bilgilerini koruyabilecek hizmet sağlayıcıları seçmek için makul adımlar atmak, bu korumaları sözleşmeye yazmak ve sağlayıcıları zaman zaman denetlemek zorundadır. Ayrıca güvenlik sorumluları makul ölçüde eşdeğer ya da daha güvenli kontrolleri yazılı olarak onaylamadıkça, “herhangi bir bilgi sistemine erişen her birey” için çok faktörlü kimlik doğrulama kullanmaları gerekir. Dışarıdan biri erişim almadan önce bu kurallardan hangilerinin sizin için geçerli olduğunu hukuk danışmanınıza sorun.

Dışarıdan gelen mühendisler verileri dışarı çıkarmadan nasıl erişim alır?

Onlara erişimi kendi çalışanlarınıza verdiğiniz şekilde, ama daha sıkı sınırlarla verin:

• Her kişi için kendi sistemlerinizde açılmış, çok faktörlü kimlik doğrulama kullanan, kişiye özel bir hesap. Ortak kullanılan bir hesapta loglar hangi belgeyi hangi kişinin açtığını gösteremez
• Tek bir çalışma yeri: sanal masaüstü, yani sunucularınızda çalışan ve mühendisin yalnızca ekran olarak gördüğü bir bilgisayar. Şirketinizin yönettiği bir dizüstü bilgisayar da belgeleri yalnızca bu masaüstü üzerinden açıyorsa iş görür. Dosyaların ve metnin başka cihazlara kopyalanmasını engelleyin
• Role göre erişim; gerçek belgeler için de bitiş tarihi olan ayrı bir onay
• Çalışma bilgisayarlarından internet erişiminin işin gerektirdiğiyle sınırlı tutulması; böylece bir belge herkese açık bir web sitesine ya da çevrimiçi bir sohbet aracına yapıştırılamaz
• Oturum açma ve dosya erişim loglarının, firmanın değiştiremeyeceği şekilde güvenlik ekibinizin elinde tutulması

İlk mühendis işe başlamadan önce kendi tarafınızdan birinden, aklına gelen her yolu deneyerek çalışma bilgisayarından bir belgeyi dışarı çıkarmasını isteyin. İşe yarayan her yolu kapatın ve kurulumdaki her değişiklikten sonra testi tekrarlayın.

Dışarıdan gelen mühendisler gerçek belgeleri görmeden önce neyin üzerinde geliştirme yapar?

İşin büyük kısmı gerçek belge gerektirmez. Gelen dosyaların okunmasından inceleyicilerin yanıtları kontrol ettiği ekrana kadar kodun çoğu onaylanmış örnekler üzerinde geliştirilebilir. İyi örnekler, aynı türden yayımlanmış belgeler ve sizin sunucularınızda kendi şablonlarınızdan üretilen kurgusal belgelerdir.

Gerçek belgeler iki iş için gerekir. Biri kabul setidir: doğru yanıtlarla etiketlenmiş ve sistemin her sürümden önce kendilerine göre puanlandığı gerçek belgeler. Diğeri, sistemi örneklerin kapsamadığı durumlara göre ayarlamaktır. İkisi de sizin sunucularınızda, gerçek belgeleri görme onayı olan kişiler tarafından yapılır.

İsimleri çıkarmak bir belgeyi her zaman anonim hâle getirmez; çünkü bir hesap numarası ya da bir tarih ve tutar yine de tek bir kişiyi işaret edebilir. GDPR'ın 26 numaralı gerekçesi (Recital 26), isimlerin değiştirildiği ama ek bilgilerle hâlâ bir kişiyle ilişkilendirilebilen takma adlandırılmış verilerin kişisel veri sayıldığını söyler. Bu yüzden bu tür örnekleri, veri koruma görevliniz anonim olduklarını teyit edene kadar sunucularınızda tutun.

Proje sırasında belgelerimizin kopyaları nerelerde kalır?

Çalışan bir sistem loglarda ve arama dizininde kendi kopyalarını oluşturur; yukarıda bağlantısı verilen yapay zekâ pilotları yazısı bunları sıralıyor. Geliştirme sırasında insanların oluşturduğu kopyalar ise daha kolay gözden kaçar:

• Bir mühendisin, bir prompt'u çevrimdışı denemek için dizüstü bilgisayarına kaydettiği örnek belge
• Firmanın görev takip aracındaki, sohbetindeki ya da e-postalarındaki ekran görüntüleri ve yapıştırılmış metin parçaları; bunlar firmanın sistemlerinde ve yedeklerinde kalır
• Bir yapay zekâ kodlama asistanına ya da sohbet aracına yapıştırılan metinler; araç bunları kendi sağlayıcısına gönderebilir
• Sistemin, firmanın kendi bulut hesabında duran ve zaman kazanmak için verilerinizle doldurulmuş bir test kopyası
• Yöneticilerinize yapılacak bir demo için alınan, sonra başkalarına iletilen bir dışa aktarım

Arama dizinini de belgeler gibi ele alın. Dizin her pasajı bir embedding, yani pasajın anlamını yakalayan bir sayı listesi olarak saklar; birçok kurulumda pasajın metni de bunun yanında tutulur. Araştırmalar, metnin yalnızca bu sayılardan yeniden oluşturulabildiğini gösteriyor.

2023'teki EMNLP konferansında Morris ve meslektaşları, 32 token'lık pasajların %92'sini birebir yeniden oluşturdu (token, bir kelime ya da kelimenin bir parçasıdır). Tek bir açık modelin ürettiği embedding'lerden yola çıktılar ve o modeli tekrar tekrar sorgulayabiliyorlardı. Ticari bir modelde ve daha uzun pasajlarda birebir geri elde etme oranı daha düşüktü. Aynı yöntem, bir klinik notlar setindeki tam adların %89'unu geri elde etti.

Belgelerinizin ve onlardan üretilen her şeyin, örneğin arama dizininin ya da kabul setinin, sizin sistemlerinizde kalacağını yazıya dökün.

Dışarıdan gelen mühendisler hangi araçları kullanabilir?

Belgelerinize erişebilen bilgisayarlarda yalnızca firmayla birlikte kararlaştırdığınız kısa bir listedeki araçları kullanabilirler. Listeyi oluşturmak için firmaya, mühendislerinin her gün hangi yapay zekâ kodlama asistanlarını ve çevrimiçi araçları kullandığını sorun. Her biri için, gördüğü kodu ya da içine yapıştırılan metni dışarıdaki bir sağlayıcıya gönderip göndermediğini sorun.

Ekip bir yapay zekâ kodlama asistanı istiyorsa onu perimetrenizin, yani şirketinizin kontrol ettiği ağ ve sistemlerin içindeki bir modele bağlayın. Aksi hâlde asistanı yalnızca belgeleri hiç görmeyen bilgisayarlara kurun. Liste sözleşmeye girer ve listeye yeni bir araç eklemek sizin onayınızı gerektirir.

Firmayla yapılacak sözleşmede neler yer almalı?

AB hukukuna tabi kişisel veriler için sözleşmenin neleri içermesi gerektiğini GDPR Madde 28 sayar. Bunlar arasında şunlar yer alır: firma yalnızca belgelenmiş talimatlarınız doğrultusunda hareket eder ve erişimi olan herkes verilerin gizliliğini korumakla yükümlüdür. Firma, Madde 32'nin gerektirdiği güvenlik tedbirlerini alır, denetimlerinize izin verir ve önceden yazılı izniniz olmadan başka bir veri işleyen görevlendirmez. Hizmet sona erdiğinde firma, tercihinize göre verileri siler ya da iade eder; AB hukuku ya da üye devlet hukuku saklanmalarını gerektirmedikçe mevcut kopyaları da siler.

Bu tür projelerde bunlara ek olarak birkaç hüküm daha gerekir:

• Erişimi olan herkesin adı ve rolü, ayrıca her kişinin hangi ülkeden çalıştığı
• Projeye biri katıldığında ya da projeden biri ayrıldığında, sizin belirlediğiniz süre içinde bildirim
• Kişisel veri içermeyen belgeler için bile, yazılı onayınız olmadan alt yüklenici kullanılmaması
• İş bitiminde dizüstü bilgisayarları, hesapları ve yedekleri kapsayan, hiçbir kopya kalmadığına dair imzalı bir teyit

Bu bir hukuki tavsiye değildir; hükümleri, tabi olduğunuz mevzuata göre hukuk danışmanınız hazırlar.

Biri projeden ayrıldığında ya da proje bittiğinde ne olur?

Erişim, işin bittiği gün sona ermelidir. ABD'nin standartlar kurumu NIST, sistem geliştiren firmalar dahil dış personeli, güvenlik kontrolleri kataloğu SP 800-53'teki PS-7 kontrolünde ele alır. Bu kontrol, oturum bilgilerinize ya da erişim haklarınıza sahip biri başka bir işe geçtiğinde ya da ayrıldığında, firmanın bunu sizin belirlediğiniz süre içinde bildirmesini şart koşmanızı ister.

Son gün ekibiniz hesapları ve sanal masaüstlerini devre dışı bırakır, yönetilen dizüstü bilgisayarları da geri toplar. Dışarıdan gelen mühendislerin bildiği tüm parolaları ve anahtarları aynı gün değiştirin ve firmadan, hangi kopyaları sildiğine ve hiçbir kopya kalmadığına dair yazılı bir teyit alın. Devam eden bir projeden tek bir mühendis ayrıldığında da aynı adımları uygulayın.

Bir firmaya erişim vermeden önce onu nasıl kontrol ederiz?

Kısa listenizdeki her firmadan yazılı yanıt isteyin ve yanıtları yan yana karşılaştırın:

• Benzer kuralların geçerli olduğu önceki bir projede mühendislerinizin müşterinin belgelerine nasıl eriştiğini, müşterinin adını vermeden anlatın
• Projemizde kimin erişimi olacağını, bu kişilerin nerede çalıştığını ve çalışanınız mı yoksa alt yüklenici mi olduklarını söyleyin
• Gerçek belgeleri görmeden önce neyin üzerinde geliştirme yapacağınızı ve örnekleri kimin onaylayacağını söyleyin
• Önceki bir projenin sonunda imzaladığınız bir silme teyidini, müşteri bilgileri çıkarılmış hâlde bize gösterin

Bir firmanın planında ya da sözleşmesinde uyarı işaretleri nelerdir?

• Firma “daha hızlı başlamak için” verilerinizin kendi bulutuna aktarılmasını istiyor
• Mühendisler tek bir hesabı ortak kullanacak ya da firma kimin erişimi olacağını söyleyemiyor
• Plana göre mühendisler prompt'ları firmanın kendi dizüstü bilgisayarlarında gerçek belgelerle test edecek
• Sözleşme alt yükleniciler ya da iş sonundaki kopyalar konusunda hiçbir şey söylemiyor

amBrain nerede devreye girer?

amBrain'in kamuya açık olarak anlattığı tek dil modeli projesi şu: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.”

Bu yazı bir vaka çalışması değildir. Müşterinin adı verilmez. Yazı, amBrain mühendislerinin o müşterinin sistemlerinin içinde çalıştığını ya da projede yukarıdaki kurulumlardan herhangi birinin kullanıldığını iddia etmez. Fiyat ya da takvim de vermez.

amBrain 2019'dan bu yana yazılım geliştiriyor. Mülkiyet konusundaki satırı şöyle: “Müşteri, yeniden kullanılabilir bileşenlerimiz dışında ürünün ve kodun tam mülkiyetini elinde tutar.” Başka herhangi bir firmadan isteyeceğiniz gibi, imzalamadan önce amBrain'den de bu bileşenlerin adlarıyla listesini isteyin.

Kısıtlı belgeler üzerinde çalışacak bir yapay zekâ sistemi için dışarıdan bir ekip getirmeden önce yukarıdaki soruları listenizdeki her firmaya sorun.

Sık sorulan sorular

• Dışarıdan gelen mühendisler kendi ofislerinden çalışabilir mi? Evet; sistemlerinize yalnızca sanal masaüstü ya da yönetilen dizüstü bilgisayar üzerinden erişiyor ve kendi bilgisayarlarında hiçbir şey tutmuyorlarsa. Firma Avrupa Ekonomik Alanı dışında yerleşikse, yukarıda anlatıldığı gibi bu erişim AB kurallarına göre bir aktarım sayılır
• Bu düzen proje başlamadan önce ek iş çıkarır mı? Evet. Hesapların, çalışma bilgisayarlarının ve onayların ilk mühendis işe başlamadan önce hazır olması gerekir; bu yüzden firmaya BT ekibinizden neye ihtiyaç duyduğunu erkenden sorun
• Gizlilik sözleşmesi (NDA) yeterli mi? Hayır. Tipik bir NDA bilgilerin gizli tutulmasını düzenler; birçoğu iş sonunda belgelerin iade edilmesini ya da imha edilmesini de şart koşar, ama bazıları firmanın yedeklerinde kopya tutmasına izin verir. NDA kişiye özel hesaplar, çalışma bilgisayarları ya da alt yüklenicilere ilişkin kurallar getirmez. AB hukukuna tabi kişisel veriler için Madde 28 ayrıca bir NDA'da genellikle bulunmayan hükümler ister