Anahtar Teslim Yapay Zekâ Projesi: Sabit Fiyat Ne Zaman İşe Yarar ve Pilotunuzu Üretime Taşıyacak Firmayla Nasıl Anlaşırsınız

Takılıp kalmış bir yapay zekâ pilotu, sonunda çalışan bir sistemin teslim edildiği anahtar teslim bir iş olarak tamamlanabilir. Pilotu belgeleriniz üzerinde ölçen ve ulaşması gereken puanı belirleyen, sabit fiyatlı kısa bir değerlendirmeyle başlayın. Puanı bu hedefe çıkarmak kimsenin önceden fiyatlandıramayacağı bir iştir; bu yüzden onu zaman ve malzeme (time and materials) esasıyla, yani toplamına tavan konmuş saatlik ücretlerle satın alın. Kâğıt üzerinde tarif edebildiğiniz geri kalan işin fiyatını ise aşama aşama sabitleyin.

Bir yapay zekâ sistemi için “anahtar teslim” ne anlama gelir?

Bir yapay zekâ sistemi için anahtar teslim, firmanın kullanıma hazır bir sistem teslim etmesi demektir; “hazır” sözcüğünün ne anlama geldiğini de sözleşme belirler. Örneğin sistem perimetrenizin içinde, şirketinizin kontrol ettiği sunucularda ya da bulut hesaplarında çalışır. Belgeleriniz üzerinde hedef puana ulaşır ve emin olamadığı durumları bir kişiye yönlendirir. Firma ayrıldıktan sonra sistemi kendi çalışanlarınız işletebilir.

İnşaatta anahtar teslim yüklenici, tesisin tamamını tasarlar, inşa eder ve kullanıma hazır hâlde teslim eder. Uluslararası Müşavir Mühendisler Federasyonu FIDIC, bu tür projeler için Gümüş Kitap (Silver Book) olarak bilinen standart bir sözleşme yayımlar.

FIDIC'in 2017 baskısı için yayımladığı sayfa, Gümüş Kitap'ın uygun olmadığı üç durumu sayar:

• Teklif verenlerin, işverenin gereksinimlerini kontrol etmek, kendi tasarım ve risk çalışmalarını yapmak ve maliyeti tahmin etmek için yeterli zamanı ya da bilgisi yoktur
• İşin büyük kısmı yer altında ya da teklif verenlerin inceleyemediği başka yerlerdedir ve sözleşmede kimsenin öngöremeyeceği koşullara dair bir hüküm yoktur
• İşveren, yüklenicinin işini yakından denetlemeyi ya da kontrol etmeyi veya çizimlerin çoğunu incelemeyi planlamaktadır

FIDIC bu durumlar için başka bir standart sözleşmeyi, Sarı Kitap'ı (Yellow Book) önerir. Takılıp kalmış bir yapay zekâ pilotu, bir firma belgelerinizi pilottan geçirene kadar ilk iki duruma uyar; çünkü zemini henüz kimse incelememiştir. Aşağıda anlatılan aşamalı sözleşme de işi yakından kontrol etmenizi sağladığı için üçüncü duruma uyar. Bu yüzden “anahtar teslim” ifadesini çalışan bir sistemin teslimi olarak okuyun ve işi aşama aşama fiyatlandırın.

Yapay zekâ işlerinde sabit fiyat neden zordur?

Bir yazılım projesinin birçok parçası, kimse onları geliştirmeden önce tarif edilebilir. Bir rapor ya da başka bir sisteme bağlantı kâğıda sığar ve bir firma yazılanı fiyatlandırabilir.

Belgeleri bir dil modeliyle okuyan bir sistemin, kimsenin önceden tarif edemeyeceği bir parçası vardır: sistemin belgeleriniz üzerinde her alanı ne sıklıkla doğru okuduğu. Alan, tarih ya da tutar gibi tek bir veri parçasıdır. Bunun yanıtı taramalarınıza ve şablonlarınıza, bir de karşınıza çıkana kadar kimsenin hatırlamadığı durumlara bağlıdır. Biri sistemi belgeleriniz üzerinde ölçene kadar hedef puana ulaşmanın ne kadar iş gerektireceğini kimse bilmez.

ABD hükümetinin satın alma kuralları da bu ayrımı yapar. Federal Satın Alma Yönetmeliği'nin (FAR) 16. Kısmı sözleşme türlerini düzenler. Zaman ve malzeme sözleşmesini, çalışılan saatlerin sabit saatlik ücretlerle, malzemelerin ise gerçek maliyetiyle ödendiği sözleşme olarak tanımlar. Böyle bir sözleşmeye yalnızca, imza anında işi kimse doğru tahmin edemiyorsa ya da maliyetini “makul düzeyde bir güvenle” öngöremiyorsa izin verir.

FAR'a göre sabit fiyatlı sözleşme, şartnamesi net olan ve adil bir fiyatın en baştan belirlenebildiği işlere uyar. 16. Kısım ayrıca sözleşme yetkililerine, deneyim daha kesin bir fiyatlandırma için dayanak sağladığında zaman ve malzeme yöntemini uzun süre kullanmaktan kaçınmalarını söyler.

Bu yüzden, kimse belgelerinizi sistemden geçirmeden verilen ve işin tamamını kapsayan sabit bir fiyat çoğu zaman bilinmeyenler için büyük bir pay içerir. Alternatifi, fiyatın kapsamadığı kalemleri sayan bir hariç tutulanlar listesidir ve bu kalemlerin her biri bir riski size geri bırakır. Teklifte ikisini de arayın.

Hangi aşamalar sabit fiyata, hangileri zaman ve malzemeye uygundur?

Bu bir hukuki tavsiye değildir. Sözleşmeyi avukatınız yazar, bu yazı da sözleşmenin neleri kapsaması gerektiğini sıralar. İşi bölün ve her parçayı, başladığı anda bilinenlere göre fiyatlandırın:

• Sabit fiyatlı bir değerlendirmeyle başlayın. Firma pilotun kodunu okur, pilotu perimetrenizin içinde gerçek belgelerinizden alınmış bir örneklem üzerinde çalıştırır ve ardından neden takılıp kaldığını yazıya döker. Taslak bir kabul setini, yani her birinin doğru yanıtı belli olan gerçek belgelerinizden oluşan bir grubu ve bir sonraki aşama için fiyatlandırılmış bir planı teslim alırsınız. Devam etseniz de etmeseniz de ikisi de sizin olur
• Belirsiz olan, ortadaki aşamadır: puanı yükseltmek. Bu aşamaya tavanlı zaman ve malzeme uyar; tavan, firmanın faturalandırabileceği toplam tutarın üst sınırıdır. Firma farklı prompt'ları (modelin izlediği yazılı talimatları) ve modelleri kabul seti üzerinde dener ve puanları size her hafta gösterir. İlerleme tıkandığında durabilirsiniz
• Hedef puana ulaşıldığında geri kalanı, sabit fiyatlı aşamalara bölünen sıradan mühendislik işidir. Bu iş sistemin perimetrenizin içine kurulmasını, kalite düştüğünde tetiklenen uyarıları, çalışanların emin olunamayan durumları kontrol ettiği inceleme kuyruğunu ve ekibinizin yeni sisteme geçişini kapsar. Her sabit fiyatlı aşama bir kabul testiyle biter: sistemi kabul seti üzerinde puanlayan ve aşamanın ödenip ödenmeyeceğine karar veren bir test
• Lansmandan sonra sistemin işletilmesine, neleri kapsadığı yazılı olarak listelenmiş aylık bir ücret uyar; çünkü birinin kaliteyi izlemesi ve model yükseltmelerini üstlenmesi gerekir

FAR ayrıca zaman ve malzeme sözleşmesinin “yüklenicinin ancak kendi riskiyle aşabileceği bir tavan fiyat” içermesini şart koşar. Siz de sözleşmenize bir tavan koyun. Tavan ödeyeceğiniz tutarı sınırlar; ancak FAR'ın kendi ödeme maddesine göre tavana ulaşıldığında, siz tavanı yükseltmedikçe firma çalışmaya devam etmek zorunda değildir. O noktada ne olacağını önceden kararlaştırın: durursunuz, tavanı yükseltirsiniz ya da işi yeniden planlarsınız.

Bir firma bu aşamaların hepsini tek bir sözleşme olarak sunup buna anahtar teslim diyebilir. Her aşamanın kendi fiyatı ve kabul testi olduğunda ve aşamalar arasında durabildiğinizde bu da işe yarayabilir.

Sözleşmede “bitti” ne anlama gelmeli?

İşin bitmiş sayılması, sistemin, fiyat sabitlenmeden önce kararlaştırılan geçme eşiğine göre puanlanan kabul testini geçmesi demektir. Sözleşme şunları belirtmelidir:

• Kabul setinde hangi belgelerin bulunduğu, her türden kaç tane olduğu ve doğru yanıtları kimin yazdığı. Aşama fiyatlandırıldıktan sonra set kilitli kalır
• Her alan ve her belge türü için, birlikte hedef puanı oluşturan geçme eşikleri; ayrıca puan ne olursa olsun her zaman bir kişiye giden alanlar
• Kabul testinin nerede ve kim tarafından yapılacağı. Test perimetrenizin içinde, firmanın teslim edeceği sürümün ta kendisi üzerinde yapılır. Testi sizin çalışanlarınız yürütür ya da firma yürütürken izler
• Sistem kabul testini geçemezse ne olacağı. Firmaya, sorunu kendi masrafıyla gidermesi için belirli bir süre tanınır. Bu sürenin sonunda durabilir ve o ana kadar geliştirilenleri elinizde tutabilirsiniz

Kabul setinin bir kısmını kabul testine kadar firmadan saklayın. Firma her test belgesini görmüşse sistemi tam da o belgelere göre ayarlayabilir ve puan, sistemin yeni belgeleri ne kadar iyi okuduğunu olduğundan yüksek gösterir. Yukarıda bağlantısı verilen, üretime hiç ulaşamayan yapay zekâ pilotları yazısı bu setin nasıl kurulacağını anlatıyor.

Sabit fiyatlı bir yapay zekâ sözleşmesini sonradan ne bozabilir?

Aşağıdaki olayların fiyatı nasıl değiştireceğini önceden kararlaştırın:

• Kabul setinde olmayan yeni belge türleri ya da şablonlar. Bunları, aşamalar gibi fiyatlandırılan değişiklikler olarak ele alın
• Sağlayıcının, sistemin kullandığı modeli kullanımdan kaldırması. Örneğin OpenAI'ın kullanımdan kaldırma (deprecations) sayfası, genel kullanıma sunulmuş bir model için en az altı ay, böyle bir modelin özel sürümleri için en az üç ay önceden bildirim öngörür. Önizleme modelleri çok daha kısa bir bildirimle kullanımdan kaldırılabilir; güvenlik ya da uyumluluk kaygıları da bu sürelerin herhangi birini kısaltabilir. Yerine gelecek modeli kabul seti üzerinde test etmenin ve ona geçmenin bedelini kimin ödeyeceğini belirtin
• Sizin tarafınızdaki gecikmeler; örneğin firmanın sistemlerinize erişiminin geç onaylanması ya da firmanın ihtiyaç duyduğu belgelerin ve doğru yanıtların geç teslim edilmesi. Sabit fiyat, size düşen kısmın zamanında geleceğini varsayar; bu yüzden sizin tarafınızın neyi hangi tarihe kadar teslim etmesi gerektiğini listeleyin
• Kendi kurallarınızda bir değişiklik; örneğin risk ekibinizin bir belge sınıfının artık dışarıdaki bir modele gidemeyeceğine karar vermesi. Bu durumda o belgelerin perimetrenizin içinde işlenmesi gerekir ve bu da hem işi hem de fiyatı değiştirir

Sözleşmede aksi yazmadıkça işletme maliyetleri geliştirme fiyatının dışında kalır. Model kullanım ücretleri ya da modeli çalıştıran sunucuların maliyeti belge sayısıyla birlikte artar. Bunları geliştirme sırasında ve lansmandan sonra kimin ödeyeceğini ve fiyatın ayda kaç belge varsaydığını kararlaştırın.

Ödemeleri sonuçlara nasıl bağlarız?

Her sabit fiyatlı ödemeyi sistemin perimetrenizin içinde kabul testini geçmesine bağlayın ve bu ödemelerin hiçbirinin vadesini yalnızca bir tarihe göre belirlemeyin. Zaman ve malzeme aşamasında saatlerin bedelini tavana kadar ödersiniz; devam edip etmeyeceğinizi de haftalık puanlar gösterir.

Son ödemenin bir kısmını, sistem üretimde üzerinde anlaşılan süre boyunca hedef puanın altına düşmeden çalışana kadar alıkoyun. Bu payı ve süreyi imzalamadan önce belirleyin.

Herhangi bir aşamadan sonra durma ve kod, prompt'lar, kabul seti ve puanlamayı yapan script'ler dahil o ana kadar geliştirilen her şeyi alma hakkını saklı tutun. Aşağıda bağlantısı verilen yazı, kod mülkiyetinin bir sözleşmede nasıl işlediğini anlatıyor.

Pilotumuzu tamamlamayı teklif eden bir firmayı nasıl kontrol ederiz?

Pilotun ne yaptığını, hangi belgeleri ve günde kaç tane okuduğunu, verilerin nereye gidebileceğini ve ihtiyacınız olan puanı anlatan tek sayfalık bir brief yazın. Bunu aynı sorularla birlikte kısa listenizdeki her firmaya gönderin:

• Fiyatı sabitleyebilmek için önce neyi görmeniz gerekiyor ve hangi aşamanın fiyatını sabitlersiniz?
• Benzer bir iş için yapılmış önceki bir sözleşmenin nasıl kurgulandığını, fiyatlar ve müşterinin adı çıkarılmış hâlde bize gösterin
• Bir aşamanın sonunda kabul testi başarısız olursa ne olur?
• Ekibinizde bir yapay zekâ sistemini üretime almış olan kim ve bu kişi bizim projemizde çalışacak mı?
• Mühendisleriniz perimetremizin içinde, bizim erişim kurallarımıza göre çalışabilir mi?

Yukarıda bağlantısı verilen ve verileriniz şirketten çıkmadan yapay zekâ geliştirmeyi dış kaynağa vermeyi anlatan yazı, son soruyu ayrıntılı olarak ele alıyor.

Bir teklifte hangi noktalar bizi kuşkulandırmalı?

• Firma belgelerinizden tek birini bile görmeden işin tamamı için bir fiyat geliyor
• Teklif bir doğru yanıt yüzdesi vaat ediyor ama bunun hangi belgeler üzerinde ölçüleceğini söylemiyor
• “Anahtar teslim” ifadesi geçiyor ama ne kabul testi ne de aşamalar arasında durma hakkı var
• İşletme maliyetleri hiç yer almıyor ya da yalnızca “sonradan kararlaştırılacak” diye geçiyor
• Sözleşme taslağı prompt'ları ya da kabul setini firmanın mülkü olarak sayıyor

amBrain nerede devreye girer?

amBrain'in kamuya açık olarak anlattığı tek dil modeli projesi şu: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.”

Bu yazı bir vaka çalışması değildir. Yukarıdaki projenin başka bir ekibin takılıp kalmış pilotu olarak başladığını söylemez. Anahtar teslim ve sabit fiyat dahil yukarıdaki ödeme modelleri genel tavsiye niteliğindedir; yazı, amBrain'in bunlardan herhangi birini sunup sunmadığını belirtmez. amBrain'e ait fiyat ya da takvim de vermez.

amBrain, başka bir ekiple takılıp kalmış projeleri devralır ve üretim ortamına taşır.

amBrain 2019'dan bu yana yazılım geliştiriyor. Mülkiyet konusundaki satırı şöyle: “Müşteri, yeniden kullanılabilir bileşenlerimiz dışında ürünün ve kodun tam mülkiyetini elinde tutar.” Başka herhangi bir firmadan isteyeceğiniz gibi, imzalamadan önce amBrain'den de bu bileşenlerin adlarıyla listesini isteyin.

Pilotunuz takılıp kaldıysa diğer her firmaya gönderdiğiniz brief'i ve soruları amBrain'e de gönderin ve yanıtları yan yana karşılaştırın.

Sık sorulan sorular

• Pilotumuzun zaten bir doğruluk rakamı var. Neden bir değerlendirmeye para ödeyelim? Pilot kurgusal veriler ya da birinin elle temizlediği belgeler üzerinde test edildiyse, bu rakam gerçek belgeleriniz hakkında pek bir şey söylemez. Değerlendirme pilotu perimetrenizin içinde, bu belgelerden alınmış bir örneklem üzerinde ölçer ve ortaya çıkan taslak kabul seti her durumda sizin olur
• Bunun yerine kendi ML ekibimizi mi kurmalıyız? Yapay zekâ sattığınız ürünün kendisiyse muhtemelen evet; yukarıda bağlantısı verilen ML ekibi kurma yazısı bu seçimi ele alıyor. Sistem operasyonlarınızın içindeki bir araçsa, siz onu işletecek kişileri işe alırken pilotu bir firma tamamlayabilir
• Belgelerimizi kısa listedeki her firmaya göstermek zorunda mıyız? Hayır. Brief belgelerinizi tarif eder ama onları içermez. Gerçek belgeleri yalnızca değerlendirme için seçtiğiniz firma görür ve o da perimetrenizin içinde çalışır