Kendi Sunucularınızda Yapay Zekâ: İç Sistemlerinize Bir LLM Nasıl Eklenir ve Kim Geliştirir

Evet, bir şirket destek talepleri, belgeleri ve iç araçları üzerinde, bu veriler kendi sunucularından çıkmadan yapay zekâ kullanabilir. Büyük dil modeli, kısaca LLM, sohbet asistanlarının arkasındaki yapay zekâ türüdür. Bu modellerin bazıları indirilip şirketin kontrol ettiği sunucularda, kendi binasında ya da kendi bulut hesabında çalıştırılabilir ve çalışanların zaten kullandığı sistemlere bağlanabilir.

Model, işin küçük olan kısmıdır. Sistemin günlük kullanıma ulaşıp ulaşmayacağını belirleyen şey görevin seçimi, doğru bir yanıtın yazılı tanımı ve yanıtları kontrol eden ve sistemi devreye alındıktan sonra işleten, adı belli bir kişidir. Bu yazının son bölümü, bunu kurmayı teklif eden bir şirketin nasıl sınanacağını gösteriyor.

“Kendi sunucularımızda yapay zekâ” aslında ne demek?

“Kendi sunucularımızda yapay zekâ”, modelin şirketinizin kontrol ettiği donanımda çalışması ve hiçbir metnin dışarıdaki bir yapay zekâ şirketine gönderilmemesi demektir. Talebiniz, belgeniz ya da sorunuz sisteminizden modele gider ve geri döner; ağınızdan ya da bulut hesabınızdan hiç çıkmaz.

Bunu mümkün kılan, açık ağırlıklı modellerdir. Açık ağırlıklı model, geliştiricisinin model dosyalarını yayımladığı bir modeldir; böylece herkes bu dosyaları indirip modeli lisansına uygun olarak çalıştırabilir. Tarayıcıda kullandığınız yapay zekâ servisleri farklı çalışır: metniniz sağlayıcının sunucularına gider ve orada işlenir.

Verileri içeride tutmak modelden fazlasını kapsar. Sistem ayrıca loglar, belgelerinizin bir arama dizini, üzerinde test edildiği örnekler ve insanların yanıtlarını kontrol ettiği ekranlar da barındırır. Bunların her biri verilerinizin kopyalarını taşır ve her birinin de sunucularınızda kalması gerekir.

İç sistemlerimizdeki hangi görevleri bir LLM üstlenebilir?

Bir LLM, bugün insanların metin okuyup ardından bir şey doldurduğu, sınıflandırdığı ya da yazdığı yerlerde işe yarar. Bir şirket içindeki tipik görevler:

• Gelen belgeleri okumak. Formlar, faturalar, sözleşmeler ve bildirimler, onlara ihtiyaç duyan sistemde alanlara dönüşür
• Destek taleplerini sınıflandırmak. Konu, aciliyet ve doğru ekip, bir kişi talebi açmadan önce belirlenir
• Yanıt taslakları hazırlamak. Model bir taslak yazar; bir destek temsilcisi onu düzenler ve gönderir
• Çalışanların sorularını iç belgelerden yanıtlamak. Politikalar, kılavuzlar ve geçmiş talepler; her yanıtın kaynağına bir bağlantıyla. İnsanların çoğu zaman “özel bir ChatGPT” dediği şey budur
• Uzun içerikleri özetlemek. E-posta yazışmaları, görüşme notları ve dosyalar; onları devralacak bir sonraki kişi için
• Belgeleri bir listeye göre kontrol etmek. Bir sözleşmede gerekli maddelerin olup olmadığı ya da bir başvuruda gereken tüm belgelerin bulunup bulunmadığı

Bazı işler bir LLM'e pek uygun değildir ve bunu proje başlamadan önce bilmek daha iyidir:

• Zaten kesin olan hesaplamalar ve kurallar. Sıradan kod bunları daha hızlı yapar ve her seferinde aynı yanıtı verir
• Doğru bir yanıtın neye benzediğini kimsenin söyleyemediği görevler. Bu olmadan modelin işe yarayıp yaramadığını kimse anlayamaz
• Hukuki ya da mali ağırlığı olan, insanlarla ilgili nihai kararlar, örneğin bir müşteriyi reddetmek; kararı bir insan vermeden
• Geri alınamayan ve kimsenin kontrol etmediği işlemler, örneğin para göndermek

Her görev için basit bir test: Bugün bir kişi bu işi metin okuyarak yapıyorsa, doğru sonuç yazıya dökülebiliyorsa ve yanlış bir sonuç zarar vermeden önce yakalanabiliyorsa, görev bir LLM'e uygundur.

Verilerimiz sunucularımızdan çıkamaz. Yine de yapay zekâ kullanabilir miyiz?

Evet. Seçim, modelin nerede çalıştığıyla ilgilidir ve yaygın üç düzenden yalnızca ikisi verileri sizin kontrol ettiğiniz sunucularda tutar:

• Kendi sunucularınızda açık ağırlıklı bir model. Model, kendi binanızdaki ya da veri merkezinizdeki donanımda çalışır. Elde ettiğiniz: hiçbir metin ağınızdan çıkmaz ve dışarıdaki hiçbir yapay zekâ şirketi onu almaz. Karşılığında: modellerin işe yarar bir hızda çalışması için gereken grafik işlemcili (GPU) sunucuları satın alırsınız ve bunları ekibiniz ya da bir iş ortağınız çalışır durumda tutar. Ne zaman seçilmeli: düzenlemeler, müşteri sözleşmeleri ya da kendi politikanız şirket dışında her türlü işlemeyi yasaklıyorsa
• Kendi bulut hesabınızda açık ağırlıklı bir model. Aynı türden bir model, bir bulut sağlayıcısından kiraladığınız sunucularda, hesabınızın içinde ve seçtiğiniz bölgede çalışır. Elde ettiğiniz: donanım satın almanız gerekmez, kapasiteyi sonradan artırabilirsiniz ve veriler hesabınızda kalır. Karşılığında: binaları ve donanımı bulut sağlayıcısı işletir, modeli ise yine siz işletirsiniz. Ne zaman seçilmeli: şirketiniz sistemlerini zaten o bulutta çalıştırıyorsa ve kurallarınız buna izin veriyorsa
• Bir model sağlayıcısının servisi. Metni, bir yapay zekâ şirketinin çalıştırdığı bir modele, doğrudan ya da bulut sağlayıcınız üzerinden, bir sözleşme kapsamında gönderirsiniz. Elde ettiğiniz: en hızlı başlangıç, sağlayıcının kendi modelleri ve işletmeniz gereken hiçbir sunucunun olmaması. Karşılığında: veriler gerçekten sunucularınızdan çıkar; saklama, konum ve inceleme konusunda sağlayıcının şartlarına tabi olur. Ne zaman seçilmeli: veriler bir sözleşme kapsamında dışarı çıkabiliyorsa, örneğin zaten kamuya açık belgelerde. Verileriniz gerçekten dışarı çıkamıyorsa bu seçenek söz konusu olamaz

Bir şirket birden fazla düzeni birlikte kullanabilir. Kamuya açık belgeler bir sağlayıcının servisine gidebilirken müşteri kayıtları sizin çalıştırdığınız bir modelde kalabilir. Bu durumda her veri türünü kendi yerine gönderen kuralın yazılı hâle getirilmesi ve uygulanması gerekir. Bu blogdaki, kapalı bir perimetrede LLM çalıştırmayı ele alan önceki bir yazı, bu seçenekleri daha ayrıntılı karşılaştırıyor.

Kendi çalıştırabileceğiniz bir modelin yeterince iyi olup olmadığı, kamuya açık bir sıralamadan alınmaz; kendi belgeleriniz ve talepleriniz üzerinde ölçülür. Birçok iç görev dar kapsamlıdır, örneğin tek bir form türünü okumak ya da talepleri bilinen bir ekip listesine dağıtmak; kendi işinizden gerçek örnekler üzerinde yapılan bir test bu soruyu yanıtlar.

Açık ağırlıklı modeller farklı lisanslarla gelir; bu yüzden seçtiğiniz modelin lisansını birinin okuması gerekir. Alibaba'nın 2025'te çıkardığı Qwen3 modelleri ve OpenAI'ın gpt-oss modelleri Apache 2.0 lisansıyla yayımlanmıştır; daha sonraki Qwen3.8 sürümünün en büyük açık modeli ise kendine ait Qwen3.8-Max lisansıyla gelir. Meta'nın Llama 3.3 modeli, Meta'nın kendi topluluk lisansıyla gelir; bu lisans, Meta'nın kabul edilebilir kullanım politikasına uymak da dahil olmak üzere ek koşullar getirir.

Şirketimin iç sistemlerine bir LLM'i nasıl eklerim?

Bir LLM sistemlerinizin yerini almaz. Onların arasında durur: bir yerden metin okur ve sonucu başka bir yere koyar. Onu bir iç sisteme eklemek, dört basit soruyu yanıtlamak demektir:

• Metin nereden gelir? Destek sisteminden (helpdesk), ortak bir e-posta kutusundan, bir belge deposundan ya da bir veritabanından
• Sonuç nereye gider? Çalışanların zaten kullandığı alanlara ve ekranlara, kabul edebilecekleri ya da değiştirebilecekleri bir öneri olarak; açmayı hatırlamaları gereken yeni bir araca değil
• Neye dokunabilir? Yalnızca görevin ihtiyaç duyduğu verilere ve işlemlere. Talepleri sınıflandıran bir modelin iadelere ya da müşteri hesaplarına erişmesi gerekmez
• Nasıl kapatılır? İşi manuel yönteme geri gönderen tek bir düğme; sistemin sahibi olan kişinin elinde

Tek bir sistemde tek bir görevle başlayın. İlk başta model önerir, bir insan karar verir. Model yalnızca gerçek işte sürekli doğru çıktığı kısımlarda kendi başına hareket edebilir; manuel yöntem ise yedek olarak kalır.

Bu işi bugün yapan kişiler sisteme şekil vermelidir. Hangi belgelerin zor olduğunu, hangi yanıtların yanlış olduğunu ve bir hatanın nerede paraya mal olduğunu onlar bilir. İlk aylarda yanıtları kontrol edecek olanlar da onlardır; bu yüzden onların zamanı plana dahil edilmelidir.

Şirket kimseyle anlaşmadan önce neye karar vermeli?

Herhangi biri sizin için bir yapay zekâ sistemi kurmadan önce yedi soruyu yazılı olarak yanıtlayın. Hiçbiri mühendislik geçmişi gerektirmez ve her yanıt, neyin kurulması gerektiğini değiştirir:

• Hangi görev, hangi sistemde? Tek bir görevi tek cümleyle tanımlayın, örneğin “destek sistemine gelen talepleri ekibe ve aciliyete göre sınıflandırmak”
• Doğru bir sonuç neye benzer? Bu işi bugün yapan kişilerin yazdığı doğru yanıtlarla birlikte gerçek örnekler toplayın
• Model hangi verileri görecek ve bu veriler nereye gidebilir? Hukuk, risk ya da veri koruma sorumlunuzdan bunu her veri türü için yazılı hâle getirmesini isteyin
• Ne kadar iş ve ne zaman? Günlük belge ya da talep sayısı ve en yoğun saat
• Yanıtları kim kontrol eder? Başta her yanıtı bir kişi kontrol eder. Bunun kim olduğunu ve haftada kaç saat aldığını belirtin
• Yapay zekâ kullanılamadığında ne olur? İş kaybolmak yerine insanlara geri döner ve bekler
• Devreye alındıktan sonra onu kim işletecek ve neyin sahibi olacaksınız? Kendi ekibiniz ya da bir destek sözleşmesi kapsamında geliştirici firma; sonunda da kod, örnekler ve dokümantasyon

Bu yedi sorunun yazılı yanıtları sizin brifinginizdir. Üç geliştirici firmaya verildiğinde karşılaştırabileceğiniz üç teklif ortaya çıkar. Onlar olmadan üç sohbet penceresi gösterimi alırsınız.

Yapay zekâ pilotumuz demoda çalışıyor ama üretime hiç ulaşmadı. Onu tamamlamamıza kim yardım edebilir?

Bir demo tek bir soruyu yanıtlar: model bu görevi iyi örnekler üzerinde yapabiliyor mu? Günlük kullanım dört soru daha ekler ve takılıp kalan bir pilot genellikle bunları atlamıştır:

• Ne doğru sayılır? Üzerinde uzlaşılmış yanıtları olan gerçek örneklerden oluşan bir set ve sistemin tutturması gereken bir geçme eşiği
• Verinin oraya gitmesine izin var mı? Dışarıdaki bir yapay zekâ servisi üzerine kurulmuş bir pilot, sunucularınızda kalması gereken verilere öylece taşınamaz; kendi çalıştırdığınız bir modelin yeniden test edilmesi gerekir
• Yanlış yanıtlar nereye gider? Başka bir sistem onları kullanmadan önce bir kişinin onları görüp düzelttiği bir yere
• Sahibi kim? Sistemi işleten, yanıtlarını izleyen ve sistem durduğunda aranan, adı belli bir kişi ya da ekip

Takılıp kalmış bir pilotu tamamlamak genellikle daha iyi bir model satın almak değil, modelin etrafına bu dört şeyi kurmak demektir. Bu blogdaki, üretime hiç ulaşamayan yapay zekâ pilotunu ele alan önceki bir yazı, bunların her birini daha ayrıntılı açıklıyor.

Takılıp kalmış bir pilotu devralan her geliştirici firmanın sizden üç şeye ihtiyacı vardır: pilotun örnekleri, pilotun başarısız olduğu belgeler ve sistemin sahibi olacak kişinin adı. Bunların hiçbirini istemeyen bir geliştirici firma, yeni bir demo planlıyordur.

Kendi sunucularınızda bir LLM çalıştırmanın maliyeti nedir?

Bu yazı fiyat vermiyor. “Kendi sunucularımızda bir yapay zekâ sistemi”, büyüklüğü kat kat farklı olan projeleri kapsar; yukarıdaki yedi soruya verdiğiniz yanıtları kimse duymadan önce söylenen bir rakam, bir tahmin değil, bir satış rakamıdır.

İşe yarayan, maliyet türlerini bilmektir; çünkü çoğu sizin kontrolünüzdeki kararlara bağlıdır:

• Donanım ya da bulut kapasitesi. Satın alınan ya da kiralanan GPU'lu sunucular; ortalama saatinize göre değil, en yoğun saatinize göre boyutlandırılmış
• Sistemlerinize bağlantılar. Modelin okuduğu ya da yazdığı her sistem, kendi yetkileri ve kayıtları olan ayrı bir iştir
• Çalışanlarınızın zamanı. Örnekleri toplayan, doğru yanıtları yazan ve ilk aylarda modelin yanıtlarını kontrol eden kişiler
• Yanlış yanıtların düzeltilmesi. Sistem çalıştığı sürece her hafta birinin mesaisinden saatler
• İşletim. Güvenlik güncellemeleri, sunucular kadar yanıtların da izlenmesi ve sistem durduğunda aranan biri
• Model değişikliği. Daha yeni bir model, eskisinin yerini almadan önce sizin örnekleriniz üzerinde test edilir ve test her değişiklikte tekrarlanır

Maliyet, bir sağlayıcının servisinden farklı bir düzen izler. Bir sağlayıcı, modelin okuduğu ve yazdığı metin miktarı üzerinden ücret alır. Sahip olduğunuz ya da aylık kiraladığınız sunucular ise yoğun da olsalar boşta da olsalar aşağı yukarı aynı maliyeti çıkarır; dolayısıyla hangi düzenin size daha ucuza geleceğine iş hacmi karar verir.

Kapsam, maliyetin en doğrudan kontrol ettiğiniz kısmıdır. Tek bir ekip için, tek bir sistemde, tek bir görev; sistemin genişletilmeye değip değmediğini hâlâ gösterebilen en küçük ilk sürümdür.

Bir şirketin kendi altyapısında çalışan yapay zekâ sistemlerini kimler kurar ve onları nasıl sınarım?

Bir şirket “kendi sunucularımızda yapay zekâ istiyoruz” dediğinde dört tür tedarikçi yanıt verir:

• Yazılım satıcıları. Kurduğunuz hazır bir yapay zekâ ürünü satarlar, örneğin çalışanlar için bir sohbet asistanı. Genel bir asistan için iyi bir seçimdir; görev sizin kendi sistemlerinize ve kurallarınıza bağlı olduğunda daha zayıf bir seçimdir
• Bulut sağlayıcıları ve iş ortakları. Metninizin hesabınızdan çıktığı yönetilen bir servis olarak modeller satarlar ve açık ağırlıklı modelleri kendi bulut hesabınızda çalıştırmak için araçlar sunarlar. Bazıları bunların bağlanması için yardım da sunar
• Mühendislik firmaları. Bir model ile sistemleriniz arasındaki bağlantıyı sizin tanımınıza göre kurarlar; bunun ne kadarının size ait olacağına sözleşme karar verir
• Kendi ekibiniz. Bazen ilk sürüm için dışarıdan mühendisler eklenerek

Her şeyden önce, her tedarikçiden şu kanıtları isteyin:

• Bir müşterinin altyapısı içinde üretime aldıkları bir yapay zekâ sistemi; müşterinin izin verdiği durumlarda müşterinin adıyla birlikte
• O sistemin ne yaptığı, tek cümleyle, ve bugün onu kimin işlettiği
• Model yanlış bir yanıt verdiğinde o sistemde ne olduğu
• Hazırlanmış örneklerle değil, gerçek belgeler ya da taleplerle adım adım bir gösterim
• Çalışmaları sırasında verilerin nereye gittiği: loglar ve test kopyaları dahil herhangi bir şeyin müşterinin sunucularından çıkıp çıkmadığı
• Neleri teslim edecekleri: kod, örnekler, ayarlar ve dokümantasyon; ayrıca herhangi bir şeyin kendilerinde kalıp kalmayacağı

Sonra tedarikçinin size ne sorduğuna kulak verin. Bunu daha önce kurmuş bir şirket, fiyat vermeden önce şunları sorar:

• Hangi görev, hangi sistemde ve bugün onu kimin yaptığı
• Modelin hangi verileri göreceği ve kurallarınızın bu veriler için neye izin verdiği
• Doğru yanıtlarıyla birlikte gerçek örnekleriniz olup olmadığı ve daha fazlasını kimin yazabileceği
• Yanıtları kimin kontrol edeceği ve devreye alındıktan bir yıl sonra sistemin sahibinin kim olacağı

amBrain bir dil modelini üretime aldı mı?

Yukarıda anlatılan tedarikçi türleri arasında amBrain bir mühendislik firmasıdır.

amBrain'in dil modelleriyle kendi çalışmaları hakkında kamuya söyleyebileceklerinin tamamı şudur: Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.

Müşterinin adı verilmemektedir, o projede modelin nerede çalıştığı açıklanmamaktadır ve o projeye ilişkin hiçbir sayı verilmemektedir. Bu yazı o projenin bir vaka çalışması değildir. Nasıl planlanacağını ve nasıl seçim yapılacağını anlatır; amBrain'in bir destek talebi sistemi, bir çalışan asistanı ya da yukarıda anılan bildirim çıkarma dışında herhangi bir iç yapay zekâ sistemi kurduğunu iddia etmez.

Bu entegrasyonun ötesinde: amBrain 2019'dan beri yazılım geliştiriyor. Üç formatta çalışıyoruz: tam teslim, özel ekip ya da sizin ekibinize yerleşen mühendisler. Müşteri, yeniden kullanılabilir bileşenlerimiz dışında ürünün ve kodun tam mülkiyetini elinde tutar.

Başlangıç aşamasındaysanız, işe yarayacak bir sonraki adım tedarikçi aramak değildir. Bu yazıdaki yedi sorunun yazılı yanıtlarını içeren tek bir sayfadır. Aynı sayfayı görüştüğünüz her geliştirici firmaya verin, ister biz olalım ister başkası; böylece teklifleri satır satır karşılaştırılabilir.