Şirketiniz İçin Kendi Sunucularınızda Özel Bir ChatGPT: Neler Gerekir ve Kim Kurabilir

Özel bir ChatGPT, ChatGPT gibi işleyen ama şirketinizin kontrol ettiği sunucularda çalışan bir sohbet asistanıdır. Çalışanlar, sorularını bu sunuculardaki bir dil modeline ileten bir sohbet uygulamasında oturum açar; kendi belgeleriniz üzerinde yapılan bir arama da modelin yanıtlarını bu belgelerden vermesini sağlar. Bu parçaların her biri bugün açık kaynak ya da lisanslı yazılım olarak mevcuttur.

Asıl iş, bu parçaları şirketinizin oturum açma sistemine, belge yetkilerine ve loglarına bağlamak, ardından da sistemi işletmektir. Bir denemeyi BT ekibiniz kurabilir. Her çalışan ona güvenmeye başlamadan önce ise düzenlemeye tabi bir firma, aşağıdaki her gereksinimi firmanın kendi sistemleri üzerinde çalışır hâlde gösterebilen bir ekiple anlaşmalıdır.

Şirketler neden özel bir ChatGPT istiyor?

Çalışanlar, işverenlerinin yapay zekâ araçları sunmasını beklemiyor. Microsoft ile LinkedIn'in 31 ülkede 31.000 bilgi çalışanıyla yaptığı 2024 Work Trend Index anketinde, yapay zekâ kullananların %78'i kendi yapay zekâ araçlarını işe getirdiğini söyledi.

Mayıs 2023'te Samsung, nisan ayında şirket içi verilerin yanlışlıkla ChatGPT'ye sızdırılmasının ardından şirket cihazlarında ve iç ağlarında üretken yapay zekâ araçlarının kullanımını geçici olarak kısıtladı. TechCrunch, Samsung'un dışarıdaki sunucularda bulunan verileri “geri almanın ve silmenin” zor olduğu yönündeki kaygısını aktardı. Şirket, “üretken yapay zekânın güvenle kullanılabileceği güvenli bir ortam oluşturmaya yönelik önlemleri gözden geçirdiğini” söyledi.

İngiltere Merkez Bankası (Bank of England) ile FCA'nın Kasım 2024'te yayımladığı, Birleşik Krallık'taki finans kuruluşlarına yönelik bir ankette, yapay zekâ kullanımının önünde algılanan en büyük düzenleyici kısıt veri koruma ve gizlilikti.

Özel bir ChatGPT neyden oluşur?

“Özel ChatGPT” bir OpenAI ürününün adı değildir. Ayrı parçalardan bir araya getirilmiş bir sistemi tanımlar ve ChatGPT'nin arkasındaki şirket olan OpenAI'ın bir modeli de bu parçalardan biri olabilir. Aşağıda adı geçen açık kaynak projeler tekliflerde karşınıza çıkabilecek örneklerdir ve bu yazı onları sıralamaz. Parçalar şunlardır:

• Sohbet uygulaması, çalışanların oturum açtığı, soru sorduğu, dosya yüklediği ve geçmiş sohbetlerini bulduğu web sayfasıdır. LibreChat, MIT lisanslı açık kaynak bir örnektir. Proje sayfası, OAuth2 ve LDAP üzerinden şirket hesaplarıyla oturum açmayı sayar; bunlar bir uygulamayı çalışanların zaten sahip olduğu hesaplara bağlamanın iki yaygın yoludur. Ayrıca OpenAI'ın kendi servisinin formatında istek kabul eden her model sunucusuyla çalışır; bu formata OpenAI uyumlu API denir
• Model sunucusu, dil modelini sizin donanımınızda çalıştırır ve sohbet uygulamasının isteklerine yanıt verir. vLLM açık kaynak bir örnektir. Dokümantasyonu, vLLM'in “OpenAI'ın Completions API'sini, Chat API'sini ve daha fazlasını uyguladığını” söyler; böylece OpenAI'ın servisi için yazılmış bir sohbet uygulaması sorularını onun yerine sizin sunucunuza gönderebilir
• Model, sunucunun yüklediği ve ağırlık adı verilen bir dosya kümesidir. Açık ağırlıklı bir modeli, o modelin lisans koşullarına uyarak herkes indirip çalıştırabilir. Örneğin OpenAI'ın gpt-oss-120b modeli Apache 2.0 lisansıyla yayımlanmıştır ve OpenAI, modelin NVIDIA H100 gibi 80 GB'lık tek bir grafik işlemciye (GPU) sığdığını söyler
• Belge araması, asistanın kendi politikalarınızdan ve sözleşmelerinizden yanıt vermesini sağlar. Belgeler pasajlara bölünür ve bir arama dizininde tutulur; bir soruyla eşleşen pasajlar soruyla birlikte modele iletilir. Mühendisler buna retrieval-augmented generation (erişimle zenginleştirilmiş üretim), kısaca RAG der
• Oturum açma, çalışanların zaten kullandığı şirket hesapları üzerinden yapılmalıdır; böylece bir çalışanın hesabı kapatıldığında asistana erişimi de sona erer
• Sohbet geçmişi ve loglar, kimin neyi ne zaman sorduğunu ve asistanın ne yanıt verdiğini kaydeder. İkisi de verilerinizin kopyalarıdır
• Yönetici ayarları; kimin hangi modeli kullanabileceğine, her grubun hangi belge koleksiyonlarında arama yapabileceğine, dosya yüklenip yüklenemeyeceğine ve sohbetlerin ne kadar süre saklanacağına karar verir

Şirketin tamamı sistemi kullanmaya başladığında lisanslar önem kazanır. Kodu herkese açık olan bir başka sohbet uygulaması Open WebUI; şirket hesaplarıyla oturum açma, kullanıcı grupları ve yerleşik belge aramasıyla birlikte gelir. 0.6.6 sürümünden (Nisan 2025) bu yana lisansı, bir kurulumun 30 günlük bir dönemde 50'den fazla kullanıcısı olduğunda Open WebUI adının ve logosunun görünür kalmasını şart koşar. Kurumsal bir lisans bu kuralı kaldırır; projenin önemli bir katkıcıya verdiği yazılı izin de öyle. Proje, bu madde nedeniyle lisansının Open Source Initiative'in açık kaynak kriterlerini karşılamayacağını belirtiyor.

“Kendi altyapımız” ChatGPT Enterprise'ı ya da Microsoft Copilot'u dışarıda bırakır mı?

Evet, “kendi” şirketinizin kontrol ettiği sunucular anlamına geliyorsa; çünkü ChatGPT Enterprise'ın arkasındaki sunucuları OpenAI, Copilot'un arkasındakileri ise Microsoft işletir. Uyum ekibiniz verilerin bir sağlayıcıda sözleşme kapsamında tutulmasını kabul ediyorsa, ikisi de listede kalabilir. Bir şirket asistanının arkasındaki model üç yerde çalışabilir ve yalnızca üçüncüsü her prompt'u ve her dosyayı sizin kontrol ettiğiniz sunucularda tutar:

• ChatGPT Enterprise ya da Microsoft Copilot gibi, bir sağlayıcının işletmelere yönelik bir planında sunucuları sağlayıcı işletir ve verileriniz onun sözleşmesinin kapsamındadır. OpenAI'ın Ekim 2026'da okunan ChatGPT dokümantasyonu, Enterprise çalışma alanları için veri yerleşimini (data residency) ve çıkarım yerleşimini (inference residency) anlatır. Bunlar verilerin nerede saklandığını ve modelin nerede çalıştığını seçilen bir bölgeye bağlar; dokümantasyon ikisinin de “yalnızca uygun içerik ve desteklenen iş yükleri için geçerli olduğunu” söyler. Ayrıca “bazı işlemlerin ya da senkronize edilen dizinlerin ayrı konum kurallarına tabi olabileceğini” ekler
• Bulut sağlayıcıları da Azure OpenAI ve Amazon Bedrock gibi, modeli sağlayıcının veri merkezlerinde çalıştıran model servisleri satar. Sohbet uygulamanız kendi bulut hesabınızda durabilir, ama her soru, kendisine eklenen belge pasajlarıyla birlikte o servise gider
• Açık ağırlıklı bir model, sizin işlettiğiniz sunucularda, kendi veri merkezinizde ya da kendi bulut hesabınızdaki sanal makinelerde çalışabilir. Bu durumda prompt'lar, yüklenen dosyalar ve loglar sizin kontrol ettiğiniz sistemlerde kalır; sunucular ve modelin güvenliği ise sizin ya da anlaştığınız ekibin işi hâline gelir

Kendi sistemlerinize bir dil modeli eklemeyi ve bir dil modelini kapalı bir perimetrede çalıştırmayı ele alan, ikisi de yukarıda bağlantısı verilen yazılar konuya daha ayrıntılı giriyor. Bu yazılar bir sağlayıcının servisini, bir bulut servisini ve sizin işlettiğiniz sunucuları karşılaştırıyor. Bu sayfanın altında bağlantısı verilen sayfalar ise maliyeti ve iki bulut servisini ele alıyor.

Bir denemeyi, çalışanlarınızın her gün kullandığı bir asistandan ne ayırır?

Bir deneme, insanların yanıtları işe yarar bulup bulmadığını gösterir. Düzenlemeye tabi bir firmada günlük kullanım altı gereksinim ekler ve sistemi kuran ekip, devreye almadan önce her birini çalışır hâlde gösterebilmelidir:

• Her kişi yalnızca zaten açabildiği belgeleri görür. Microsoft bu kuralı kendi asistanı için koyar ve Copilot'un “yalnızca kullanıcıların tek tek en az görüntüleme yetkisine sahip olduğu kurumsal verileri gösterdiğini” yazar. Dil modeli yazılımlarındaki başlıca güvenlik risklerinin listesi olan OWASP Top 10 for LLM Applications, “yetkileri dikkate alan vektör ve embedding depoları” önerir. Bu, arama dizininin her pasajı kimin okuyabileceğini kaydetmesi gerektiği anlamına gelir
• Belgeler güvenilmeyen girdi olarak ele alınır; çünkü bir dosya gizli talimatlar taşıyabilir. OWASP'ın örneklerinden birinde bir özgeçmişte, beyaz zemin üzerine beyaz yazıyla yazılmış ve sisteme adayı önermesini söyleyen bir metin vardır; daha sonra biri aday hakkında soru sorduğunda model bu talimata uyar. OWASP, kendi belgelerinizden yanıt vermenin yanıtları daha doğru kılmayı amaçladığını, araştırmaların ise bunun bu tür saldırılara karşı tam koruma sağlamadığını gösterdiğini de ekler. Bu yüzden asistan yalnızca yanıt yazmalı; başka bir sistemdeki her işlem, örneğin e-posta göndermek, bir kişinin onayını beklemelidir
• Sohbetler, yüklemeler ve loglar, uyum ekibinizin belirlediği süre boyunca sunucularınızda kalır. Microsoft, yöneticilerin Purview uyumluluk araçlarıyla “Copilot ile yapılan sohbet etkileşimlerine ilişkin veriler için saklama ilkeleri belirlemesine” olanak tanır. Özel bir asistanın da sohbet veritabanı, yüklenen dosyalar, arama dizini ve soruların tam metnini içerebilen model sunucusu logları üzerinde aynı denetime ihtiyacı vardır. Uyum ekibiniz, kimin neyi sorduğunu bir mühendise başvurmadan okuyabilmelidir
• Her biri doğru yanıtıyla birlikte kendi sorularınızdan oluşan bir set, her değişiklikten sonra yeniden çalıştırılır. Soruları, yanıtları bilen kişiler kendi gerçek işlerinden yola çıkarak yazar. Buradaki değişiklik; yeni bir model, modele verilen yeni talimatlar ya da büyük bir yeni belge grubu demektir. Yukarıda bağlantısı verilen pilot yazısı böyle bir setin nasıl kurulacağını anlatıyor
• Kapasite en yoğun saate göre boyutlandırılır; çünkü küçük bir grupla yapılan bir deneme, ofisin büyük bölümünün aynı anda soru sorduğu bir sabah hakkında pek bir şey söylemez. Ollama, bir modeli tek bir makinede çalıştırmaya yarayan bir araçtır. Ekim 2026'da dokümantasyonundaki varsayılan değer her model için aynı anda tek bir istekti; sonraki istekler bir kuyrukta bekliyordu. Bu sayfanın altında bağlantısı verilen vLLM ve Ollama karşılaştırması, her birinin aynı anda soru soran çok sayıda kişiyle nasıl başa çıktığını anlatıyor
• Asistanın adı belli bir sahibi vardır ve bu kişi, tedarikçiyi beklemeden asistanı kapatabilir ya da önceki model ve ayarlara geri döndürebilir. Çalışanlar yanlış bir yanıtı nereye bildireceklerini bilir

Kendi sunucularımızda özel bir ChatGPT'yi kim kurabilir?

Kurulumu kendi BT ekibiniz, bir yazılım satıcısı ya da bir mühendislik ekibi yapabilir. Hangisinin uygun olduğu, asistanı kaç kişinin kullanacağına ve neye bağlanması gerektiğine bağlıdır.

Küçük bir grupla yapılacak bir deneme için, zaten Linux sunucuları işleten bir BT ekibi açık kaynak bir sohbet uygulaması ile bir model sunucusu kurup açık ağırlıklı bir model yükleyebilir. Başlangıç için daha küçük bir model yetebilir; OpenAI, gpt-oss-20b modelinin 16 GB bellek içinde çalıştığını söylüyor. Önce sohbet uygulamasınınki dahil her lisansı okuyun ve denemeyi gruptaki herkesin okuyabileceği belgelerle sınırlı tutun; böylece yetkiler henüz önem taşımaz.

Bir satıcının kendi sunucularınıza kuracağınız yazılım olarak sattığı paket bir ürün, ortak bir belge kütüphanesi üzerinde sade bir sohbet için uygun olabilir. Hangi sistemlerinize bağlandığını ve güncellemelerini kimin kuracağını sorun ve onu da, özel olarak geliştirilen bir sistemde yapacağınız gibi, bir sonraki bölümdeki beş gösterimden geçirin.

Asistanın şirketinizin oturum açma sistemiyle ve birkaç sistemin yetkileriyle çalışması gerektiğinde bir mühendislik ekibine ihtiyaç vardır. Bir belge yönetim sistemi gibi başka sistemlere bağlanması ya da uyum ekibinizin okuyabileceği loglar tutması gerektiğinde de durum aynıdır. Bu ekip dışarıdan bir şirket de olabilir, BT ekibinize katılan mühendisler de. Devreye alındıktan sonra sistemi kimin işleteceğinde iş başlamadan önce anlaşın.

Kurmayı teklif eden bir şirketi nasıl kontrol ederiz?

İmzalamadan önce her tedarikçiden beş gösterim isteyin. Mümkünse kendi şirket oturum açma sisteminizin ve tedarikçiyle paylaşmanıza izin verilen belgelerin bulunduğu bir test kurulumu kullanın:

• Belirli bir belgeyi açma yetkisi olmayan biri olarak oturum açın ve o belge hakkında soru sorun. Asistan, belge hiç yokmuş gibi yanıt vermelidir. Ardından asıl sistemde bir iş arkadaşınızın bir dosyaya erişimini kaldırın ve asistanın o iş arkadaşı için bu dosyayı kullanmayı bırakmasının ne kadar sürdüğünü ölçün
• Tedarikçiden sohbetlerin, yüklemelerin ve logların nerede saklandığını göstermesini ve siz izlerken bir kişinin geçmişini silmesini isteyin. Sonra yedeklerde ve loglarda neyin kaldığını ve ne zaman kaldırıldığını öğrenin
• Tedarikçinin bir model güncellemesinden sonra yeniden çalıştırdığı test soruları setine ve son çalıştırmanın kaydına bakın; doğru yanıtları kimin yazdığını öğrenin
• Sistemin aynı anda kaç kişiye göre boyutlandırıldığını sorun ve bu rakamın arkasındaki yük testini görün. Test, sizinkilere benzeyen sorular ve belgelerle, en yoğun saatinizde beklediğiniz kullanıcı sayısıyla yapılmış olmalıdır
• Sistemi tedarikçi olmadan işletebileceğinizi kontrol edin. Kod, yapılandırma, model dosyaları, test soruları ve işletim talimatları eksiksiz teslim edilmeli ve hiçbir şey tedarikçinin sunucularına ya da lisans anahtarlarına bağlı olmamalıdır

amBrain nerede devreye girer?

amBrain, dil modelleriyle kendi çalışmaları hakkında şöyle diyor: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.” Müşterinin adı verilmiyor ve projeye ilişkin hiçbir sayı yayımlanmıyor.

Bu yazı bir vaka çalışması değildir. O projede modelin nerede çalıştığını söylemez ve amBrain'in herhangi bir müşteri için özel bir ChatGPT, bir çalışan asistanı ya da bir belge araması kurduğunu iddia etmez. Fiyat ya da takvim vermez.

amBrain 2019'dan bu yana yazılım geliştiriyor. amBrain üç formatta çalışıyor: tam teslim, özel ekip ya da sizin ekibinize yerleşen mühendisler. Müşteri, amBrain'in yeniden kullanılabilir bileşenleri dışında ürünün ve kodun tam mülkiyetini elinde tutar.

Yukarıdaki üç durumdan hangisinin size uyduğunu söyleyen tek bir sayfa yazın. Altı gereksinimin her biri için bunun firmanızda ne anlama geldiğini ekleyin; örneğin belge yetkilerinin hangi sistemlerde tutulduğunu ve sohbetlerin ne kadar süre saklanması gerektiğini. Bu sayfayı amBrain'e ya da listenizdeki başka herhangi bir ekibe gönderin ve her ekipten aynı beş gösterimi isteyin.

Sık sorulan sorular

• ChatGPT kadar iyi olacak mı? Kendi işiniz üzerinde test edilmeden bunu kimse söyleyemez. Soru setinizi değerlendirdiğiniz her modelde çalıştırın ve sonuçları yanıtları bilen kişilere puanlatın. Herkese açık bir servisle karşılaştırmak için müşteri verisi içermeyen sorular kullanın
• Bir sağlayıcının modeliyle başlayıp daha sonra kendi sunucularımıza geçebilir miyiz? Evet, sohbet uygulamanız modele OpenAI uyumlu API üzerinden erişiyorsa. Geçişe kadar sağlayıcıya yalnızca uyum ekibinizin şirket dışına çıkmasına izin verdiği verileri gönderin. vLLM aynı sohbet API'sini uyguladığı için, uygulama sağlayıcının servisine özgü bir özellik kullanmadığı sürece o noktada yalnızca sunucunuzun adresine ve model adına ihtiyaç duyar. Çalışanlar geçiş yapmadan önce sorularınızı yeniden çalıştırın; çünkü yanıtlar modelle birlikte değişir. Sağlayıcıya, ona daha önce gönderilmiş verilerin nasıl silineceğini de sorun
• Çalışanlar kendi dosyalarını yükleyebilir mi? Evet. Bir yükleme, dosyanın sohbet uygulamasında tutulan ve bazen arama dizinine de eklenen bir kopyasıdır. Sohbetlerle aynı saklama süresine tabi olmalı ve onlarla birlikte silinmelidir. Bir yüklemenin yalnızca yükleyen kişinin kendi sohbetlerinde mi kalacağına, yoksa bir grupla paylaşılabileceğine mi karar verin