Üretken yapay zekâ kendi sunucularınızda: Özel bir dil modelinin ne kadar GPU belleğine ihtiyacı var

Bir üretken yapay zekâ (GenAI) modelini kendi sunucularınızda çalıştırmak için iki şeyi toplayın: modelin ağırlıklarını ve modelin aynı anda yanıtladığı isteklerin kapladığı belleği. Alışılmış 16 bit hassasiyette ağırlıklar her milyar parametre için yaklaşık 2 GB GPU belleği ister; bu yüzden 32,8 milyar parametreli bir model daha kimseye yanıt vermeden yaklaşık 66 GB kullanır. Ardından her istek, uzunluğuyla orantılı bellek ekler ve sunucunun aynı anda kaç isteği işleyebileceğini belirleyen bu kısımdır.

Bir dil modeli çalışırken GPU belleğini ne kaplar?

Bir dil modeli genellikle GPU'larda, yani modellerin yaptığı türden hesaplamalar için tasarlanmış işlemcilerde çalışır ve model çalıştığı sürece GPU'ların kendi belleğinde durmak zorundadır. Bu bellekte şunlar bulunur:

• Ağırlıklar, yani modelin eğitimde öğrendiği sayılar; bir kez yüklenir ve orada kalır
• KV önbelleği, yani modelin yanıtladığı her istek için tuttuğu çalışma belleği
• Modeli sunan yazılımın çalışma alanı

Bir model ve bir hassasiyet seçtiğiniz anda ağırlıklar sabitlenir. KV önbelleği ise aynı anda yanıtlanan isteklerin sayısıyla ve uzunluklarıyla birlikte büyür. İkisi de bir şey satın almadan önce hesaplanabilir.

Modelin ağırlıkları ne kadar bellek kaplar?

Bir modelin büyüklüğü parametre sayısıyla ölçülür; hassasiyet ise her parametreyi saklamak için kullanılan bit sayısıdır. Hugging Face'in modelleri verimli çalıştırma kılavuzu, 27 Ekim 2026'da okunan haliyle, “günümüzde neredeyse tüm modellerin bfloat16 ile eğitildiğini” belirtiyor; bu, bir parametrenin 2 bayt kapladığı 16 bitlik bir biçimdir. Kılavuzun pratik kuralı şöyle: “X milyar parametreli bir modelin ağırlıklarını yüklemek, bfloat16/float16 hassasiyetinde kabaca 2 * X GB VRAM gerektirir.” Burada VRAM, GPU'nun belleği demektir.

Kılavuzun kendi örneği Llama 2 70B'dir; yalnızca ağırlıklar için yaklaşık 140 GB. Apache 2.0 lisansıyla yayımlanmış açık ağırlıklı bir model olan Qwen3-32B, model kartına göre 32,8 milyar parametreye sahiptir; bu yüzden ağırlıkları yaklaşık 66 GB kaplar. Açık ağırlıklı, geliştiricinin model dosyalarını herkes çalıştırabilsin diye yayımladığı anlamına gelir.

Kuantizasyon, ağırlıkları daha az bitle saklar. 8 bitte bir parametre 1 bayt, 4 bitte yarım bayt kaplar; böylece aynı model yaklaşık 33 GB'a ya da 16 GB'ın biraz üzerine ihtiyaç duyar. Qwen ekibi 8 bitlik bir sürüm olan Qwen3-32B-FP8'i yayımlıyor.

Hugging Face kılavuzu, ağırlıkların “performansta kayda değer bir kayıp olmadan 8 ya da 4 bite kuantize edilebileceğini” söylüyor. Aynı kılavuz, 4 bit kuantizasyonun 8 bit ya da 16 bite göre “pratikte sık sık farklı sonuçlara yol açabileceği” konusunda da uyarıyor ve ekliyor: “Bunu denemek kullanıcıya kalmış.” Herhangi bir sıkıştırılmış sürüme güvenmeden önce kendi test sorularınızı onunla çalıştırın.

Her istek ne kadar bellek ekler?

Model bir yanıt yazarken, her yeni kelimede yeniden hesaplamak zorunda kalmamak için o ana kadar okuduğu ve yazdığı her token için değerler saklar. Token, bir kelimenin bir parçasıdır. Saklanan bu değerler KV önbelleğidir; key-value cache'in kısaltmasıdır. Modelleri sunmak için açık kaynaklı bir program olan vLLM'in geliştiricileri, 2023'te yayımladıkları bir yazıda önbelleğin “LLaMA-13B'de tek bir dizi için 1,7 GB'a kadar yer kapladığını” belirtiyor.

Kendi modeliniz için boyutu, modelin yayımlanmış ayarlarından hesaplayabilirsiniz. Her token için önbellek, her katmanda iki sayı kümesi tutar: anahtarlar ve değerler. Model kartına ve yapılandırma dosyasına göre Qwen3-32B'nin 64 katmanı vardır ve önbelleğinde her biri 128 sayıdan oluşan 8 attention head tutar. Sayı başına 2 bayttan bu, 2 × 64 × 8 × 128 × 2 bayt eder; token başına yaklaşık 262 KB.

Dolayısıyla 8.000 token'lık bir istek, örneğin belgelerinizde bulunan pasajlarla birlikte uzun bir soru ve yanıtı, yanıt bitene kadar yaklaşık 2,1 GB kaplar. Modelin 32.768 token'lık tam yerel bağlamı ise yaklaşık 8,6 GB kaplar.

Erişimi olan kişileri değil, aynı anda yanıtlanan istekleri sayın. Bir asistan kullanan çalışanlar zamanlarının çoğunu yanıtları okuyarak ve soru yazarak geçirir; birikmiş belgeleri işleyen bir sistem ise her GPU'yu bütün gece meşgul tutabilir.

Bu kaç GPU demek?

Veri merkezi GPU'larının bellek miktarı sabittir. Nvidia'nın aynı gün okunan teknik özellik sayfaları, H100 için SXM sürümünde 80 GB, NVL sürümünde 94 GB, H200 için 141 GB ve L40S için 48 GB belirtiyor.

Modeli sunan yazılım her GPU'nun bir kısmını boş bırakır. vLLM'in belgeleri ilgili ayarı “model yürütücüsünün kullanacağı GPU belleği oranı” olarak tanımlıyor ve güncel sürümde varsayılan değeri 0,92 olarak veriyor. 94 GB'lık tek bir H100 NVL'de bu yaklaşık 86 GB eder. 16 bitlik Qwen3-32B ağırlıkları bunun yaklaşık 66 GB'ını kaplar. KV önbelleği ve yazılımın diğer çalışma belleği için kabaca 21 GB kalır; bu da aynı anda 8.000 token'lık ondan az isteğe yer demektir.

8 bitlik ağırlıklarla yaklaşık 54 GB kalır; bu, böyle yaklaşık 25 istek için yeterlidir. 80 GB'lık bir H100'de 16 bitlik ağırlıklar yaklaşık 8 GB bırakır; dörtten az isteğe yer.

Ağırlıklar tek bir GPU'ya sığmadığında model, aynı sunucudaki birkaç GPU'ya bölünür. vLLM'in belgeleri şöyle diyor: “Model tek bir GPU için çok büyükse ama birden fazla GPU'su olan tek bir düğüme sığıyorsa, tensör paralelliği kullanın.” Bu, belgelerin bu bölme için kullandığı addır. 70 milyar parametreli bir model 16 bit hassasiyette 94 GB'lık tek bir GPU'ya sığmaz; bunlardan ikisinde ise istekler için yaklaşık 33 GB kalır.

Bu rakamlar size bir modelin sığıp sığmadığını söyler. Ne kadar hızlı yanıt verdiği GPU'lara, yanıtların uzunluğuna ve yüke bağlıdır; bunu ancak kendi istekleriniz üzerinde yapılan bir test gösterebilir.

GPU'ları bulutta mı kiralamalıyız, yoksa sunucu mu almalıyız?

Önce kiralamak, neye ihtiyacınız olduğunu öğrenmenin daha ucuz bir yoludur. Microsoft'un Azure için herkese açık fiyat listesi, aynı gün okunan haliyle, East US bölgesindeki Linux sanal makineleri için kullandıkça öde modelinde şu fiyatları veriyor:

• 94 GB'lık bir H100 NVL (Standard_NC40ads_H100_v5): saatte 6,98 dolar, 730 saatlik bir ay için yaklaşık 5.100 dolar
• 94 GB'lık iki H100 NVL (Standard_NC80adis_H100_v5): saatte 13,96 dolar, ayda yaklaşık 10.200 dolar
• 80 GB'lık sekiz H100 (Standard_ND96isr_H100_v5): saatte 98,32 dolar, ayda yaklaşık 71.800 dolar

Bunlar saatlik ödeme için liste fiyatlarıdır; rezerve kapasite başka koşullarla satılır. Fiyatlar değişir; bu yüzden testlerinizin işaret ettiği yapılandırma için birden fazla sağlayıcıdan teklif alın.

Kendi sunucularınız, yük istikrarlı olduğunda ve hangi modeli çalıştıracağınızı bildiğinizde ya da kurallarınız donanımın kendi binanızda kalmasını gerektirdiğinde mantıklıdır. O zaman maliyete bu sunucuları çalışır halde tutan insanlar da girer; bunu ML ekibi olmadan bir LLM sistemini kimin işlettiği hakkındaki yazı ele alıyor.

Sistemi kendi kullanımımıza göre nasıl boyutlandırırız?

• Bir ya da iki aday modeli işinizden gerçek sorularla test edin ve yanıtları sınavı geçeni tutun
• Sistemin en yoğun saatinde aynı anda kaç isteği yanıtlayacağını ve tipik bir isteğin ne kadar uzun olduğunu tahmin edin; soruyu, belgelerinizde bulunan pasajları ve yanıtı sayın
• Ağırlıklar ve KV önbelleği için gereken belleği yukarıdaki gibi hesaplayın ve bir pay bırakın
• Birkaç günlüğüne GPU kiralayın ve o zirvede kendi prompt'larınızla bir yük testi yapın
• Kapasiteyi test bittikten sonra satın alın ya da rezerve edin

vLLM bu tür testler için bir komut içeriyor: vllm bench serve. Bu komut “ttft” ve “tpot” için, yani ilk token'a kadar geçen süre ve çıktı token'ı başına süre için yüzdelik değerler raporlayabilir. Testten önce çalışanlarınızın bir yanıtın ilk kelimeleri için ne kadar bekleyeceğine karar verin ve sonuçları en yoğun saate göre değerlendirin.

Bunu kim kurabilir?

Altyapı ekibiniz zaten kendi sunucularıyla ilgileniyorsa GPU sunucularını da işletebilir; donanım ya da bulut sağlayıcısı makinelerin kendisi konusunda yardımcı olabilir. Modeli belgelerinize, oturum açmaya ve yetkilere bağlamak ve yanıtlarını test etmek, sistemi modelin etrafında kuran tarafın işidir.

Çalıştıracağınız firma ya da ekip size hesabı göstermelidir: hangi model ve hangi hassasiyet, belleğin ne kadarının ağırlıklara ve ne kadarının KV önbelleğine gittiği, testin hangi yükü kullandığı ve neyi ölçtüğü. Bir donanım bütçesini onaylamadan önce bu rakamları isteyin.

amBrain nerede devreye girer?

amBrain'in kamuya açık olarak anlattığı tek dil modeli projesi şu: “Bir müşterinin FinTech perimetresi içinde bir LLM entegrasyonunu üretime aldık: yapılandırılmamış broker ve işlem yeri bildirimlerinin — kurumsal işlemler (corporate actions), enstrüman ve teminat değişiklikleri — çıkarılıp normalize edilerek trading sisteminin tükettiği yapılandırılmış kayıtlara dönüştürülmesi.”

Bu yazı bir vaka çalışması değildir ve hiçbir müşteri çalışmasını anlatmaz. Alıntılanan satır, o sistemin hangi modeli kullandığını, hangi donanımda ya da nerede çalıştığını söylemez. Yukarıdaki rakamlar, yayımlanmış teknik özelliklerden ve fiyat listelerinden yapılmış hesaplardır; o projeden ya da amBrain'in başka herhangi bir çalışmasından alınmış ölçümler değildir.

Burada adı geçen şirketler, modeller ve ürünler yayımlanmış sayfalarından alıntılanmıştır ve yazı amBrain ile bunların herhangi biri arasında bir ilişki iddia etmez. Yazı amBrain'e ait fiyat, takvim ya da koşul vermez.

amBrain 2019'dan bu yana yazılım geliştiriyor. Üç formatta çalışıyor: tam teslim, özel ekip ya da sizin ekibinize yerleşen mühendisler. Mülkiyet konusundaki satırı ise şöyle: “Müşteri, yeniden kullanılabilir bileşenlerimiz dışında ürünün ve kodun tam mülkiyetini elinde tutar.” amBrain kısa listenizdeyse, ondan da diğer her firmadan istediğiniz hesabın aynısını isteyin.