Generative KI auf eigenen Servern: Wie viel GPU-Speicher ein privates Sprachmodell braucht

Um ein Modell für generative KI (GenAI) auf eigenen Servern zu betreiben, addieren Sie zwei Dinge: die Gewichte des Modells und den Speicher, den die Anfragen belegen, die es im selben Moment beantwortet. Bei der üblichen 16-Bit-Präzision brauchen die Gewichte etwa 2 GB GPU-Speicher pro Milliarde Parameter, ein Modell mit 32,8 Milliarden Parametern braucht also etwa 66 GB, bevor es überhaupt jemandem antwortet. Jede Anfrage fügt dann Speicher im Verhältnis zu ihrer Länge hinzu, und dieser Teil entscheidet, wie viele Anfragen der Server gleichzeitig bearbeiten kann.

Was belegt den GPU-Speicher, wenn ein Sprachmodell läuft?

Ein Sprachmodell läuft meist auf GPUs, Prozessoren, die für die Art von Rechenarbeit gebaut sind, die Modelle leisten, und das Modell muss während der Arbeit im eigenen Speicher der GPUs liegen. Dieser Speicher enthält:

• Die Gewichte, die Zahlen, die das Modell im Training gelernt hat, einmal geladen und dort behalten
• Den KV-Cache, den Arbeitsspeicher des Modells für jede Anfrage, die es gerade beantwortet
• Arbeitsbereich für die Serving-Software

Die Gewichte stehen fest, sobald Sie ein Modell und eine Präzision gewählt haben. Der KV-Cache wächst mit der Zahl der gleichzeitig beantworteten Anfragen und mit ihrer Länge. Beides lässt sich berechnen, bevor Sie irgendetwas kaufen.

Wie viel Speicher belegen die Gewichte des Modells?

Die Größe eines Modells wird in Parametern gezählt, und die Präzision ist die Zahl der Bits, mit der jeder Parameter gespeichert wird. Der Leitfaden von Hugging Face zum effizienten Betrieb von Modellen, abgerufen am 27. Oktober 2026, stellt fest: „Fast alle Modelle werden heute in bfloat16 trainiert“, einem 16-Bit-Format, in dem ein Parameter 2 Byte belegt. Seine Faustregel: „Das Laden der Gewichte eines Modells mit X Milliarden Parametern erfordert ungefähr 2 * X GB VRAM bei bfloat16/float16-Präzision“, wobei VRAM der Speicher der GPU ist.

Das Beispiel des Leitfadens selbst ist Llama 2 70B mit etwa 140 GB allein für die Gewichte. Qwen3-32B, ein Open-Weight-Modell unter der Lizenz Apache 2.0, hat laut seiner Modellkarte 32,8 Milliarden Parameter, seine Gewichte belegen also etwa 66 GB. Open-Weight heißt, dass der Hersteller die Modelldateien veröffentlicht, damit jeder sie betreiben kann.

Quantisierung speichert die Gewichte mit weniger Bits. Bei 8 Bit belegt ein Parameter 1 Byte, bei 4 Bit ein halbes Byte, dasselbe Modell braucht also etwa 33 GB oder etwas mehr als 16 GB. Das Qwen-Team veröffentlicht eine 8-Bit-Version, Qwen3-32B-FP8.

Der Leitfaden von Hugging Face sagt, Gewichte „können ohne nennenswerten Leistungsverlust auf 8 oder 4 Bit quantisiert werden“. Er warnt aber auch, dass 4-Bit-Quantisierung „in der Praxis oft zu anderen Ergebnissen führen kann“ als 8 oder 16 Bit, und fügt hinzu: „Es liegt beim Nutzer, das auszuprobieren.“ Lassen Sie Ihre eigenen Testfragen durch jede komprimierte Version laufen, bevor Sie sich darauf verlassen.

Wie viel Speicher fügt jede Anfrage hinzu?

Während das Modell eine Antwort schreibt, speichert es Werte für jedes Token, das es bisher gelesen und geschrieben hat, damit es diese nicht für jedes neue Wort erneut berechnen muss. Ein Token ist ein Teil eines Wortes. Diese gespeicherten Werte sind der KV-Cache, kurz für Key-Value-Cache. Ein Beitrag der Entwickler von vLLM aus dem Jahr 2023, einem Open-Source-Programm zum Bereitstellen von Modellen, hält fest, dass der Cache „bis zu 1,7 GB für eine einzelne Sequenz in LLaMA-13B belegt“.

Die Größe für Ihr eigenes Modell können Sie aus seinen veröffentlichten Einstellungen berechnen. Für jedes Token hält der Cache zwei Sätze von Zahlen, Keys und Values, für jede Schicht. Qwen3-32B hat laut Modellkarte und Konfigurationsdatei 64 Schichten und hält in seinem Cache 8 Attention-Heads mit je 128 Zahlen. Bei 2 Byte pro Zahl sind das 2 × 64 × 8 × 128 × 2 Byte, etwa 262 KB pro Token.

Eine Anfrage mit 8.000 Tokens, etwa eine lange Frage mit Passagen aus Ihren Dokumenten plus Antwort, belegt deshalb etwa 2,1 GB, bis die Antwort fertig ist. Der volle native Kontext des Modells von 32.768 Tokens belegt etwa 8,6 GB.

Zählen Sie die Anfragen, die im selben Moment beantwortet werden, nicht die Personen mit Zugang. Mitarbeitende, die einen Assistenten nutzen, verbringen die meiste Zeit damit, Antworten zu lesen und Fragen zu tippen, während ein System, das einen Rückstau von Dokumenten abarbeitet, jede GPU die ganze Nacht auslasten kann.

Wie viele GPUs bedeutet das?

Rechenzentrums-GPUs haben eine feste Speichermenge. Die Spezifikationsseiten von Nvidia, am selben Tag abgerufen, nennen 80 GB für die H100 in der SXM-Version und 94 GB in der NVL-Version, 141 GB für die H200 und 48 GB für die L40S.

Serving-Software lässt einen Teil jeder GPU frei. Die Dokumentation von vLLM beschreibt die zugehörige Einstellung als „den Anteil des GPU-Speichers, den der Modell-Executor nutzt“, und nennt in der aktuellen Version 0,92 als Standardwert. Auf einer H100 NVL mit 94 GB sind das etwa 86 GB. Die 16-Bit-Gewichte von Qwen3-32B belegen davon etwa 66 GB. Rund 21 GB bleiben für den KV-Cache und den übrigen Arbeitsspeicher der Software, das reicht für weniger als zehn Anfragen mit 8.000 Tokens gleichzeitig.

Mit den 8-Bit-Gewichten bleiben etwa 54 GB, genug für etwa 25 solcher Anfragen. Auf einer H100 mit 80 GB lassen die 16-Bit-Gewichte etwa 8 GB übrig, Platz für weniger als vier.

Passen die Gewichte nicht auf eine GPU, wird das Modell auf mehrere GPUs im selben Server aufgeteilt. Die Dokumentation von vLLM sagt: „Wenn das Modell zu groß für eine einzelne GPU ist, aber auf einen einzelnen Knoten mit mehreren GPUs passt, verwenden Sie Tensor-Parallelität“, so heißt diese Aufteilung dort. Ein Modell mit 70 Milliarden Parametern bei 16-Bit-Präzision passt nicht auf eine GPU mit 94 GB, und auf zweien davon bleiben etwa 33 GB für Anfragen.

Diese Zahlen sagen Ihnen, ob ein Modell passt. Wie schnell es antwortet, hängt von den GPUs, der Länge der Antworten und der Last ab, und das kann nur ein Test mit Ihren eigenen Anfragen zeigen.

Sollten wir GPUs in der Cloud mieten oder Server kaufen?

Zuerst zu mieten ist ein günstigerer Weg herauszufinden, was Sie brauchen. Die öffentliche Preisliste von Microsoft für Azure, am selben Tag abgerufen, nennt diese nutzungsabhängigen Preise für virtuelle Linux-Maschinen in der Region East US:

• Eine H100 NVL mit 94 GB (Standard_NC40ads_H100_v5): 6,98 US-Dollar pro Stunde, etwa 5.100 US-Dollar für einen Monat mit 730 Stunden
• Zwei H100 NVL mit je 94 GB (Standard_NC80adis_H100_v5): 13,96 US-Dollar pro Stunde, etwa 10.200 US-Dollar im Monat
• Acht H100 mit je 80 GB (Standard_ND96isr_H100_v5): 98,32 US-Dollar pro Stunde, etwa 71.800 US-Dollar im Monat

Das sind Listenpreise für stundenweise Abrechnung, reservierte Kapazität wird zu anderen Bedingungen verkauft. Preise ändern sich, holen Sie deshalb für die Konfiguration, auf die Ihre Tests hinauslaufen, Angebote von mehr als einem Anbieter ein.

Eigene Server lohnen sich, wenn die Last stabil ist und Sie wissen, welches Modell Sie betreiben, oder wenn Ihre Regeln verlangen, dass die Hardware in Ihrem eigenen Gebäude bleibt. Zu den Kosten gehören dann auch die Menschen, die diese Server am Laufen halten, darum geht es im Artikel darüber, wer ein LLM-System ohne ML-Team betreibt.

Wie dimensionieren wir das System für unseren eigenen Bedarf?

• Testen Sie ein oder zwei Kandidatenmodelle mit echten Fragen aus Ihrer Arbeit und behalten Sie das, dessen Antworten bestehen
• Schätzen Sie, wie viele Anfragen das System in seiner geschäftigsten Stunde gleichzeitig beantworten wird und wie lang eine typische Anfrage ist, gezählt mit Frage, gefundenen Passagen aus Ihren Dokumenten und Antwort
• Berechnen Sie den Speicher für die Gewichte und den KV-Cache wie oben und lassen Sie einen Puffer
• Mieten Sie ein paar Tage lang GPUs und fahren Sie zu dieser Spitze einen Lasttest mit Ihren eigenen Prompts
• Kaufen oder reservieren Sie Kapazität, wenn der Test abgeschlossen ist

vLLM enthält einen Befehl für solche Tests, vllm bench serve. Er kann Perzentile von „ttft“ und „tpot“ ausgeben, der Zeit bis zum ersten Token und der Zeit pro Ausgabe-Token. Legen Sie vor dem Test fest, wie lange Ihre Mitarbeitenden auf die ersten Worte einer Antwort warten werden, und bewerten Sie die Ergebnisse anhand der geschäftigsten Stunde.

Wer kann das einrichten?

Ihr Infrastrukturteam kann die GPU-Server betreiben, wenn es schon eigene Server betreut, und der Hardware- oder Cloud-Anbieter kann bei den Maschinen helfen. Das Modell an Ihre Dokumente, die Anmeldung und die Berechtigungen anzubinden und seine Antworten zu testen, ist die Arbeit dessen, der das System um das Modell herum baut.

Die Firma oder das Team, das Sie beauftragen, sollte Ihnen die Rechnung zeigen: welches Modell und welche Präzision, wie viel Speicher auf die Gewichte und wie viel auf den KV-Cache entfällt, mit welcher Last der Test lief und was er gemessen hat. Verlangen Sie diese Zahlen, bevor Sie ein Hardwarebudget freigeben.

Wo passt amBrain ins Bild?

Das einzige Sprachmodell-Projekt, das amBrain öffentlich beschreibt, ist dieses: „Wir haben eine LLM-Integration innerhalb des FinTech-Perimeters eines Kunden in Produktion gebracht: die Extraktion und Normalisierung unstrukturierter Mitteilungen von Brokern und Handelsplätzen – Kapitalmaßnahmen, Instrumenten- und Margin-Änderungen – zu strukturierten Datensätzen, die das Handelssystem verarbeitet.“

Dieser Artikel ist keine Case Study und beschreibt keine Arbeit für Kunden. Die zitierte Zeile sagt nicht, welches Modell dieses System nutzt, auf welcher Hardware oder wo es läuft. Die Zahlen oben sind Berechnungen aus veröffentlichten Spezifikationen und Preislisten, keine Messungen aus diesem Projekt oder aus anderer Arbeit von amBrain.

Die hier genannten Unternehmen, Modelle und Produkte werden anhand ihrer veröffentlichten Seiten zitiert, und der Artikel behauptet keine Beziehung zwischen amBrain und einem von ihnen. Er nennt weder Preise noch Zeitpläne oder Bedingungen von amBrain.

amBrain entwickelt seit 2019 Software. Es arbeitet in drei Formaten: vollständige Umsetzung, ein dediziertes Team oder in Ihr Team eingebettete Entwickler. Zum Eigentum lautet sein Satz: „Der Kunde behält das volle Eigentum an Produkt und Code, ausgenommen unsere wiederverwendbaren Komponenten.“ Wenn amBrain auf Ihrer Shortlist steht, verlangen Sie von ihm dieselbe Rechnung wie von jeder anderen Firma.