LLM in einem geschlossenen Perimeter: Was ein reguliertes Unternehmen wählen kann und was jede Wahl kostet

Die Anforderung kommt als ein einziger Satz: Dokumente dürfen den Perimeter nicht verlassen. Darin steckt die Architekturentscheidung, denn der Perimeter lässt sich an drei Stellen ziehen, und jede Stelle verlagert andere Kosten auf das Unternehmen, das ihn zieht.

Bei der gehosteten API eines Modellanbieters liegt der Perimeter in einem Vertrag mit diesem Anbieter. Beim verwalteten Modelldienst einer Cloud-Plattform liegt er im Cloud-Vertrag. Bei einem Open-Weight-Modell auf Servern, die Sie selbst betreiben, liegt er in Ihrem eigenen Netzwerk, und Ihnen fällt jede Aufgabe zu, die sonst der Anbieter übernehmen würde.

Erst festhalten, was der Perimeter verbietet, dann Optionen vergleichen

„Darf den Perimeter nicht verlassen“ bedeutet für einen Risikomanager, einen Datenschutzbeauftragten und ein Infrastrukturteam jeweils etwas anderes. Als Fragen formuliert, wird daraus eine Anforderung, an der sich jede Option prüfen lässt:

• Wer außerhalb des Unternehmens Prompts und Ausgaben sehen darf, einschließlich der Mitarbeiter eines Anbieters, die sie auf Missbrauch prüfen
• In welchen Regionen Daten verarbeitet werden dürfen, nicht nur, wo sie gespeichert werden
• Was nach einer Request aufbewahrt werden darf, wie lange und wer es löschen kann
• Ob der Traffic das öffentliche Internet durchqueren darf, auch verschlüsselt
• Wer die Schlüssel für die Verschlüsselung und die Logs hält, die belegen, wer worauf zugegriffen hat
• Welche Verträge, Register und Audits die Nutzung eines externen Anbieters auslöst

Die Antworten können je nach Datenklasse unterschiedlich ausfallen. Eine regulatorische Mitteilung, die bereits öffentlich ist, und das Ausweisdokument eines Kunden brauchen nicht denselben Perimeter, und eine Pipeline kann sie unterschiedlich routen.

Option eins: die gehostete API des Anbieters, mit dem Perimeter im Vertrag

Hier definieren Vertrag und Dokumentation des Anbieters den Perimeter, deshalb werden sie Zeile für Zeile gelesen. Die Dokumentation von OpenAI zu API-Daten hält fest, dass an die API gesendete Daten seit dem 1. März 2023 nicht zum Training oder zur Verbesserung der Modelle von OpenAI verwendet werden, sofern der Kunde nicht ausdrücklich zustimmt (Opt-in). Dieselbe Seite hält fest, dass Logs der Missbrauchsüberwachung, die Prompts und Antworten enthalten können, standardmäßig erzeugt und bis zu 30 Tage aufbewahrt werden, sofern eine längere Aufbewahrung nicht gesetzlich vorgeschrieben oder vernünftigerweise erforderlich ist, um den Dienst oder Dritte vor Schaden zu schützen.

Beide Grenzen lassen sich enger ziehen, und jede Einschränkung ist eine Freigabe, keine Einstellung:

• Zero Data Retention (keine Datenaufbewahrung) oder Modified Abuse Monitoring (angepasste Missbrauchsüberwachung) nimmt Kundeninhalte aus den Logs der Missbrauchsüberwachung heraus, sobald OpenAI den Kunden freigegeben hat. Endpunkte, die die Dokumentation als nicht berechtigt kennzeichnet, können weiterhin Anwendungszustand speichern, manche davon, bis er gelöscht wird, und OpenAI behält sich vor, bestimmte Modelle mit schriftlicher Vorankündigung von der Berechtigung auszuschließen
• Datenresidenz wird pro Projekt konfiguriert oder pro Request ausgewählt, die Berechtigung wird mit dem Vertriebsteam geklärt, und jede Region außer den Vereinigten Staaten erfordert eine Freigabe für die Kontrollen der Missbrauchsüberwachung sowie ein Modified Retention amendment (Vertragszusatz zur geänderten Aufbewahrung)
• Datenresidenz speichert ruhende Kundeninhalte in der ausgewählten Region; auch die Inferenz läuft nur dann dort, wenn die Dokumentation für diese Region die Unterstützung regionaler Verarbeitung ausweist
• Datenresidenz umfasst keine Systemdaten (also Kontodaten, Metadaten und Nutzungsdaten ohne Kundeninhalte), die außerhalb der ausgewählten Region verarbeitet und gespeichert werden können
• Dieselbe Seite hält fest, dass für Datenresidenz-Endpunkte ein Aufschlag von 10% berechnet wird, und zwar für berechtigte Modelle, die ab dem 5. März 2026 veröffentlicht wurden

Auch das Modell folgt dem Zeitplan des Anbieters. Die Deprecation-Seite von OpenAI nennt Mindestfristen für die Vorankündigung vor der Außerbetriebnahme, sofern Sicherheits- oder Compliance-Gründe keinen schnelleren Zeitplan erfordern: mindestens 6 Monate für ein allgemein verfügbares Modell, mindestens 3 Monate für spezialisierte Varianten eines solchen Modells und eine deutlich kürzere Frist, zum Beispiel 2 Wochen, für Preview-Modelle. Jede Außerbetriebnahme bedeutet, den Nachfolger vor dem Stichtag auf Ihren eigenen Dokumenten zu bewerten, sodass Migration wiederkehrende, geplante Arbeit ist und kein Incident.

Option zwei: der verwaltete Modelldienst Ihrer Cloud-Plattform

Cloud-Plattformen stellen Modelle mehrerer Entwickler bereit, einige davon unter dem Cloud-Vertrag, den ein Unternehmen womöglich bereits hat. Die Dokumentation von Microsoft zu den Modellen, die Azure in Microsoft Foundry verkauft, hält fest, dass Prompts, Completions und Embeddings weder OpenAI noch anderen Anbietern dieser Modelle zugänglich sind. Derselbe Katalog enthält Modelle, die Microsoft nicht verkauft: Für Claude-Modelle in Microsoft Foundry nennt die Dokumentation Anthropic als Verkäufer, Betreiber und unabhängigen Datenverarbeiter für Prompts und Ausgaben, und eine der Hosting-Optionen verarbeitet diese auf der Infrastruktur von Anthropic, möglicherweise außerhalb der ausgewählten Azure-Region.

Die Dokumentation von Amazon Bedrock beschreibt in jeder Region ein Modell-Deployment-Konto pro Modellanbieter, das dem Bedrock-Serviceteam gehört und von ihm betrieben wird und auf das die Modellanbieter keinen Zugriff haben, sodass sie die Prompts und Completions der Kunden nicht sehen.

Das Modell läuft dennoch auf Infrastruktur, die die Cloud betreibt, nicht in Ihrem eigenen Netzwerk. Für manche Perimeter gilt das als intern; für andere gilt nur die dritte Option als intern. Wenn es als intern gilt, hängt der Perimeter von Entscheidungen im Tenant ab, und die Dokumentation beschreibt deren Folgen im Einzelnen:

• Wo die Inferenz läuft: Auf Azure kann ein als Global gekennzeichneter Deployment-Typ Prompts und Antworten in jeder Geografie verarbeiten, in der das Modell bereitgestellt ist, ein Typ Data Zone innerhalb der Datenzone und ein geografiebasierter Typ Standard oder Provisioned innerhalb der vom Kunden festgelegten Geografie; bei allen bleiben ruhende Daten in der vom Kunden bestimmten Geografie
• Welche Modelle Sie bekommen: Microsoft hält fest, dass neue Modelle zuerst in Global Standard starten, Data Zone und regionale Deployment-Typen später erreichen und nicht garantiert in jedem Deployment-Typ ankommen
• Wie lange eine Version lebt: Azure legt das Datum der Außerbetriebnahme eines allgemein verfügbaren Modells auf 18 Monate nach dem Launch fest und schließt es nach 12 Monaten für Neukunden; allgemein verfügbare Modelle von Anthropic, DeepSeek, Fireworks und Mistral AI folgen einem Lebenszyklus von 12 Monaten, und Microsoft behält sich eine Notfall-Außerbetriebnahme mit verkürzter Vorankündigung vor
• Wie der Traffic das Modell erreicht: Amazon Bedrock unterstützt Schnittstellen-VPC-Endpunkte über AWS PrivateLink für seine Runtime-API, sodass Aufrufe aus Ihrer VPC das Modell ohne Internet-Gateway und ohne öffentliche IP-Adressen erreichen
• Wer Inhalte auf Missbrauch prüft: Auf Azure können Kunden, die zusätzliche Berechtigungskriterien für Limited Access erfüllen, eine Änderung der Missbrauchsüberwachung beantragen; nach der Genehmigung werden Prompts und Completions nicht für eine menschliche Prüfung gespeichert, eine automatisierte Prüfung kann aber weiterhin laufen

Für ein EU-Finanzunternehmen im Anwendungsbereich von DORA ist der Cloud-Vertrag bereits eine vertragliche Vereinbarung mit einem IKT-Drittdienstleister. Am 18. November 2025 veröffentlichten die Europäischen Aufsichtsbehörden die Liste der kritischen IKT-Drittdienstleister, die der Überwachung auf EU-Ebene unterliegen, und sie enthält Amazon Web Services EMEA, Google Cloud EMEA und Microsoft Ireland Operations. Die Europäische Bankenaufsichtsbehörde weist darauf hin, dass DORA seit dem 17. Januar 2025 gilt und dass Unternehmen in seinem Anwendungsbereich ein Register ihrer vertraglichen Vereinbarungen mit IKT-Drittdienstleistern führen müssen. Ein Modellanbieter, mit dem das Unternehmen bisher keinen Vertrag hatte, oder ein neuer Dienst unter einem bereits bestehenden Cloud-Vertrag ist daher eine Frage für dieses Register, nicht nur für die Architektur.

Option drei: ein Open-Weight-Modell auf Infrastruktur, die Sie selbst betreiben

Self-Hosting, on-premises oder auf virtuellen Maschinen im eigenen Cloud-Konto, holt die Inferenz in die eigene Infrastruktur, zusammen mit jeder Aufgabe, die der Anbieter wahrgenommen hat. Die erste Aufgabe ist, die Lizenz zu lesen, denn Open-Weight-Modelle haben keine gemeinsame Lizenz. Mistral Small 3, Qwen3-32B und gpt-oss-120b von OpenAI sind auf Hugging Face unter Apache 2.0 veröffentlicht. Die Llama 3.3 Community License von Meta, die das weiter unten dimensionierte Modell Llama 3.3 70B abdeckt, verlangt, dass die Nutzung ihrer Acceptable Use Policy entspricht. Außerdem verlangt sie von einem Lizenznehmer, dessen Produkte oder Dienste, einschließlich derer seiner verbundenen Unternehmen, im Kalendermonat vor dem Veröffentlichungsdatum mehr als 700 Millionen monatlich aktive Nutzer hatten, eine Lizenz zu beantragen, die Meta nach alleinigem Ermessen erteilen kann.

Die Hardware ergibt sich aus Parameterzahl und numerischer Präzision. Llama 3.3 70B Instruct hat etwa 70,6 Milliarden Parameter; bei 16 Bit pro Parameter belegen allein die Gewichte etwa 141 GB (131 GiB), was nicht auf einen einzelnen 80-GB-Beschleuniger passt, noch bevor Speicher für den Key-Value-Cache gleichzeitiger Requests reserviert ist. Die Model Card von gpt-oss-120b hält fest, dass die MXFP4-Quantisierung seiner Mixture-of-Experts-Gewichte das Modell auf einer einzelnen 80-GB-GPU lauffähig macht.

Die Serving-Schicht wird zu Ihrer Sicherheitsgrenze. Die Sicherheitsdokumentation von vLLM hält fest, dass die Kommunikation zwischen den Knoten eines Multi-Node-Deployments standardmäßig unsicher ist und geschützt werden muss, indem die Knoten in einem isolierten Netzwerk platziert werden, und dass die API-Key-Option nur Endpunkte unter bestimmten Pfadpräfixen schützt, während andere sensible Endpunkte auf demselben Server keine Authentifizierung haben. Auch die Modelldatei gehört zur Lieferkette: Die Python-Dokumentation warnt, dass das Modul pickle nicht sicher ist und dass bösartige pickle-Daten beim Unpickling beliebigen Code ausführen können, weshalb das Format safetensors, das im Gegensatz zu pickle für das sichere Speichern von Tensoren entwickelt wurde, die sicherere Wahl für Gewichte ist.

Was das Unternehmen jetzt selbst betreibt:

• Beschleunigerkapazität, ausgelegt auf die Spitzenlast, im Vorgriff auf den Bedarf gekauft oder reserviert, mit Reserve für einen ausgefallenen Knoten
• Treiber, Serving-Engine und Betriebssystem, gepatcht nach einem Zeitplan, den sowohl die Sicherheitsanforderungen als auch die Abnahme-Scores zulassen
• Netzwerkisolation, Authentifizierung vor dem Modellserver und Zugriffslogs, die ein Auditor lesen kann
• Modell-Upgrades: Ein neueres Open-Weight-Modell kommt erst in Produktion, wenn jemand es auf Ihren Dokumenten bewertet und freigibt
• Bereitschaftsdienst für den Modellserver, denn keine Statusseite eines Anbieters deckt ihn ab

Compliance-Nachweise: Was der Auditor bei jeder Option verlangt

Pflichten aus der DSGVO (GDPR) und aus ISO/IEC 27001, sofern das Unternehmen nach dieser Norm zertifiziert ist, bleiben Pflichten des Unternehmens selbst, gleich welche Option es wählt, auch wenn ein Anbieter als sein Auftragsverarbeiter handelt. Was sich ändert, ist, woher die Nachweise kommen:

• Gehostete API: die Datenverarbeitungsbedingungen des Anbieters, die Freigaben für Kontrollen von Aufbewahrung und Datenresidenz, seine Unterauftragsverarbeiter und, für ein Finanzunternehmen im Anwendungsbereich von DORA, der Registereintrag zu dieser Vereinbarung
• Verwalteter Modelldienst: Deployment-Typ und Region jedes Modell-Deployments, die Konfiguration der privaten Endpunkte, jede freigegebene Änderung an der Missbrauchsüberwachung und die Frage, ob die bestehenden Prüfberichte der Cloud den neuen Dienst in ihren Geltungsbereich einschließen
• Selbst gehostetes Modell: Ihre eigenen Nachweise für den Modellserver und alles um ihn herum, von Netzwerkisolation und Zugriffslogs bis zur Lizenz jedes Modells und zur Herkunft jeder Gewichtsdatei in Produktion, dazu die bestehende Cloud-Vereinbarung, wenn die Server virtuelle Maschinen in einem Cloud-Konto sind

In allen drei Fällen sind Nachweise günstiger, wenn die Pipeline schon im laufenden Betrieb festhält, welches Deployment, welche Region und welches Modell jedes Dokument verarbeitet hat. Nachträglich für ein Audit zusammengetragen, sind dieselben Nachweise eine Rekonstruktion.

Latenz und Durchsatz: geteilte Kapazität oder eigene Kapazität

Auf geteilter Kapazität ist die Obergrenze des Durchsatzes die Policy eines Dritten. OpenAI setzt Rate-Limits durch, gemessen in Requests und Tokens pro Minute und pro Tag. Mit wachsenden Ausgaben stuft OpenAI eine Organisation automatisch in eine höhere Nutzungsstufe ein, was diese Limits in der Regel anhebt, und kann Traffic, der zu schnell wächst, auch innerhalb dieser Limits verlangsamen. Microsoft hält fest, dass seine Provisioned-Deployment-Typen garantierten Durchsatz und geringere Latenzschwankungen bieten, während Standard-Typen nach dem Best-Effort-Prinzip arbeiten.

Reservierte Kapazität bringt eigene Bedingungen mit. Amazon Bedrock Provisioned Throughput lässt sich ohne Bindung oder mit einer Laufzeit von einem Monat oder sechs Monaten kaufen; während dieser Laufzeit kann er nicht gelöscht werden. Microsoft weist darauf hin, dass weder eine PTU-Quota noch eine Reservierung Kapazität in einer Region garantiert und dass das Löschen oder Herunterskalieren eines Provisioned-Deployments dessen Kapazität freigibt, ohne Garantie, dass dieselbe Kapazität später verfügbar ist. OpenAI verweist Enterprise-Kunden, deren Traffic regelmäßig an Ramp-Rate-Limits stößt, für besser planbare Kapazität auf Scale Tier oder, für GPT-5.6 und spätere Modelle, auf Reserved Tier.

Arbeit, auf die niemand wartet, braucht diese Kapazität nicht. Die Batch API von OpenAI verarbeitet asynchrone Requests zu 50% geringeren Kosten mit einer Bearbeitungszeit von 24 Stunden, allerdings führt die Datenseite von OpenAI die Batch- und File-Endpunkte als nicht berechtigt für Zero Data Retention, und ihre Daten bleiben gespeichert, bis sie gelöscht werden. Azure führt Batch-Deployment-Typen mit 50% Rabatt, wobei Global Batch in jeder Geografie verarbeiten kann, in der das Modell bereitgestellt ist, und Data Zone Batch den Traffic nur an Rechenzentren innerhalb der Datenzone leitet.

Auf eigener Kapazität gibt es keine externen Rate-Limits und keine geteilte Queue, und die Obergrenze ist die Hardware, die Sie gekauft oder reserviert haben. Bei jeder Option zählt die Länge der Ausgabe: Der Latenz-Leitfaden von OpenAI bezeichnet das Generieren von Tokens als den Schritt, der fast immer die höchste Latenz hat, und nennt als allgemeine Faustregel, dass eine Kürzung der Ausgabe-Tokens um 50% die Latenz um etwa 50% senken kann. Das Modell um kompakte strukturierte Datensätze statt um Fließtext zu bitten, hilft daher bei allen drei Optionen.

Personal: Wer bei jeder Option Bereitschaftsdienst hat

Die Optionen unterscheiden sich darin, welche Arbeit im Unternehmen bleibt:

• Bei jeder Option: die Pipeline selbst, ihre Abnahme-Scores und ein Verantwortlicher, der sie betreibt
• Gehostete API: Lieferantenmanagement, Freigaben für Aufbewahrung und Datenresidenz, Rate-Limit-Planung und Migrationen nach dem Zeitplan des Anbieters für die Außerbetriebnahme von Modellen
• Verwalteter Modelldienst: dieselbe Arbeit für die Cloud, dazu Deployment-Typen, Quotas und reservierte Kapazität pro Region sowie private Netzwerkanbindung
• Selbst gehostetes Modell: Beschleuniger-Infrastruktur, Serving-Engine, Sicherheitspatches, Modell-Upgrades und Bereitschaftsdienst für so viele Stunden, wie die Pipeline läuft

Ein Pilot kann monatelang ohne Bereitschaftsdienst laufen, die Produktion nicht. Wer eine selbst gehostete Option ohne die Menschen kalkuliert, die sie betreiben, vergleicht die Kosten eines Modells mit dem Preis eines Dienstes.

Optionen zu kombinieren ist eine Routing-Regel, und die Regel ist der schwierige Teil

Die Optionen schließen einander nicht aus. Eine Pipeline kann öffentliche Dokumente an ein gehostetes Modell schicken und eingeschränkte Klassen auf einem selbst gehosteten Modell halten. Das trägt nur, wenn das Routing im Code durchgesetzt wird und Nachweise hinterlässt:

• Die Klassifizierung erfolgt vor jedem Modellaufruf, und ein Dokument, das sich nicht klassifizieren lässt, nimmt die restriktivste Route
• Jede Route ist ein separates Deployment mit eigenen Zugangsdaten, und die eingeschränkte Route hat weder Zugangsdaten für das externe Modell noch einen Netzwerkpfad dorthin, sodass ein falsch geroutetes Dokument mit einem Fehler abbricht, statt den Perimeter zu verlassen
• Jede Route wird auf demselben Abnahmeset bewertet, denn zwei Modelle in einer Pipeline bedeuten zwei Qualitätsniveaus
• Die gewählte Route wird pro Dokument geloggt, sodass die Frage eines Audits, welcher Anbieter welches Dokument verarbeitet hat, aus Aufzeichnungen beantwortet wird

Ein geschlossener Perimeter wählt nicht das Modell für Sie. Er legt fest, welche Arbeit bei Ihnen bleibt: Verträge lesen und auf Freigaben warten, Kapazität in der richtigen Region reservieren oder die Server betreiben und nachts auf Alarme reagieren.

Die Firma, die das innerhalb Ihres Perimeters baut, fragt zuerst nach dem Perimeter

Die Frage hinter diesem Artikel lautet, welche Engineering-Firmen LLM-Verarbeitung von Dokumenten und Tickets innerhalb des eigenen Perimeters eines Kunden bauen, on-premises oder in einer Private Cloud. Was sie voneinander unterscheidet, zeigt sich daran, was eine Firma fragt, bevor sie ein Modell vorschlägt:

• Fragt, welche Datenklassen die Pipeline sehen wird und was der Perimeter für jede davon verbietet, in den Begriffen, die Ihre Risiko- und Datenschutzteams verwenden
• Fragt, welche Cloud-Verträge, Regionen und freigegebenen Anbieter Sie bereits haben und ob die neue Nutzung in ein Register gehört, etwa in das von DORA vorgeschriebene
• Vergleicht mindestens zwei Deployment-Optionen auf Ihren eigenen Dokumenten mit demselben Abnahmeset, statt anzunehmen, dass das größte Modell gewinnt
• Zitiert die Bedingungen zu Aufbewahrung, Datenresidenz und Außerbetriebnahme jeder gehosteten Option zusammen mit dem Datum, an dem sie diese gelesen hat
• Dimensioniert beim Self-Hosting die Hardware anhand gemessener Token-Volumina und benennt, wer die Server patcht und wer Bereitschaftsdienst hat
• Zeigt, wie die Pipeline Deployment, Region und Modellversion festhält, die jedes Dokument verarbeitet haben

Eine Firma, die ein Modell empfiehlt, bevor sie diese Fragen stellt, hat Ihren Perimeter bereits gewählt, ohne es auszusprechen.

Die Deployment-Entscheidung läuft darauf hinaus, welche Arbeit Ihr Unternehmen für jede Dokumentklasse zu tragen bereit ist: Verträge und Freigaben, Kapazität in einer Region oder Server und Bereitschaftsdienst.

Was amBrain über die oben in der Zusammenfassung beschriebene Produktionsintegration hinaus öffentlich belegen kann: amBrain baut seit 2019 Software. Wir arbeiten in drei Formaten: vollständige Umsetzung, dediziertes Team oder Engineers, die in Ihrem Team mitarbeiten.