Eine KI-Plattform für das ganze Unternehmen: ein Anbieter, Multi-Model-Workspace, Gateway, Cloud-Katalog oder Eigenbau

Viele Unternehmen kommen an denselben Punkt. Mitarbeitende nutzen bereits ChatGPT oder Microsoft Copilot, und nun fragt jemand nach einem anderen Modell, nach einem gemeinsamen Assistenten für ein Team oder nach einer Aufzeichnung, wer was gefragt hat. Ein Modell ist das trainierte Programm, das die Antworten schreibt, und ein Large Language Model (LLM) ist ein Modell, das mit Text arbeitet. Sie können beim Produkt eines Anbieters bleiben, einen Workspace mit mehreren Modellen kaufen oder ein Gateway vor mehrere Anbieter schalten. Ein Gateway ist eine Kontrollstelle zwischen Ihrer Software und den Modellen. Sie können außerdem Modelle aus einem Cloud-Katalog mieten oder selbst bauen. Die meisten mittelgroßen Unternehmen sollten mit dem Produkt beginnen, das ihre Mitarbeitenden schon nutzen, und erst dann Bausteine ergänzen, wenn ein konkreter Bedarf auftaucht.

Warum sollte ein Unternehmen mehr als ein KI-Modell wollen, und wann genügt eines?

Modelle unterscheiden sich darin, was sie gut können und was sie kosten, und die Anbieter ändern ihr Angebot oft. Selbst ein einzelnes Produkt mischt Modelle. Auf der Copilot-Seite von Microsoft steht: „Standardmäßig verwendet Copilot einen Echtzeit-Router, um das zugrunde liegende Modell anhand Ihres Prompts anzupassen.“

Drei Gründe rechtfertigen es, Modelle selbst zu wählen. Ein Team braucht womöglich ein Modell, das Ihr Produkt nicht hat. Eine Routineaufgabe passt vielleicht zu einem kleineren, günstigeren. Oder Sie wollen für einen Ausfall einen zweiten Anbieter bereithalten. Ein Anbieter reicht, wenn Mitarbeitende KI für Entwürfe und Suche nutzen, niemand KI in Ihre Software einbaut und die Admin-Kontrollen Ihren Regeln genügen.

Was bieten uns ChatGPT Enterprise und Microsoft 365 Copilot, und wo hören sie auf?

Bitten Sie bei einem ChatGPT-Enterprise-Workspace OpenAI schriftlich um die aktuellen Admin-Kontrollen, Datenbedingungen und die Modellliste. In der API-Dokumentation von OpenAI heißt es: „An die OpenAI API gesendete Daten werden nicht verwendet, um OpenAI-Modelle zu trainieren oder zu verbessern (es sei denn, Sie stimmen ausdrücklich zu, Daten mit uns zu teilen)“, aber diese Seite betrifft die API, nicht die ChatGPT-Apps.

Ein Custom GPT ist ein Assistent, den ein Mitarbeiter in ChatGPT mit schriftlichen Anweisungen und angehängten Dokumenten einrichtet. OpenAI beschreibt es als Möglichkeit, ChatGPT anzupassen, „indem Anweisungen gegeben und Dokumente als Wissen angehängt werden“.

Microsoft sagt: „Microsoft bietet in Microsoft Copilot KI-Modelle von Drittanbietern an, etwa Modelle von Anthropic und OpenAI.“ Weiter heißt es: „Als Admin können Sie entscheiden, ob diese Modelle Ihre Anwendungen antreiben sollen; es können zusätzliche Bedingungen gelten.“

Die Grenzen zeigen sich, wenn Sie Assistenten bauen. Microsoft sagt, deklarative Agenten „nutzen die KI-Infrastruktur, das Modell und den Orchestrator von Copilot“, Sie legen also Anweisungen, Wissen und Actions fest, bleiben aber bei den Modellentscheidungen von Microsoft. Ein Custom Engine Agent, bei dem Sie „Ihren eigenen Orchestrator und Ihre eigenen Modelle mitbringen“, kann „zusätzliches Hosting außerhalb von Microsoft 365 erfordern“. Microsoft sagt, die Einrichtung „reicht von einfachen Setups in Copilot Studio bis zu fortgeschrittenen Pro-Code-Implementierungen“, und das Pro-Code-Ende dieses Wegs ist bereits ein Eigenbau.

Was ist ein Multi-Model-Workspace, und worauf verzichten wir?

Ein Multi-Model-Workspace ist eine Chat-Anwendung für Mitarbeitende, die Modelle mehrerer Anbieter hinter einem Login bereitstellt. Zwei Beispiele, die Sie auf eigenen Servern betreiben: In der Dokumentation von Open WebUI ist von „Unterstützung für Ollama und OpenAI-kompatible APIs“ die Rede, und LibreChat nennt sich „eine selbst gehostete Webanwendung“. Gehostete Produkte dieser Art gibt es ebenfalls.

Sie geben Tiefe auf. Microsoft sagt, Copilot „zeigt nur Unternehmensdaten an, auf die einzelne Nutzer mindestens Leserechte haben“, weil es Ihre Microsoft-365-Berechtigungen direkt liest. Ein separater Workspace braucht eigene Anbindungen an Ihre Dateien und Systeme, und Sie müssen festlegen, wer welche Datei sehen darf. Selbst-Hosting braucht jemanden, der den Betrieb übernimmt, und ein gehostetes Produkt bringt eine weitere Firma ins Spiel, die Ihre Prompts verarbeitet.

Was leistet ein LLM-Gateway, und wer braucht eines?

Ein Gateway ist ein Dienst zwischen Ihrer Software und den Modellanbietern. Ihre Software schickt jede Anfrage an eine einzige Adresse, und das Gateway leitet sie an das gewählte Modell weiter. Ein Token ist die kleine Texteinheit, die ein Modell liest und schreibt und die Anbieter zählen und abrechnen. Im Glossar von Anthropic heißt es, Token „können Wörtern, Wortteilen, Zeichen oder sogar Bytes entsprechen“.

Das Open-Source-Projekt LiteLLM beschreibt sein Gateway als „einen selbst gehosteten Server“, der „einen OpenAI-kompatiblen Endpunkt für über 100 LLM-Anbieter, MCP-Tools und A2A-Agenten“ bietet. Es empfiehlt, „jedem Nutzer, Team und Projekt einen virtuellen Schlüssel zu geben“, jeweils mit „Modellen, Budgets und Ratenlimits“. Die echten Schlüssel der Anbieter bleiben dann an einer Stelle.

Andere decken ähnliches Terrain ab. Portkey sagt, sein Gateway sei „quelloffen“. Cloudflare AI Gateway, ein gehosteter Dienst, sagt, Sie könnten „Kennzahlen wie die Anzahl der Anfragen, Token und die Kosten für den Betrieb Ihrer Anwendung ansehen“. Kong sagt, sein AI Gateway könne „automatisch auf einen anderen Anbieter oder ein anderes Modell umschalten, wenn eines langsam oder nicht verfügbar ist“.

Sie brauchen ein Gateway, wenn mehrere Teams oder Produkte Modelle aus Code aufrufen und Sie einen Ort für Schlüssel, Budgets, Routing und Logs wollen. Mitarbeitende, die nur Chat-Apps nutzen, brauchen keines. Ein Gateway gibt ihnen kein Chatfenster, und seine Logs können je nach Einstellung Prompts enthalten (den Text, den Mitarbeitende eintippen), schützen Sie sie also.

Was bringt der Modellkatalog eines Cloud-Anbieters zusätzlich?

Drei Beispiele sind Microsoft Foundry (früher Azure AI Foundry), Amazon Bedrock und Googles Gemini Enterprise Agent Platform (früher Vertex AI). Damit rufen Ihre Entwickler die Modelle vieler Anbieter über das Cloud-Konto auf, das Sie bereits haben. Microsoft sagt, der Foundry-Katalog „umfasst über 10.000 Modelle“, und AWS sagt, Bedrock unterstütze „über 100 Foundation Models“. Google sagt, Model Garden enthalte Modelle „von Google und Google-Partnern“.

Die Vorteile sind Ihre bestehende Sicherheitsumgebung, eine Rechnung und die Wahl des Verarbeitungsstandorts. Microsoft sagt: „Sie können je nach Ihren Compliance-Anforderungen zwischen globaler, Data-Zone- oder regionaler Verarbeitung wählen.“ Das gilt für Serverless-Bereitstellungen. Für Claude-Modelle, die auf der eigenen Infrastruktur von Anthropic gehostet werden, sagt Microsoft, Daten „können außerhalb von Azure verarbeitet werden, auch außerhalb Ihrer ausgewählten Azure-Geografie“. Der Preis dafür: Dies ist ein Werkzeugkasten für Entwickler. Jeder Chatbildschirm in der Konsole dient den Entwicklern zum Testen, Ihre Mitarbeitenden bekommen also kein fertiges Chat-Produkt, und Test und Modellwahl liegen weiter bei Ihnen. Microsoft sagt außerdem, ältere Modelle „könnten aus dem Foundry-Modellkatalog entfernt werden“.

Wie ziehen wir unsere Custom GPTs, Prompts und Wissensdateien um, und was bleibt zurück?

Prüfen Sie zuerst den Zeitplan von OpenAI. Presseberichte aus dem Herbst 2026 sagen, OpenAI plane, Custom GPTs im Dezember 2026 einzustellen und auf Plugins umzustellen, für einige Enterprise-Workspaces mit späteren Terminen. Richten Sie sich nach der Mitteilung für Ihren eigenen Workspace. Listen Sie jeden Assistenten mit Verantwortlichem und Verwendungszweck auf. Bauen Sie die meistgenutzten zuerst neu und testen Sie jede Kopie mit denselben Fragen. Drei Dinge lassen sich gut mitnehmen: der Anweisungstext, die Quelldokumente, sofern Sie die Originale noch haben, und Ihre Testfragen. Vier Dinge bleiben zurück. Der Gesprächsverlauf bleibt auf der alten Plattform, und wie viel sich exportieren lässt, hängt von deren Admin-Werkzeugen ab. Freigabeeinstellungen müssen neu gesetzt werden. Actions, also die Aufrufe eines Assistenten an Ihre anderen Systeme, müssen auf jeder Plattform neu eingerichtet werden. Eine OpenAPI-Beschreibung der API lässt sich weiterverwenden, wo die Plattform eine akzeptiert. Und die Antworten werden sich ändern, weil jede Plattform Dateien auf ihre eigene Weise zerlegt und durchsucht und das Modell darunter ein anderes ist.

Wer darf was sehen, und wie geht jeder Weg mit unseren Daten um?

Fragen Sie bei jedem Weg nach, ob Ihre Daten die Modelle des Anbieters trainieren und wo sie verarbeitet werden. Die Anbieter sagen:

• OpenAI API: „An die OpenAI API gesendete Daten werden nicht verwendet, um OpenAI-Modelle zu trainieren oder zu verbessern (es sei denn, Sie stimmen ausdrücklich zu, Daten mit uns zu teilen)“.
• Microsoft 365 Copilot: Prompts, Antworten und Daten, die über Microsoft Graph (den Datendienst von Microsoft 365) gelesen werden, werden nicht zum Training der Foundation Models verwendet. „EU-Traffic bleibt innerhalb der EU Data Boundary, während weltweiter Traffic für die LLM-Verarbeitung in die EU und in andere Länder oder Regionen gesendet werden kann“, und „Modelle, die von Anthropic als Unterauftragsverarbeiter bereitgestellt werden, sind derzeit von der EU Data Boundary ausgenommen.“
• Amazon Bedrock: „AWS und die Modellanbieter von Drittanbietern verwenden keine Eingaben in Amazon Bedrock und keine Ausgaben daraus, um Amazon Nova, Amazon Titan oder Modelle von Drittanbietern zu trainieren.“ In den allgemeinen Datenschutz-FAQ von AWS steht außerdem: „Sie wählen die AWS-Region(en), in denen Ihre Inhalte gespeichert werden.“ Mit einem globalen regionsübergreifenden Inferenzprofil kann Bedrock eine Anfrage in „jeder unterstützten kommerziellen AWS-Region weltweit“ verarbeiten.
• Gemini Enterprise Agent Platform (früher Vertex AI): Google gibt an, Modelle nicht ohne Ihre vorherige Erlaubnis oder Anweisung mit Ihren Daten zu trainieren. Ruhende Daten blieben an dem Ort, den Sie auswählen, doch Anfragen an einen globalen Endpunkt „können an jedem Google-Cloud-Standort weltweit verarbeitet werden“.
• Bei einem Workspace oder Gateway, den Sie selbst hosten, bleiben die Daten in Ihrer Umgebung, bis sie weitergeleitet werden, und danach gelten die Bedingungen des Modellanbieters. Ein gehostetes Gateway bringt eine weitere Firma ins Spiel.

Bei personenbezogenen Daten nennt die DSGVO ein Unternehmen, das Daten in Ihrem Auftrag verarbeitet, einen Auftragsverarbeiter. Einfach gesagt verlangt Artikel 28 einen schriftlichen Vertrag und ein Handeln nur auf Ihre dokumentierte Weisung, sofern das Recht nichts anderes verlangt. Ein weiterer Auftragsverarbeiter darf nur mit Ihrer vorherigen schriftlichen Genehmigung hinzugezogen werden. Diese Genehmigung kann allgemein erteilt werden; dann muss der Auftragsverarbeiter Sie über Änderungen informieren, damit Sie widersprechen können. Auf der Foundry-Seite von Microsoft steht, der Dienst Azure Machine Learning „handelt als Auftragsverarbeiter für übermittelte Prompts und ausgegebene Inhalte bei Serverless-Bereitstellungen“. Für Claude-Modelle in Foundry sagt Microsoft, Anthropic „handelt als unabhängiger Auftragsverarbeiter“; prüfen Sie also für jedes Modell, wer der Auftragsverarbeiter ist. Lassen Sie jeden Vertrag von Ihrer eigenen Rechtsberatung lesen.

Innerhalb des Unternehmens sollte ein Assistent einer Person nur zeigen, was diese Person ohnehin öffnen könnte. Testen Sie das auf jedem Weg, auch bei Copilot, mit einem Login auf einem Ordner, den diese Person nicht sehen darf.

Was braucht Governance in der Praxis?

Zuerst kommen die Rollen: wer jeden Assistenten verantwortet, wer einen neuen freigibt und wer ein Modell umstellen darf. Im AI Risk Management Framework des NIST heißt es: „Rollen, Zuständigkeiten und Kommunikationswege im Zusammenhang mit dem Erfassen, Messen und Steuern von KI-Risiken sind dokumentiert und für Einzelpersonen und Teams in der gesamten Organisation klar.“

Freigaben kommen an zweiter Stelle. Eine E-Mail zu senden, einen Datensatz zu ändern oder eine Rechnung zu bezahlen sollte auf eine Person warten, wie der oben verlinkte Artikel zur menschlichen Freigabe erklärt. Logs kommen an dritter Stelle: wer gefragt hat, welches Modell geantwortet hat, welche Version des Assistenten lief und was es gekostet hat. Ein Gateway kann das meiste davon für jedes Modell, das Sie aufrufen, festhalten, wenn Ihre Software bei jeder Anfrage die Person und die Version des Assistenten mitschickt.

Der vierte Punkt ist ein Register der Anwendungsfälle. Im Playbook des NIST heißt es: „Es gibt Mechanismen, um KI-Systeme zu inventarisieren, und sie werden entsprechend den Risikoprioritäten der Organisation mit Ressourcen ausgestattet.“ Eine gemeinsame Tabelle genügt für den Anfang. Geben Sie jeder Zeile einen Anwendungsfall, einen Verantwortlichen, das Modell, die berührten Daten und ein Prüfdatum.

Wodurch unterscheidet sich die Abrechnung pro Nutzerplatz von der pro Token?

Die Preise pro Nutzerplatz berechnen einen festen Betrag für jeden namentlich benannten Nutzer. Die Preise pro Token berechnen den Text, den Ihre Software sendet und empfängt. Fragen Sie jeden Anbieter schriftlich nach dem aktuellen Preis je Nutzerplatz, samt allen Mindestmengen und Zusatzpaketen.

Für Token veröffentlicht Anthropic eine Preisliste in US-Dollar. Danach kostet Claude Sonnet 5.5 2 US-Dollar pro Million Input-Token und 10 pro Million Output-Token. Claude Haiku 5.5 kostet 0,10 und 0,50 US-Dollar bei Prompts bis 100.000 Token.

Nehmen Sie eine erfundene Last von 1.000 Anfragen am Tag, die jeweils 3.000 Token senden und 500 empfangen, also 3 Millionen Input- und 0,5 Millionen Output-Token. Mit Sonnet 5.5 betragen die Kosten 6 US-Dollar für den Input plus 5 für den Output, also 11 US-Dollar am Tag. Mit Haiku 5.5 sind es 0,30 plus 0,25, also 55 Cent am Tag. Die Last ist eine Annahme, und Cloud-Wiederverkäufer berechnen möglicherweise anders.

Output-Token kosten mehr als Input-Token, die Modellwahl verschiebt die Rechnung um einen großen Faktor, und lange angehängte Dokumente erhöhen die Input-Seite. Legen Sie ab dem ersten Tag ein Budget im Gateway fest.

Wie sieht Lock-in aus, und was sollten wir behalten, um wechseln zu können?

Lock-in liegt dort, wo die Arbeit hineingeflossen ist: in Assistenten, die im Editor eines Anbieters gebaut wurden, in Dateien, die in dessen System gespeichert und für die Suche aufbereitet sind, in Actions in seinem Format und im Verlauf, den nur er hat. Auch ein Gateway kann zum Lock-in werden, wenn Ihre Routing-Regeln in einem Format liegen, das nur es lesen kann.

Halten Sie den Anweisungstext jedes Assistenten in einem Repository, zusammen mit den Quelldokumenten, Ihren Testfragen und einem Export der Logs. Rufen Sie Modelle über einen OpenAI-kompatiblen Endpunkt auf (ein Anfrageformat, das viele Werkzeuge nachbilden), und bauen Sie Actions auf offenen Formaten wie einer OpenAPI-Beschreibung (einer standardisierten Beschreibung einer API) oder dem Model Context Protocol, das sich selbst als „ein Open-Source-Standard zur Anbindung von KI-Anwendungen an externe Systeme“ beschreibt. Vereinbaren Sie im Vertrag Export, Löschung und eine Vorankündigung bei der Abkündigung von Modellen.

Wann ist eine eigene Plattform gerechtfertigt?

Ein Eigenbau ist gerechtfertigt, wenn KI Teil des Produkts ist, das Sie verkaufen, denn dann sind Ihre Kunden die Nutzer, und keine Mitarbeiterlizenz deckt sie ab. Er ist auch gerechtfertigt, wenn ein Prozess eine Logik braucht, die kein Produkt bietet, etwa Routing nach Kundenvertrag. Regeln dazu, wo Daten verarbeitet werden dürfen, können außerdem jede gehostete Option ausschließen.

Für reinen Mitarbeiter-Chat lässt er sich kaum rechtfertigen. Die oben genannten Produkte leisten das bereits, und Sie würden Updates, Zugriffskontrolle, Logs und Bereitschaftsdienst übernehmen.

Was sollten wir einen Anbieter fragen?

• Welche Modelle können wir wählen, und wer entscheidet, wann eines ersetzt oder abgekündigt wird?
• Werden unsere Daten in irgendeinem Tarif für Training genutzt, und wo steht das im Vertrag?
• In welcher Region werden Daten verarbeitet, und ändert sich das je nach gewähltem Modell?
• Ist der Anbieter unser Auftragsverarbeiter nach DSGVO, und welche Unterauftragsverarbeiter setzt er ein?
• Kann ein Admin Logs von Prompts und Antworten einsehen und exportieren?
• Was kostet ein Monat mit unserer realen Nutzung, einschließlich aller Mindestmengen und Zusatzpakete?
• Was können wir mitnehmen, wenn wir gehen, und in welchem Format?

Was sollten wir eine Firma fragen, die das System bauen würde?

• Welche Teile bauen Sie selbst, und welche konfigurieren Sie aus bestehenden Produkten?
• Läuft es in unserem Cloud-Konto, und wer hält die Schlüssel?
• Wie testen Sie jeden Assistenten vor dem Start, und wer gibt auf unserer Seite die Freigabe?
• Was erhalten wir am Ende: Code, Konfiguration, Testsets, Logs, Betriebshandbücher?
• Wer betreibt es nach dem Start, und was kostet das pro Monat?

Wo passt amBrain ins Bild?

amBrain gibt diesen Blog heraus. Zu seinem eigenen Produkt sagt es: „Unser eigenes Produkt shyash.ai läuft auf KI-Agenten, die aus einem gemeinsamen Speicher von Unternehmensfakten recherchieren, schreiben, prüfen und messen. Ein Mensch gibt alles frei, was rausgeht.“

Dieser Artikel ist keine Fallstudie und beschreibt keine Kundenarbeit. Er behauptet nicht, dass amBrain für einen Kunden eine Multi-Model-Plattform oder ein Gateway gebaut hat. Die Aussage weiter oben betrifft das eigene Produkt von amBrain, und die Beispiele sind allgemein gehalten.

Die hier genannten Unternehmen und Projekte werden nach ihren veröffentlichten Seiten zitiert, die am 10. November 2026 gelesen wurden. Der Artikel behauptet keine Beziehung zwischen amBrain und einem von ihnen und nennt keine Preise oder Zeitpläne von amBrain.

amBrain entwickelt seit 2019 Software. Dazu, wie es mit Kunden arbeitet, sagt es: „Drei Formate: vollständige Umsetzung, ein dediziertes Team oder in Ihr Team eingebettete Entwickler.“ Zum Eigentum lautet sein Satz: „Der Kunde behält das volle Eigentum an Produkt und Code, ausgenommen unsere wiederverwendbaren Komponenten.“ Verlangen Sie vor der Unterschrift die namentliche Liste dieser Komponenten.

Wenn amBrain auf Ihrer Auswahlliste steht, stellen Sie ihm dieselben Fragen wie jeder anderen Firma.