Ein schlüsselfertiges KI-Projekt: Wann ein Festpreis funktioniert und wie Sie eine Firma beauftragen, die Ihren Piloten in Produktion bringt

Ein steckengebliebener KI-Pilot lässt sich als schlüsselfertiger Auftrag fertigstellen: Am Ende wird ein funktionierendes System übergeben. Beginnen Sie mit einem kurzen Assessment zum Festpreis, das den Piloten an Ihren Dokumenten misst und den Score festlegt, den er erreichen muss. Den Score auf dieses Ziel zu heben, ist Arbeit, die niemand im Voraus bepreisen kann. Kaufen Sie sie deshalb nach Aufwand ein, also zu Stundensätzen mit einer Obergrenze für die Gesamtsumme. Für den Rest, die Arbeit, die sich auf Papier beschreiben lässt, vereinbaren Sie Festpreise, Phase für Phase.

Was bedeutet „schlüsselfertig“ bei einem KI-System?

Bei einem KI-System heißt schlüsselfertig: Die Firma übergibt ein einsatzbereites System, und der Vertrag legt fest, was „einsatzbereit“ bedeutet. Zum Beispiel läuft das System innerhalb Ihres Perimeters, auf Servern oder in Cloud-Konten, die Ihr Unternehmen kontrolliert. Es erreicht auf Ihren Dokumenten den Ziel-Score und gibt unsichere Fälle an einen Menschen weiter. Ihre Mitarbeiter können es betreiben, wenn die Firma nicht mehr da ist.

Im Bauwesen plant und baut ein Auftragnehmer bei einem schlüsselfertigen Projekt die gesamte Anlage und übergibt sie nutzungsbereit. Die FIDIC, der internationale Verband beratender Ingenieure, veröffentlicht für solche Projekte einen Standardvertrag, das sogenannte Silver Book.

Die Seite der FIDIC zur Ausgabe 2017 nennt drei Fälle, in denen das Silver Book nicht passt:

• Den Bietern fehlen Zeit oder Informationen, um die Anforderungen des Auftraggebers zu prüfen, eigene Planungs- und Risikostudien durchzuführen und die Kosten zu schätzen
• Ein großer Teil der Arbeiten liegt unter der Erde oder an anderen Stellen, die die Bieter nicht besichtigen können, es sei denn, der Vertrag deckt Bedingungen ab, die niemand vorhersehen konnte
• Der Auftraggeber will die Arbeit des Auftragnehmers eng überwachen oder steuern oder die meisten Zeichnungen selbst prüfen

Für diese Fälle empfiehlt die FIDIC einen anderen Standardvertrag, ihr Yellow Book. Ein steckengebliebener KI-Pilot fällt unter die ersten beiden Fälle, bis eine Firma ihn mit Ihren Dokumenten getestet hat, denn niemand hat den Baugrund untersucht. Der unten beschriebene Phasenvertrag entspricht dem dritten Fall, weil er Ihnen die enge Kontrolle über die Arbeit lässt. Verstehen Sie „schlüsselfertig“ deshalb als Übergabe eines funktionierenden Systems und bepreisen Sie die Arbeit Phase für Phase.

Warum ist ein Festpreis bei KI-Projekten schwierig?

Viele Teile eines Softwareprojekts lassen sich beschreiben, bevor jemand sie baut. Ein Bericht oder eine Anbindung an ein anderes System lässt sich auf Papier festhalten, und was dort steht, kann eine Firma bepreisen.

Ein System, das Dokumente mit einem Sprachmodell liest, hat einen Teil, den niemand im Voraus beschreiben kann: wie oft es jedes Feld auf Ihren Dokumenten richtig liest. Ein Feld ist eine einzelne Angabe, etwa ein Datum oder ein Betrag. Die Antwort hängt von Ihren Scans und Vorlagen ab und von Fällen, an die sich niemand erinnert, bis sie auftreten. Wie viel Arbeit der Ziel-Score kosten wird, weiß niemand, bis jemand das System an Ihren Dokumenten misst.

Auch die Beschaffungsregeln der US-Regierung treffen diese Unterscheidung. Teil 16 der Federal Acquisition Regulation (FAR) behandelt Vertragsarten. Er beschreibt einen Vertrag nach Aufwand (time-and-materials contract) als Vertrag, bei dem die geleisteten Stunden zu festen Stundensätzen bezahlt werden, zuzüglich der tatsächlichen Materialkosten. Zulässig ist ein solcher Vertrag nur, wenn sich bei Vertragsschluss weder die Arbeit genau schätzen noch ihre Kosten „mit einem vernünftigen Maß an Sicherheit“ vorhersagen lassen.

Nach der FAR eignet sich ein Festpreisvertrag für Arbeit mit klaren Spezifikationen, bei der sich zu Beginn ein fairer Preis festlegen lässt. Teil 16 weist die Vergabebeamten außerdem an, Verträge nach Aufwand nicht über längere Zeit zu nutzen, sobald die Erfahrung eine Grundlage für festere Preise liefert.

Ein Festpreis für den ganzen Auftrag, der genannt wird, bevor jemand Ihre Dokumente überhaupt verarbeitet hat, enthält deshalb meist einen großen Aufschlag für das Unbekannte. Die Alternative ist eine Liste von Ausschlüssen, also Dingen, die der Preis nicht abdeckt, und jeder davon schiebt ein Risiko zu Ihnen zurück. Suchen Sie im Angebot nach beidem.

Welche Phasen eignen sich für einen Festpreis und welche für eine Abrechnung nach Aufwand?

Dies ist keine Rechtsberatung. Den Vertrag setzt Ihr Anwalt auf; dieser Artikel nennt, was darin geregelt sein sollte. Teilen Sie die Arbeit auf und bepreisen Sie jeden Teil nach dem, was bei seinem Beginn bekannt ist:

• Beginnen Sie mit einem Assessment zum Festpreis. Die Firma liest den Code des Piloten, lässt ihn innerhalb Ihres Perimeters auf einer Stichprobe Ihrer echten Dokumente laufen und hält dann schriftlich fest, warum er steckengeblieben ist. Sie erhalten den Entwurf eines Abnahmesets, also eine Sammlung Ihrer echten Dokumente mit der richtigen Antwort zu jedem, und einen bepreisten Plan für die nächste Phase. Beides gehört Ihnen, ob Sie weitermachen oder nicht
• Die mittlere Phase, das Anheben des Scores, ist die unsichere. Sie eignet sich für eine Abrechnung nach Aufwand mit Obergrenze, also einem Deckel für die Gesamtsumme, die die Firma in Rechnung stellen darf. Die Firma probiert verschiedene Prompts (die schriftlichen Anweisungen, denen das Modell folgt) und Modelle am Abnahmeset aus und zeigt Ihnen jede Woche die Scores. Sie können aufhören, wenn der Fortschritt stockt
• Sobald der Ziel-Score erreicht ist, bleibt gewöhnliche Engineering-Arbeit, bepreist in Festpreisphasen. Dazu gehören die Installation des Systems innerhalb Ihres Perimeters, Alarme bei sinkender Qualität, die Review-Queue, in der Mitarbeiter unsichere Fälle prüfen, und die Umstellung Ihres Teams auf das neue System. Jede Festpreisphase endet mit einem Abnahmetest, der das System am Abnahmeset bewertet und darüber entscheidet, ob die Phase bezahlt wird
• Nach dem Launch passt für den Betrieb des Systems eine monatliche Gebühr mit einer schriftlichen Liste dessen, was sie abdeckt, denn jemand muss die Qualität überwachen und Modell-Upgrades übernehmen

Die FAR verlangt außerdem, dass ein Vertrag nach Aufwand Folgendes enthält: „einen Höchstpreis, den der Auftragnehmer auf eigenes Risiko überschreitet“. Legen Sie auch in Ihrem Vertrag eine Obergrenze fest. Sie deckelt, was Sie zahlen, aber nach der Zahlungsklausel der FAR selbst muss die Firma nicht weiterarbeiten, sobald die Obergrenze erreicht ist, es sei denn, Sie heben sie an. Vereinbaren Sie im Voraus, was dann passiert: Sie hören auf, heben die Obergrenze an oder planen die Arbeit neu.

Eine Firma kann die ganze Abfolge als einen einzigen Vertrag anbieten und ihn schlüsselfertig nennen. Das kann funktionieren, wenn jede Phase ihren eigenen Preis und ihren eigenen Abnahmetest hat und Sie zwischen den Phasen aufhören dürfen.

Was sollte „fertig“ im Vertrag bedeuten?

Fertig heißt, dass das System seinen Abnahmetest besteht, gemessen an einer Abnahmeschwelle, die vor der Festlegung des Preises vereinbart wird. Der Vertrag sollte Folgendes benennen:

• Welche Dokumente im Abnahmeset sind, wie viele von jedem Typ und wer die richtigen Antworten festgehalten hat. Sobald die Phase bepreist ist, bleibt das Set eingefroren
• Die Abnahmeschwellen für jedes Feld und jeden Dokumenttyp, die zusammen den Ziel-Score bilden, und die Felder, die unabhängig vom Score immer an einen Menschen gehen
• Wo der Abnahmetest stattfindet und wer ihn durchführt. Er findet innerhalb Ihres Perimeters statt, auf genau der Version, die die Firma übergeben wird. Ihre Mitarbeiter führen ihn durch oder sehen der Firma dabei zu
• Was passiert, wenn das System seinen Abnahmetest nicht besteht. Die Firma bekommt eine festgelegte Frist, um es auf eigene Kosten nachzubessern. Danach dürfen Sie aufhören und behalten, was gebaut wurde

Halten Sie einen Teil des Abnahmesets bis zum Abnahmetest vor der Firma zurück. Hat die Firma jedes Testdokument gesehen, kann sie das System genau auf diese Dokumente zuschneiden, und der Score überschätzt dann, wie gut es neue Dokumente liest. Der oben verlinkte Artikel über KI-Piloten, die nie in Produktion gingen, erklärt, wie man das Set aufbaut.

Was kann einen KI-Festpreisvertrag später zum Kippen bringen?

Vereinbaren Sie im Voraus, wie diese Ereignisse den Preis verändern:

• Neue Dokumenttypen oder Vorlagen, die nicht im Abnahmeset enthalten sind. Behandeln Sie sie als Änderungen, die genauso bepreist werden wie die Phasen
• Der Anbieter nimmt das Modell außer Betrieb, das das System nutzt. Die Deprecation-Seite von OpenAI etwa sieht für ein allgemein verfügbares Modell mindestens sechs Monate Vorankündigung vor und für spezialisierte Varianten eines solchen Modells mindestens drei Monate. Preview-Modelle können mit deutlich kürzerer Frist außer Betrieb gehen, und Sicherheits- oder Compliance-Gründe können jede dieser Fristen verkürzen. Legen Sie fest, wer dafür bezahlt, den Nachfolger am Abnahmeset zu testen und auf ihn umzustellen
• Verzögerungen auf Ihrer Seite, etwa eine langsame Freigabe des Zugriffs der Firma auf Ihre Systeme oder eine verspätete Lieferung der Dokumente und richtigen Antworten, die die Firma braucht. Ein Festpreis setzt voraus, dass Ihr Teil pünktlich kommt, also halten Sie fest, was Ihre Seite liefern muss und bis wann
• Eine Änderung Ihrer eigenen Regeln, etwa wenn Ihr Risikoteam entscheidet, dass eine Dokumentklasse nicht mehr an ein externes Modell gehen darf. Diese Dokumente müssen dann innerhalb Ihres Perimeters verarbeitet werden, was die Arbeit und ihren Preis verändert

Betriebskosten liegen außerhalb des Entwicklungspreises, sofern der Vertrag nichts anderes sagt. Nutzungsgebühren für das Modell oder die Kosten der Server, auf denen es läuft, wachsen mit der Zahl der Dokumente. Vereinbaren Sie, wer sie während der Entwicklung und nach dem Launch trägt und von wie vielen Dokumenten pro Monat der Preis ausgeht.

Wie knüpfen wir Zahlungen an Ergebnisse?

Knüpfen Sie jede Festpreiszahlung daran, dass das System seinen Abnahmetest innerhalb Ihres Perimeters besteht, und lassen Sie keine dieser Zahlungen allein durch einen Termin fällig werden. In der Phase nach Aufwand zahlen Sie die Stunden bis zur Obergrenze, und die wöchentlichen Scores zeigen Ihnen, ob Sie weitermachen sollten.

Behalten Sie einen Teil der Schlusszahlung ein, bis das System einen vereinbarten Zeitraum lang in Produktion gelaufen ist, ohne unter den Ziel-Score zu fallen. Vereinbaren Sie Anteil und Zeitraum vor der Unterschrift.

Behalten Sie sich das Recht vor, nach jeder Phase aufzuhören und alles mitzunehmen, was bis dahin gebaut wurde, einschließlich Code, Prompts, Abnahmeset und der Skripte, die die Bewertung durchführen. Der unten verlinkte Artikel behandelt, wie das Eigentum am Code im Vertrag geregelt wird.

Wie prüfen wir eine Firma, die anbietet, unseren Piloten fertigzustellen?

Schreiben Sie ein einseitiges Briefing: was der Pilot tut, welche Dokumente er liest und wie viele pro Tag, wohin die Daten gehen dürfen und welchen Score Sie brauchen. Schicken Sie es mit denselben Fragen an jede Firma auf Ihrer Shortlist:

• Was müssen Sie sehen, bevor Sie einen Festpreis nennen können, und für welche Phase würden Sie ihn festlegen?
• Zeigen Sie uns, wie ein früherer Vertrag für ähnliche Arbeit aufgebaut war, ohne Preise und ohne den Namen des Kunden
• Was passiert, wenn ein Abnahmetest am Ende einer Phase scheitert?
• Wer in Ihrem Team hat schon ein KI-System in Produktion gebracht, und wird diese Person an unserem Projekt arbeiten?
• Können Ihre Entwickler innerhalb unseres Perimeters nach unseren Zugriffsregeln arbeiten?

Der oben verlinkte Artikel darüber, wie Sie KI-Entwicklung auslagern, ohne dass Ihre Daten das Haus verlassen, behandelt die letzte Frage ausführlich.

Was in einem Angebot sollte uns misstrauisch machen?

• Ein Preis für den ganzen Auftrag kommt, bevor die Firma auch nur ein einziges Ihrer Dokumente gesehen hat
• Das Angebot verspricht einen Prozentsatz richtiger Antworten, sagt aber nicht, an welchen Dokumenten er gemessen wird
• Das Wort „schlüsselfertig“ taucht auf, aber ohne Abnahmetest und ohne das Recht, zwischen den Phasen aufzuhören
• Betriebskosten fehlen oder stehen nur als „nach Vereinbarung“ im Angebot
• Der Vertragsentwurf führt die Prompts oder das Abnahmeset als Eigentum der Firma

Wo passt amBrain ins Bild?

Das einzige Sprachmodell-Projekt, das amBrain öffentlich beschreibt, ist dieses: „Wir haben eine LLM-Integration innerhalb des FinTech-Perimeters eines Kunden in Produktion gebracht: die Extraktion und Normalisierung unstrukturierter Mitteilungen von Brokern und Handelsplätzen – Kapitalmaßnahmen, Instrumenten- und Margin-Änderungen – zu strukturierten Datensätzen, die das Handelssystem verarbeitet.“

Dieser Artikel ist keine Case Study. Er sagt nicht, dass das oben genannte Projekt als steckengebliebener Pilot eines anderen Teams begann. Die oben beschriebenen Zahlungsmodelle, auch der schlüsselfertige Auftrag und der Festpreis, sind allgemeine Ratschläge, und der Artikel sagt nicht, ob amBrain eines davon anbietet. Er nennt weder Preise noch Zeitpläne von amBrain.

amBrain übernimmt Projekte, die bei einem anderen Team ins Stocken geraten sind, und bringt sie in Produktion.

amBrain entwickelt seit 2019 Software. Zum Eigentum lautet sein Satz: „Der Kunde behält das volle Eigentum an Produkt und Code, ausgenommen unsere wiederverwendbaren Komponenten.“ Verlangen Sie von amBrain vor der Unterschrift die namentliche Liste dieser Komponenten, so wie Sie es bei jeder anderen Firma tun würden.

Wenn Ihr Pilot steckengeblieben ist, schicken Sie amBrain dasselbe Briefing und dieselben Fragen wie jeder anderen Firma und vergleichen Sie die Antworten nebeneinander.

Häufige Fragen

• Unser Pilot hat schon eine Genauigkeitszahl. Warum für ein Assessment bezahlen? Wurde der Pilot mit fiktiven Daten oder mit Dokumenten getestet, die jemand von Hand bereinigt hat, sagt seine Zahl wenig über Ihre echten Dokumente. Das Assessment misst den Piloten innerhalb Ihres Perimeters an einer Stichprobe dieser Dokumente, und der Entwurf des Abnahmesets, der dabei entsteht, gehört Ihnen in jedem Fall
• Sollten wir stattdessen ein eigenes ML-Team einstellen? Wenn KI das Produkt ist, das Sie verkaufen, wahrscheinlich ja, und der oben verlinkte Artikel über das Einstellen eines ML-Teams behandelt diese Entscheidung. Ist das System ein Werkzeug in Ihrem Betrieb, kann eine Firma den Piloten fertigstellen, während Sie die Leute einstellen, die es betreiben werden
• Müssen wir unsere Dokumente jeder Firma auf der Shortlist zeigen? Nein. Das Briefing beschreibt Ihre Dokumente, ohne sie beizulegen. Echte Dokumente sieht nur die Firma, die Sie für das Assessment auswählen, und sie arbeitet innerhalb Ihres Perimeters