KI-Automatisierung für Schadenakten, Tickets und KYC-Unterlagen auf Ihren eigenen Servern: Was ein COO eine Firma vor der Unterschrift fragen sollte

Bevor Sie einen Vertrag mit einer Firma unterschreiben, die anbietet, Schadenakten, Support-Tickets oder KYC-Unterlagen mit KI auf Ihren eigenen Servern zu automatisieren, fragen Sie, wie ihr System zu der Arbeit passen wird, die Ihr Back Office heute erledigt. Zu guten Antworten gehören Zahlen aus einer Stichprobe Ihrer eigenen Akten, etwa wie viele Akten weiterhin von einer Person geprüft werden müssen und was der Betrieb des Systems pro Monat kosten wird. Nennt eine Firma Zahlen, bevor sie Ihre Akten gesehen hat, fragen Sie, an welchen Dokumenten sie gemessen wurden.

Welche unserer Akten sollte die Firma zuerst sehen?

Fragen Sie als Erstes, welche Ihrer Akten die Firma sehen möchte. Eine Firma, die diese Arbeit schon gemacht hat, verlangt in der Regel die Akten eines Monats, die tatsächlich bei Ihnen eingehen, einschließlich der Scans und Handyfotos, der E-Mail-Verläufe mit mehreren Anhängen, der Formulare, die halb ausgefüllt zurückkommen, und der Fälle, die Ihre Mitarbeiter an einen Vorgesetzten weitergeben. Sie fragt auch, welche Felder für Sie wichtig sind, etwa das Schadendatum in einer Schadenmeldung oder das Ablaufdatum auf einem Ausweisdokument, und was heute passiert, wenn eines davon falsch gelesen wird.

Exportieren Sie vor dem ersten Termin die Akten eines Monats aus Ihrem eigenen System und sortieren Sie sie danach, wie lange Ihr Team für jede gebraucht hat, denn an den langsamsten Akten sollten Sie eine Firma testen. Zählen Sie, wie viele es von jeder Art gibt, und notieren Sie, über welche ein Vorgesetzter entscheiden musste.

Schicken Sie jeder Firma auf Ihrer Shortlist eine schriftliche Beschreibung dieser Akten mit den Mengen. Echte Akten bekommt nur die Firma, die Sie für ein bezahltes Assessment auswählen: einen kurzen ersten Auftrag, in dem sie ihr System auf Ihren eigenen Servern testet, bevor Sie den Hauptvertrag unterschreiben. Die meisten der folgenden Zahlen stammen aus diesem Assessment.

Was passiert mit einer Akte, die das System nicht lesen kann?

In jedem Back Office gibt es Akten, an denen das System scheitern wird, etwa solche mit einem schräg aufgenommenen Foto oder einem Kontoauszug in einem neuen Layout. Jede davon muss am Ende bei einer Person landen, die entscheiden kann.

Wählen Sie für das Assessment drei Ihrer schwierigsten Akten aus und bitten Sie die Firma, Schritt für Schritt zu erklären, was mit jeder davon geschieht, vom Eingang bis zu der Person, die entscheidet. Notieren Sie jeden Schritt, den die Firma nicht beschreiben kann, und sprechen Sie ihn vor der Unterschrift noch einmal an.

In einer guten Antwort geht die Akte in eine Review-Queue, also eine Liste von Akten, die eine namentlich benannte Person in Ihrem Team abarbeitet. Diese Person sieht die Seite mit dem markierten unklaren Feld, und nichts gelangt in Ihr Schaden- oder KYC-System, bevor sie entschieden hat.

Die Firma sollte auch erklären, wie das System eine Akte, die es nicht lesen kann, von einer Akte unterscheidet, die es falsch gelesen hat. Die zweite Art ist schwerer zu erkennen, denn ein falsches Datum oder ein falscher Betrag sieht aus wie jeder andere Wert und rutscht durch, wenn ihn nichts prüft.

Wie viele Mitarbeiterstunden wird die Prüfung der Antworten des Systems kosten?

Nehmen Sie fünfzig Akten aus Ihrer Stichprobe und messen Sie, wie lange Ihr Team heute für jede braucht. Fragen Sie die Firma während des Assessments, wie viel dieser Zeit die Prüfung bei denselben fünfzig Akten noch beanspruchen wird. Die Differenz ist die Zeit, die das System einspart, vor Abzug der Betriebskosten. Ist die Differenz klein, wägen Sie sie gegen die Zeit ab, die Ihre Mitarbeiter brauchen werden, um sich in ein neues Tool einzuarbeiten.

Das System wird einen Teil der Akten zur Prüfung schicken, und dieser Anteil entscheidet darüber, wie viele Mitarbeiter Sie brauchen. Die Firma sollte ihn schätzen, bevor Sie den Hauptvertrag unterschreiben, für die ersten Wochen und für die Zeit einige Monate später, wenn die häufigsten Fehler behoben sind. Ohne diese Zahlen können Sie die Arbeitslast Ihres Teams nach dem Launch nicht planen.

Die Prüfung sollten die Mitarbeiter übernehmen, die diese Akten heute bearbeiten, denn sie wissen, wie eine richtige Antwort aussieht. Die Firma sollte Ihnen die Ansicht zeigen, mit der sie arbeiten werden, mit der Seite und dem markierten Feld nebeneinander, und sagen, wie lange eine Prüfung im Durchschnitt dauert.

Woher wissen wir, dass das System so genau ist wie unsere Mitarbeiter?

Lassen Sie zwei Ihrer Mitarbeiter die richtigen Antworten für fünfzig Akten aus Ihrer Stichprobe aufschreiben, ohne dass sie miteinander sprechen. Wo sie sich nicht einig sind, hat Ihr Team noch keine abgestimmte Antwort, und das System lässt sich an diesen Akten nicht bewerten. Vereinbaren Sie, wie solche Fälle entschieden werden, bevor die Tests beginnen.

Firmen geben die Genauigkeit meist als einen einzigen Prozentwert für das ganze System an. Ein brauchbarer Score wird für jedes Feld angegeben, etwa ein Datum oder einen Betrag, und für jeden Dokumenttyp. Die Scores sollten aus Ihrem Testset stammen: Akten aus Ihrer Stichprobe, zu denen Ihre eigenen Mitarbeiter die richtigen Antworten aufgeschrieben haben und die die Firma beim Anpassen des Systems nicht verwendet hat. Auch Ihre Mitarbeiter machen Fehler, also messen Sie sie an denselben Akten, um zu sehen, womit das System verglichen wird.

Eine gute Antwort legt vor der Preisvereinbarung die Abnahmeschwelle fest, also den niedrigsten Score, den das System erreichen muss. Sie sagt, welche Felder das System selbstständig ausfüllen darf, sobald es diesen Score erreicht, und welche Felder immer an eine Person gehen. Legen Sie die Abnahmeschwelle danach fest, was Sie ein Fehler kostet, etwa ein doppelt bezahlter Schaden oder ein Konto, das für die falsche Person eröffnet wurde, und geben Sie sie der Firma schriftlich.

Der direkt darüber verlinkte Artikel über KI-Piloten, die nie in Produktion gingen, erklärt, wie man das Testset aufbaut.

Was passiert an unserem arbeitsreichsten Tag?

Manche Tage bringen weit mehr Akten als andere, etwa das Monatsende oder der Morgen nach einem Sturm. Ein System, das an einem durchschnittlichen Tag mithält, kann an einem solchen Tag in Rückstand geraten.

Suchen Sie in Ihren eigenen Aufzeichnungen den arbeitsreichsten Tag des letzten Jahres mit der Zahl der Akten heraus und bitten Sie die Firma zu erklären, wie ihr System ihn bewältigt hätte. Die Server gehören Ihnen, fragen Sie also auch, was nötig wäre, um an einem solchen Tag Kapazität hinzuzufügen, und wie lange das dauern würde.

Die Antwort sollte nennen, wie viele Akten pro Stunde das System auf den Servern verarbeiten kann, die Sie ihm geben werden, und wer angerufen wird, wenn Akten länger als eine Stunde gewartet haben. Akten sollten der Reihe nach warten, dringende Typen zuerst, und jemand auf Ihrer Seite sollte einen Dokumenttyp wieder auf manuelle Bearbeitung umstellen können. Keine Akte wird verworfen oder ungeprüft weitergereicht, um den Rückstau schneller abzubauen.

Was wird der Betrieb des Systems pro Monat kosten?

Betriebskosten kommen zum Entwicklungspreis hinzu und fallen an, solange das System läuft. Auf Ihren eigenen Servern bestehen sie aus mindestens vier Teilen:

• die Server, auf denen das Modell läuft
• die Leute, die das System überwachen und seine Alarme bearbeiten
• die Zeit, die Ihre Mitarbeiter für die Prüfung aufwenden
• die Arbeit, das System aktuell zu halten, wenn sich Modelle und Dokumente ändern

Lassen Sie sich von jeder Firma eine monatliche Schätzung mit schriftlich festgehaltenen Annahmen geben: Akten pro Monat, Seiten pro Akte, wie viele von jedem Typ und mit welchen Servern sie rechnet. Vergleichen Sie die Annahmen dann mit Ihrem tatsächlichen Volumen. Nennt eine Firma Betriebskosten ohne Annahmen, bitten Sie sie, diese aufzuschreiben, bevor Sie ihre Zahl mit denen anderer Firmen vergleichen.

Der Vertrag sollte auflisten, was die monatliche Supportgebühr der Firma nach dem Launch abdeckt, zum Beispiel ob die Anpassung des Systems an eine neue Dokumentvorlage enthalten ist oder gesondert abgerechnet wird.

Dieser Artikel nennt keine Preise, denn die Kosten hängen von Ihrem Volumen und Ihren Servern ab. Jede Firma sollte sie aus Ihren eigenen Zahlen berechnen.

Wer bemerkt es, wenn sich unsere Dokumente oder das Modell ändern?

Nach dem Launch werden sich Ihre Dokumente ändern, zum Beispiel wenn eine Partnerbank ihre Kontoauszüge neu gestaltet oder eine neue Produktlinie ein neues Formular mit sich bringt. Auch das Modell kann sich ändern, wenn eine neuere Version erscheint oder die Software, die es auf Ihren Servern ausführt, die alte nicht mehr unterstützt.

Wenn sich das Modell ändert, sollte das System vor der Umstellung erneut auf Ihrem Testset bewertet werden, Feld für Feld, und Sie sollten zurückwechseln können. Vereinbaren Sie im Voraus, wer jeden solchen Test bezahlt.

Wenn ab Dienstag jeder Kontoauszug einer Bank in die Prüfung geht oder ein Feld eine Woche lang falsch gelesen wird, zeigen die Bildschirme der Serverüberwachung weiterhin keinen Fehler an. Um das zu erkennen, sollte jemand auf Ihrer Seite jede Woche kontrollieren, welcher Anteil jedes Dokumenttyps in die Prüfung geht, und die Firma sollte sagen, was sie tut, wenn sich dieser Anteil ändert.

Was gehört uns am Ende, und wer betreibt das System, wenn die Firma gegangen ist?

Am Ende des Projekts sollten Sie alles haben, was Sie brauchen, um das System ohne die Firma zu betreiben und zu ändern. Dazu gehören der Code, die Prompts (die schriftlichen Anweisungen, denen das Modell folgt), das Testset mit seinen richtigen Antworten, die Skripte, die das System bewerten, und die Dokumentation. Nehmen Sie diese Liste in den Vertrag auf, zusammen mit den wiederverwendbaren Komponenten der Firma, jede namentlich genannt, und dem, was Sie mit ihnen tun dürfen.

Fragen Sie dann, wer das System auf Ihrer Seite betreibt. Die Firma sollte die Rolle beschreiben und erklären, was diese Person wissen muss, und die Schulung sollte vor dem Launch abgeschlossen sein. Lautet die Antwort „Wir betreiben es für Sie“, fragen Sie, was passiert, wenn der Vertrag endet, und was die Übergabe kostet.

Gilt die KI-Verordnung der EU (EU AI Act) für unser System?

Artikel 4 der KI-Verordnung der EU (EU AI Act) gilt seit dem 2. Februar 2025. In seiner aktuellen Fassung, festgelegt durch die Verordnung (EU) 2026/1744 vom Juli 2026, verpflichtet er Anbieter und Betreiber von KI-Systemen, Maßnahmen zu ergreifen, um die KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die die Systeme in ihrem Auftrag betreiben und nutzen. Ein bestimmtes Niveau an KI-Kompetenz verlangt er von keiner einzelnen Person.

Die Verordnung führt einige Anwendungen als hochriskant auf, darunter die Bewertung der Kreditwürdigkeit natürlicher Personen, ausgenommen die Aufdeckung von Finanzbetrug, sowie die Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen. Für diese Anwendungen legt Artikel 26 dem Unternehmen, das das System einsetzt, zusätzliche Pflichten auf, und nach der Änderung von 2026 gelten sie ab dem 2. Dezember 2027. Die menschliche Aufsicht wird dann Personen übertragen, die über „die erforderliche Kompetenz, Ausbildung und Befugnis“ verfügen, und das Unternehmen überwacht das System im Betrieb. Die vom System erzeugten Protokolle werden mindestens sechs Monate aufbewahrt, soweit sie der Kontrolle des Unternehmens unterliegen, es sei denn, anderes Recht bestimmt etwas anderes.

Banken, Versicherer und andere Finanzinstitute, die dem Finanzdienstleistungsrecht der EU unterliegen, erfüllen die Überwachungspflicht, indem sie ihre bestehenden Regeln zur internen Unternehmensführung einhalten, und sie bewahren die Protokolle zusammen mit der Dokumentation auf, die diese Regeln bereits verlangen.

Ob Ihr System unter diese Regeln fällt, ist eine Frage für Ihre Juristen, und dieser Artikel ist keine Rechtsberatung. In jedem Fall hilft es, Ihre Mitarbeiter zu schulen und die Person zu benennen, die das System auf Ihrer Seite betreibt.

Welche Antworten deuten darauf hin, dass eine Firma das noch nie gemacht hat?

• Die Firma nennt eine Genauigkeitszahl, ohne eine einzige Ihrer Akten gesehen zu haben
• Die Firma sagt, das Modell „kommt gut mit Randfällen zurecht“, und kann nicht sagen, wohin eine unlesbare Akte geht
• Der Plan sieht keine Review-Queue vor oder überlässt die Prüfung Ihren Mitarbeitern ohne Schätzung der Stunden
• Niemand bei der Firma kann sagen, was passiert, wenn mehr Akten eingehen, als das System bewältigen kann
• Die monatlichen Betriebskosten werden ohne die Volumina und Server genannt, von denen sie ausgehen
• Die Schulung Ihrer Mitarbeiter beginnt nach dem Launch oder überhaupt nicht

Wo passt amBrain ins Bild?

Das einzige Sprachmodell-Projekt, das amBrain öffentlich beschreibt, ist dieses: „Wir haben eine LLM-Integration innerhalb des FinTech-Perimeters eines Kunden in Produktion gebracht: die Extraktion und Normalisierung unstrukturierter Mitteilungen von Brokern und Handelsplätzen – Kapitalmaßnahmen, Instrumenten- und Margin-Änderungen – zu strukturierten Datensätzen, die das Handelssystem verarbeitet.“

Dieser Artikel ist keine Case Study, und der Kunde wird nicht genannt. Er sagt nicht, dass amBrain ein System für Schadenakten, Support-Tickets oder KYC-Unterlagen gebaut hat. Wo das Modell in diesem Projekt lief und welche der oben beschriebenen Vorgehensweisen dort zum Einsatz kamen, wird nicht offengelegt. Er nennt weder Preise noch Zeitpläne von amBrain.

amBrain entwickelt seit 2019 Software. Es beschreibt in einer Zeile, wie es mit Kunden arbeitet: „Drei Formate: vollständige Umsetzung, ein dediziertes Team oder in Ihr Team eingebettete Entwickler.“ Zum Eigentum lautet sein Satz: „Der Kunde behält das volle Eigentum an Produkt und Code, ausgenommen unsere wiederverwendbaren Komponenten.“ Verlangen Sie von amBrain die namentliche Liste dieser Komponenten, so wie Sie es bei jeder anderen Firma tun würden.

Steht amBrain auf Ihrer Shortlist, schicken Sie ihm dieselben schriftlichen Fragen wie den anderen Firmen.

Häufige Fragen

• Unser Pilot funktioniert schon. Gelten diese Fragen trotzdem? Ja. Ein Pilot zeigt meist, dass das System einen Teil Ihrer Akten lesen kann, über die übrigen Fragen oben verrät er wenig. Der ganz oben verlinkte Artikel über schlüsselfertige KI-Projekte erklärt, wie Sie die Arbeit bezahlen, die aus einem Piloten ein System macht, das Ihr Back Office betreiben kann
• Heißt der Betrieb auf unseren eigenen Servern, dass keine Daten an einen externen Modellanbieter gehen? Nur wenn jeder Schritt dort läuft. Bitten Sie die Firma, schriftlich festzuhalten, welches Modell wo läuft und ob irgendein Schritt einen externen Dienst aufruft, etwa ein gehostetes Modell oder einen Texterkennungsdienst
• Wer von unserer Seite sollte an diesen Terminen teilnehmen? Die Person, die heute das Back Office leitet, und jemand aus der IT, der der Firma ihre Zugänge geben wird und weiß, was Ihre Server leisten können