Reparieren, zu einem Managed Service wechseln oder neu bauen: Was jeder Weg kostet, wenn Ihre Ad-Event-Pipeline bei Spitzenlast Events verliert

Wenn Ihre Ad-Event-Pipeline bei Spitzenlast Impressions und Klicks verliert, gibt es drei Auswege. Sie können die undichten Stellen reparieren, die Server, die die Events transportieren und speichern, oft Kafka und ClickHouse, zu einem Managed Service verlagern oder die Pipeline mit einer externen Firma neu bauen. Der Weg entscheidet auch darüber, wen Sie beauftragen. Für eine Reparatur brauchen Sie Entwickler, die in Ihrem Team arbeiten, für einen Neubau dagegen eine Firma, die eine komplette Pipeline liefern und übergeben kann. Beziffern Sie vor der Wahl, was die Abweichung zwischen Ihren Attributions-Reports und Ihren Bidder-Logs pro Jahr kostet. Vergleichen Sie dann jeden Weg nach Kosten, nach der Kontrolle, die Ihnen bleibt, und danach, wie schnell die Zahlen, nach denen Sie abrechnen, wieder stimmen.

Was kostet uns die Abweichung zwischen unseren Attributions-Reports und den Bidder-Logs?

Der größte Teil der Kosten zeigt sich in Rechnungen, beginnen Sie also dort. Nehmen Sie einen Monat und legen Sie drei Zählungen nebeneinander: die Impressions, die Sie Advertisern in Rechnung gestellt haben, die Impressions, die jede Exchange Ihnen in Rechnung gestellt hat, und die gewonnenen Auktionen, die Ihr Bidder protokolliert hat.

Die Exchange entscheidet, wofür Sie bezahlen. OpenRTB 2.6, der Standard des IAB Tech Lab, über den Exchanges und Bidder Werbeplätze in Echtzeit handeln, sagt, dass die Exchange eine Abrechnungsmitteilung sendet, „wenn ein gewinnendes Gebot auf Grundlage der exchange-spezifischen Geschäftsrichtlinien abrechenbar wird“. Jede Exchange stellt Ihnen nach ihrer eigenen Richtlinie und auf Basis ihrer eigenen Aufzeichnungen Rechnungen, während Ihre Advertiser auf Basis Ihrer Reports abgerechnet werden. Jede Impression, die Ihre Pipeline verliert, wurde bezahlt und nie in Rechnung gestellt. Eine doppelt gezählte Impression wird doppelt in Rechnung gestellt, und Sie zahlen sie als Gutschrift zurück, wenn die eigene Zählung des Advertisers davon abweicht.

Nehmen Sie runde Zahlen, keine echten Daten eines Unternehmens. Eine Plattform kauft 500 Millionen Impressions pro Monat und verkauft sie für 2 US-Dollar pro tausend Impressions an Advertiser weiter. Verliert sie 3 Prozent der Impression-Events, werden 15 Millionen Impressions nicht in Rechnung gestellt. Das sind 30.000 US-Dollar pro Monat oder 360.000 US-Dollar pro Jahr, Duplikate und Gutschriften noch nicht eingerechnet.

Zwei weitere Kostenposten lassen sich schwerer beziffern. Der eine sind die Stunden, die Ihre Leute jeden Monat damit verbringen, Advertisern und Exchanges Differenzen zu erklären. Der andere sind Gebote, die auf Basis unvollständiger Daten abgegeben werden. Notieren Sie beide neben der Summe.

Die Jahressumme ist ungefähr das Maximum, das ein Weg kosten sollte. Ein Weg, der mehr kostet als die Abweichung, die er beseitigt, braucht einen anderen Grund, etwa Traffic-Wachstum, das die heutige Pipeline nicht tragen kann.

Teilen Sie die Abweichung auf, bevor Sie die Wege durchrechnen. Der Artikel über Reports, die nicht mit den Bidder-Logs übereinstimmen, beschreibt die Nachzählung: Sie ordnet jede gewonnene Auktion in Ihren Bidder-Logs über ihre Auktions-ID einer Impression in Ihren Reports zu, also über die ID, die jede Exchange einer Auktion mitgibt. Die Nachzählung zeigt, welcher Teil der Abweichung auf verlorene Events zurückgeht und welcher daher kommt, dass beide Seiten nach unterschiedlichen Regeln zählen. Unterschiedliche Regeln beheben Sie, indem Sie sich auf ein gemeinsames Regelwerk einigen und es in jeder Pipeline anwenden, die Sie betreiben. Ein Managed Service oder eine neue Pipeline ändert die Zählregeln nicht.

Wie viel Geld kostet jeder Weg?

Eine Reparatur und ein Neubau werden überwiegend als Projekte bezahlt. Ein Managed Service bringt zusätzlich jeden Monat eine Rechnung, solange Sie ihn nutzen.

Die bestehende Pipeline zu reparieren kostet Entwicklungszeit, entweder die Ihrer eigenen Entwickler oder die externer Entwickler, die in Ihrem Team arbeiten. Ein neues Abonnement kommt nicht hinzu. Planen Sie eine zweite Runde von Korrekturen ein, denn die erste Phase hoher Last nach den Korrekturen zeigt oft den nächsten Teil, der nicht mithalten kann.

Ein Managed Service stellt jeden Monat eine Rechnung, und ein Teil davon wird pro Gigabyte an Events berechnet, folgt also Ihrem Traffic. Alles außerhalb der Server des Anbieters betreiben weiterhin Ihre Entwickler. Amazon MSK Serverless ist eine Variante des Managed Service von AWS für Kafka, die Queue, in der Events zwischen der Erfassung und der Datenbank liegen. Die Preisseite dazu, abgerufen am 14. Oktober 2026, nennt einen Stundensatz für jeden Cluster, also jede separate Installation des Dienstes, und für jede Partition, also einen Abschnitt der Queue. Hinzu kommen eine Gebühr für jedes Gigabyte, das in die Queue geschrieben wird, und für jedes Gigabyte, das aus ihr gelesen wird, sowie ein Preis für Speicherplatz. Jedes zusätzliche Programm, das dieselben Events liest, etwa eine tägliche Nachzählung gegen Ihre Bidder-Logs, erhöht also die Rechnung.

Rechnen Sie den Weg über einen Managed Service mit dem Traffic durch, den Sie im nächsten Jahr für Ihren Monat mit der höchsten Last erwarten, und prüfen Sie diesen Traffic gegen die Limits des Anbieters. Ein Cluster von MSK Serverless zum Beispiel bremst Schreibvorgänge oberhalb von 200 Megabyte pro Sekunde, laut der Seite zu seinen Kontingenten, abgerufen am 14. Oktober 2026.

Beim Neubau fließt das meiste Geld in das Projekt selbst. Rechnen Sie die Monate hinzu, in denen alte und neue Pipeline parallel laufen, sowie die Stunden Ihrer eigenen Leute für die Prüfung und Abnahme der Arbeit. Nach der Übergabe muss jemand die neue Pipeline betreiben, und der Vertrag sollte festlegen, wer. Bitten Sie jede Firma, denselben Umfang schriftlich zu bepreisen, einschließlich des Parallelbetriebs, damit Sie die Angebote Posten für Posten nebeneinanderlegen können.

Wie viel Kontrolle lässt uns jeder Weg?

Ein Managed Service nimmt Ihnen einen Teil der Kontrolle, angefangen bei Ihrem Kalender. Nach der Richtlinie zur Versionsunterstützung von MSK gilt: Ein Cluster, der nach dem Ende des Supports für seine Kafka-Version noch auf dieser Version läuft, „wird automatisch auf die empfohlene Kafka-Version aktualisiert“. Die Richtlinie fügt hinzu: „Sie erhalten vor dem Upgrade keine Benachrichtigung.“ Planen Sie Ihre eigenen Upgrades vor diesen Terminen, oder akzeptieren Sie den Zeitplan des Anbieters. Ein späterer Ausstieg ist eine eigene Migration. Die Daten werden in Systeme kopiert, die Sie anderswo betreiben, und jedes Programm, das sie schreibt oder liest, wird umgestellt.

Eine Reparatur der bestehenden Pipeline lässt Ihnen die volle Kontrolle über die Pipeline. Wer die Korrekturen gemacht hat, weiß, wie sie funktionieren. Sind einige davon externe Auftragnehmer, verlangen Sie deshalb vor ihrem Weggang eine schriftliche Notiz zu jeder Korrektur.

Bei einem Neubau haben Sie genau so viel Kontrolle, wie der Vertrag Ihnen gibt. Der Vertrag sollte festhalten, dass der Code Ihrem Unternehmen gehört und vom Beginn der Arbeit an in den Konten Ihres Unternehmens liegt. Die Designdokumente sollten mit dem Code geliefert werden, zusammen mit Runbooks, also den schriftlichen Anleitungen für den Umgang mit jedem Alarm. Ihre Entwickler sollten außerdem beginnen, auf die Alarme der neuen Pipeline zu reagieren, solange die externe Firma noch am Projekt arbeitet.

Mit welchem Weg stimmen die Zahlen, nach denen wir abrechnen, am schnellsten wieder?

Eine Reparatur der bestehenden Pipeline lässt sich bei der nächsten Spitze prüfen, indem Sie die stündlichen Zählungen an jedem Schritt der Pipeline vorher und nachher vergleichen. Ein Wechsel zu einem Managed Service dauert länger, weil Daten kopiert werden, jedes Programm, das Events schreibt oder liest, umgestellt wird und beide Systeme parallel laufen, bis ihre Zählungen übereinstimmen. Lecks außerhalb der Server des Anbieters müssen trotzdem behoben werden, zum Beispiel im Collector, dem Programm, das Events von Browsern und Apps empfängt. Ein Neubau dauert am längsten. Beide Pipelines laufen mindestens einen vollen Abrechnungszeitraum lang mit denselben Events, bevor die Reports, nach denen Sie abrechnen, umgestellt werden, wie der Artikel über Reports, die nicht mit den Bidder-Logs übereinstimmen, erklärt.

Wie wählen wir anhand unserer eigenen Daten einen Weg?

Vier Antworten entscheiden den größten Teil der Wahl. Die ersten drei stammen aus Aufzeichnungen, die Sie bereits führen, und für die vierte brauchen Sie unter Umständen einen Test.

• Welcher Teil der Abweichung geht auf verlorene Events zurück, welcher auf Zählregeln? Die Nachzählung liefert die Aufteilung
• An welchen Schritten gehen Events bei Spitzenlast verloren? Stündliche Zählungen an jedem Schritt, vom Collector bis zur Datenbank, zeigen, wo die Zählung einbricht
• Wohin sind die Pipeline-Stunden Ihrer Entwickler im letzten Quartal geflossen? Sortieren Sie die Tickets und Alarme nach Zeit, die in den Betrieb der Server ging, und Zeit, die in die Behebung von Zähl- oder Datenproblemen ging
• Welchen Traffic muss die Pipeline in zwölf Monaten tragen? Spielen Sie einen aufgezeichneten Tag Ihres eigenen Traffics mit dieser Rate erneut ein und prüfen Sie, ob die Pipeline standhält

Nebeneinander sehen die drei Wege so aus.

• Reparatur der bestehenden Pipeline. Entwicklungsstunden, volle Kontrolle und Ergebnisse, die Sie bei der nächsten Spitze prüfen können
• Managed Service. Eine monatliche Rechnung, die dem Traffic folgt, Upgrades nach dem Kalender des Anbieters und Ergebnisse nach einer Migration
• Neubau mit einer externen Firma. Ein Projekt plus Monate im Parallelbetrieb, Kontrolle über den Vertrag und Ergebnisse nach mindestens einem vollen Abrechnungszeitraum

Um die Wege zu vergleichen, addieren Sie für jeden davon seine Kosten in den nächsten zwölf Monaten und den monatlichen Preis der Abweichung mal die Zahl der Monate, bis dieser Weg sie schließt. Vergleichen Sie die Summen nur zwischen Wegen, die die tatsächlich gefundenen Verluste beseitigen können. Eine verwaltete Datenbank hilft nicht, wenn Events verloren gehen, bevor sie die Datenbank erreichen. Ein Neubau hilft nicht, wenn die Abweichung daher kommt, dass beide Seiten den Tag zu unterschiedlichen Uhrzeiten abschließen.

Können wir die Wege kombinieren?

Oft mischt der günstigste Plan die drei Wege, und zwar in einer festen Reihenfolge. Einigen Sie sich zuerst auf die Zählregeln, denn sie gelten unabhängig davon, was darunter läuft. Beheben Sie danach die Lecks, die Sie konkret benennen können. Entscheiden Sie über Server und Design zuletzt, wenn einige Wochen sauberer stündlicher Zählungen zeigen, was übrig bleibt.

Ein Neubau muss nicht bedeuten, eigene Server zu betreiben. Eine neue Pipeline kann auf einer verwalteten Queue und einer verwalteten Analysedatenbank aufsetzen, und manche Anbieter betreiben auch den Loader, also den Schritt, der Events aus der Queue in die Datenbank schreibt. ClickHouse Cloud, die gehostete Version der Datenbank ClickHouse, bietet dafür ClickPipes an. Die Dokumentation bezeichnet ClickPipes als „eine verwaltete Integrationsplattform“ und führt Kafka und AWS MSK unter den Quellen auf. Die externe Firma baut dann, was für Ihre Plattform spezifisch ist, etwa die Zählregeln und die tägliche Nachzählung gegen Ihre Bidder-Logs, dazu den Collector und einen Loader überall dort, wo keine verwaltete Option passt.

Was sollte das Angebot einer externen Firma zeigen?

Welchen Weg eine Firma auch vorschlägt, ihr Angebot sollte sich an Ihren eigenen Daten überprüfen lassen. Fragen Sie nach den Prüfungen, die zum jeweiligen Weg passen.

• Zählungen an jedem Schritt aus Ihrer Spitzenstunde, vor und nach jeder Korrektur, die die Firma vorschlägt
• Die Rechnung für Ihren Monat mit der höchsten Last beim Traffic des nächsten Jahres, die Teile, die Sie weiterhin selbst betreiben, und wie Sie den Anbieter wieder verlassen würden
• Zahlungen, die an eine tägliche Nachzählung gegen Ihre Bidder-Logs geknüpft sind, die innerhalb einer vereinbarten Abweichung bleibt, mit der Dauer des Parallelbetriebs und dem Datum, an dem Ihre Entwickler die Alarme übernehmen

Baut amBrain Ad-Event-Pipelines?

amBrain baut Event-Analytics-Pipelines für AdTech: Erfassung, Verarbeitung und Reporting von Impression- und Klick-Events. Im Bereich AdTech arbeitet amBrain außerdem an DSP-Entwicklung, Real-Time-Bidding-Plattformen und Ad-Exchange-Engineering, und RTBBidder ist eine Demand-Side-Platform, die amBrain für einen Kunden gebaut hat.

amBrain diagnostiziert langsame Trading- und AdTech-Systeme: Die laufende Plattform wird durchgängig vermessen, und der Bericht benennt, wohin die Zeit geht.

amBrain entwickelt seit 2019 Software. Es arbeitet in drei Formaten: vollständige Umsetzung, ein dediziertes Team oder in Ihr Team eingebettete Entwickler. Zum Eigentum lautet sein Satz: „Der Kunde behält das volle Eigentum an Produkt und Code, ausgenommen unsere wiederverwendbaren Komponenten.“

Nichts hier beschreibt die Pipeline eines Kunden. Amazon MSK, Kafka, ClickHouse und ClickPipes werden als verbreitete Beispiele genannt, und amBrain behauptet nicht, sie eingesetzt oder eine Pipeline zu einem Managed Service migriert zu haben. Der Artikel nennt weder Preise noch Zeitpläne von amBrain, und die Dollarbeträge oben sind ein erfundenes Beispiel.

Wenn Sie mit amBrain sprechen, beginnen Sie mit den jährlichen Kosten Ihrer Abweichung und den stündlichen Zählungen Ihres Tages mit der höchsten Last.

Häufige Fragen zur Reparatur oder zum Neubau einer Ad-Event-Pipeline

• Wie lange sollten wir Korrekturen versuchen, bevor wir uns für einen Neubau entscheiden? Über die erste Spitze nach den Korrekturen hinweg und über eine zweite Runde, falls sich der Einbruch nur zum nächsten Schritt verschoben hat. Bricht die Zählung an einem Schritt, den Sie bereits repariert haben, erneut ein, oder hinterlässt die zweite Runde bei der folgenden Spitze einen neuen Einbruch, halten die Korrekturen mit Ihrem Traffic nicht Schritt. Dann gehört ein Neubau auf den Tisch
• Kann die Firma, die die Pipeline neu baut, sie danach auch betreiben? Das lässt sich vereinbaren, wenn der Vertrag festlegt, wer auf Alarme reagiert und wie schnell. Behalten Sie Ihre eigenen Entwickler trotzdem im Bereitschaftsplan für Alarme, damit die Pipeline nach dem Ende des Vertrags nicht ohne jemanden dasteht, der sie kennt