KI-Ablauf im Betrieb überwachen und warten

Warum ein KI-Ablauf anders altert als gewöhnliche Software

Klassische Software läuft oder fällt aus. Ein Ablauf mit Sprachmodell hat einen dritten Zustand: Er läuft und wird dabei schlechter. Die Ausgaben sind weiter vollständig, im richtigen Format und pünktlich, aber sie treffen die Regeln seltener, werden länger, weicher oder an einer Stelle falsch. Eine Überwachung, die nur fragt, ob der Ablauf läuft, sieht davon nichts.

Die Ursachen sind fast immer dieselben fünf:

Das Modell: Anbieter verbessern ihre Modelle, ändern das Verhalten einer Version oder stellen ältere Versionen zu angekündigten Terminen ein.
Die Eingangsdaten: neue Produktgruppen, ein anderes Datenblatt-Format, mehr Anfragen in einer Sprache, die vorher selten war.
Die angebundenen Systeme: eine neue Version der Schnittstelle, ein umbenanntes Feld im CRM, ein geändertes Abfragelimit.
Die Regeln: eine neue Rechtslage, eine neue Markensprache, ein neuer Pflichtbegriff.
Menge und Kosten: mehr Vorgänge, längere Eingaben, ein geänderter Preis je Anfrage.

Keine dieser Ursachen ist ein Fehler im eigentlichen Sinn. Sie gehören zum Betrieb wie der Ölwechsel zur Maschine. Deshalb braucht jeder Ablauf eine Überwachung auf zwei Ebenen: Läuft er technisch? Und ist das Ergebnis fachlich noch so gut wie bei der Abnahme?

Die Kennzahlen eines KI-Ablaufs

Die folgende Tabelle ist die Liste, mit der wir einen Ablauf in den Betrieb übergeben. Nicht jeder Ablauf braucht jede Zeile, aber jede Zeile, die fehlt, sollte eine bewusste Entscheidung sein. Die Schwellen legen Sie je Ablauf fest, aus den Werten des Parallelbetriebs.

Die Kennzahlen eines KI-Ablaufs
Kennzahl	Was sie zeigt	Reaktion bei Abweichung
Durchsatz: Vorgänge je Lauf oder Tag	Ob der Eingang ankommt und der Ablauf ihn vollständig abarbeitet	Quelle prüfen: leeres Postfach, abgelaufener Zugang, geänderter Export
Technische Fehlerquote	Abbrüche, Zeitüberschreitungen, Schnittstellenfehler	Wiederholen, drosseln, Status des Anbieters prüfen; bei Dauer den Ablauf anhalten
Ablehnungsquote der Prüfschritte	Anteil der Ausgaben, die automatische Prüfungen nicht bestehen	Steigt sie, hat sich Modell oder Eingang verändert. Stichprobe ansehen, Regel oder Anweisung nachschärfen
Vorlagequote	Anteil der Fälle, die der Ablauf einem Menschen vorlegt	Steigt sie, greifen Regeln nicht mehr. Fällt sie deutlich, ebenso prüfen: Vielleicht entscheidet der Ablauf, was er vorlegen sollte
Korrekturquote bei der Freigabe	Anteil der Ausgaben, die Menschen vor der Freigabe ändern	Das beste Qualitätssignal. Nur für den Ablauf insgesamt erheben, nicht je Person
Formatmerkmale	Länge, Sprache, Pflichtbegriffe, Zeichenfehler im Verlauf	Verschiebt sich die Verteilung, hat sich das Verhalten des Modells geändert, oft vor allen anderen Kennzahlen
Abweichung vom Referenzsatz	Wie der Ablauf einen festen Satz bereits geprüfter Fälle heute bearbeitet	Regelmäßig und bei jedem Modellwechsel neu rechnen; Abweichungen einzeln ansehen
Stichprobe	Menschliche Prüfung einer kleinen Zahl zufälliger Ausgaben je Woche	Fängt, was keine Regel abbildet. Ergebnisse als neue Regeln oder Referenzfälle aufnehmen
Laufzeit je Vorgang	Ob der Ablauf in seinem Zeitfenster fertig wird	Lastverteilung, Zwischenspeicher, Modellwahl prüfen
Kosten je Vorgang	Modellkosten im Verhältnis zur Menge	Längere Eingaben, Wiederholungsschleifen oder ein neuer Preis; Ursache klären, bevor die Rechnung kommt
Kontingente der angebundenen Systeme	Verbrauch von Abfragelimits in CRM, ERP oder Schnittstellen	Zwischenspeicher, Drosselung, Zeitfenster anpassen
Ankündigungen der Anbieter	Abkündigungstermine von Modellversionen, Änderungen an Schnittstellen	Kein Messwert, sondern ein Termin im Kalender mit Vorlauf für den Wechsel

Die Szene vom Anfang hätte die Zeile Formatmerkmale nach wenigen Tagen gezeigt: Die mittlere Länge der Meta-Beschreibungen steigt, der Anteil über der Grenze wächst. Ein Prüfschritt, der zu lange Texte ablehnt, hätte sie gar nicht erst online gelassen.

Melden, was abweicht, nicht berichten, was läuft

Eine Überwachung, die jeden Morgen zwanzig Meldungen schickt, wird nach zwei Wochen nicht mehr gelesen. Gute Überwachung schweigt, solange alles im Rahmen ist, und meldet die Abweichung, einmal, an die richtige Stelle. Drei Regeln haben sich bewährt:

Meldungen drosseln: Bei einem Ersatzteilhändler ist die Fehlermeldung auf eine pro Stunde je Fehlerart gedrosselt, ein Dashboard im Backend zeigt den Stand, ein Wochenbericht kommt freitags.
Änderungen melden, nicht Zustände: In unserem eigenen Betrieb meldete eine nächtliche Prüfung bei einem Hoster jede Nacht denselben bekannten Fehler. Seit sie auf Änderungen statt Zustände umgestellt ist, meldet sie nur noch Neues. Nachzulesen in der Fallstudie zu unserem eigenen Betrieb.
Einen Stoppschalter vorsehen: Wer eine Abweichung sieht, muss den Ablauf anhalten können, ohne etwas zu zerstören. Beim selben Kunden hält ein Stoppschalter den wöchentlichen Rollout an; laufen Prüfungen nach dem Einfügen nicht durch, gibt es ein bitgleiches Rollback statt einer Veröffentlichung.

Wenn sich das Modell ändert

Modellwechsel sind kein Ausnahmefall, sondern planbar. Anbieter kündigen das Ende einer Modellversion in der Regel mit Vorlauf an, und neue Modelle sind oft besser oder günstiger. Der Wechsel selbst ist ein kleiner Umbau mit festem Ablauf:

Version festschreiben: Der Ablauf nutzt eine benannte Modellversion, nicht "die neueste". So ändert sich nichts ohne Ihre Entscheidung.
Referenzsatz bereithalten: einige hundert Fälle mit geprüften, freigegebenen Ergebnissen aus dem Parallelbetrieb, typische Fälle und die schwierigen.
Neues Modell gegen den Referenzsatz laufen lassen: mit denselben Regeln und Prüfschritten, Kennzahlen nebeneinander.
Regeln und Anweisungen anpassen: Neue Modelle reagieren auf dieselbe Anweisung oft anders. Jede Änderung wird versioniert.
Stichprobe durch die Fachabteilung: Die Menschen, die heute freigeben, sehen sich eine Auswahl an, bevor umgestellt wird.
Umstellen mit Rückweg: Die bisherige Version bleibt lauffähig, solange der Anbieter sie anbietet.
Dokumentieren: Die Modellversion steht im Protokoll je Vorgang. Wer später fragt, warum ein Text so lautet, sieht auch, welches Modell ihn erzeugt hat.

Derselbe Weg gilt, wenn Sie den Anbieter wechseln, etwa weil ein Modell in einem europäischen Rechenzentrum verfügbar wird oder ein Anbieter seine Bedingungen ändert. Modelle sind austauschbar; was bleibt, sind Regeln, Prüfschritte und Referenzsatz. Ändert sich dabei die Betriebsart, gehört der Wechsel vorher zu Ihrem Datenschutz, denn Auftragsverarbeitung und Datenort ändern sich mit. Welche Betriebsart für welche Daten passt, beschreibt der Artikel über die drei Betriebsarten. Ob ein Modellwechsel dem Betriebsrat erneut vorgelegt werden muss, regeln Sie am besten vorab in der Betriebsvereinbarung; wie, steht im Artikel KI einführen mit dem Betriebsrat.

Wer im Betrieb wofür zuständig ist

Überwachung ohne Zuständigkeit erzeugt Meldungen, die niemand bearbeitet. Jeder Ablauf braucht drei benannte Rollen:

Fachlich verantwortlich bei Ihnen: entscheidet über Regeln, Freigaben und Ausnahmen, bekommt fachliche Abweichungen.
Technischer Betrieb: bekommt technische Meldungen, hält Zugänge, Schnittstellen und Modellversionen aktuell. Das ist Ihre IT oder ein Dienstleister.
Eskalation: wer den Ablauf anhalten darf, wenn etwas schiefläuft, und wer danach entscheidet, wann er wieder läuft.

Dazu gehört eine kurze Betriebsanleitung je Ablauf: welche Meldung was bedeutet und was dann zu tun ist. Sie ist Teil unserer Übergabe, zusammen mit Code, Regeln und Dokumentation, die Ihnen gehören. Ihre IT kann den Betrieb damit selbst übernehmen. Wer das nicht will, bucht die laufende Begleitung: Überwachung aller Abläufe mit Bericht, Anpassung, wenn sich Modelle, Systeme oder Regeln ändern, Reaktion am nächsten Werktag und bei Ausfall am selben Tag, monatlich kündbar. Umfang und Konditionen stehen unter Vorgehen und Preise, die Anbindungen an CRM, ERP und PIM unter Systeme.

Was rechtlich zur Überwachung gehört

Für die meisten Abläufe, Texte, Daten, Anfragen, schreibt die KI-Verordnung keine bestimmte Überwachung vor; sie gelten als Systeme mit minimalem Risiko. Anders bei Hochrisiko-Systemen nach Anhang III, etwa im Personalbereich: Hier verpflichtet Artikel 26 den Betreiber, den Betrieb zu überwachen und die automatisch erzeugten Protokolle mindestens sechs Monate aufzubewahren, soweit sie unter seiner Kontrolle stehen. Den Anbieter verpflichtet Artikel 72 zu einer Beobachtung nach dem Inverkehrbringen. Für die Protokolle selbst gilt die DSGVO: Sie sollten Kennungen enthalten, keine Inhalte, und nach dem Grundsatz der Speicherbegrenzung in Artikel 5 Absatz 1 Buchstabe e nur so lange aufbewahrt werden, wie sie gebraucht werden. Dieser Artikel gibt den Stand Oktober 2026 wieder und ersetzt keine Rechtsberatung.

Was das für Sie heißt

Ein KI-Ablauf ist mit der Abnahme nicht fertig, sondern in Betrieb. Fragen Sie vor jedem Umbau, nicht danach: Welche Kennzahlen werden überwacht, wer bekommt welche Meldung, gibt es einen Referenzsatz und einen Stoppschalter, und wer übernimmt den Modellwechsel, wenn der Anbieter eine Version einstellt? Wenn Sie schon einen KI-Ablauf im Haus haben und diese Fragen nicht beantworten können, oder einen planen und sie von Anfang an richtig stellen wollen, sprechen Sie 30 Minuten mit uns: Gespräch vereinbaren.

KI-Betrieb und Überwachung: wie ein Ablauf nach dem Projekt überwacht wird, und was passiert, wenn sich das Modell ändert