Erfolgskriterien für KI-Projekte definieren, bevor die erste Zeile Code entsteht

Drei Monate nach dem Go-live sitzt die Geschäftsführung zusammen und stellt die naheliegende Frage: Hat sich das KI-Projekt gelohnt? In erstaunlich vielen Unternehmen folgt darauf Schweigen. Das System läuft, die Mitarbeiter nutzen es mehr oder weniger, der Dienstleister ist bezahlt. Aber ob der Aufwand sich rechnet, kann niemand belegen, weil vor dem Projekt nie festgelegt wurde, woran Erfolg überhaupt erkennbar sein soll.

Erfolgskriterien für KI-Projekte gehören an den Anfang, nicht ans Ende. Wer sie erst nach dem Go-live sucht, findet vor allem Rechtfertigungen. Wer sie vor der ersten Zeile Code definiert, bekommt drei Dinge: eine Entscheidungsgrundlage für oder gegen das Projekt, ein Steuerungsinstrument während der Umsetzung und einen fairen Maßstab für die Abnahme. Der Aufwand dafür ist überschaubar, verlangt aber Disziplin an einer Stelle, an der viele lieber schnell loslegen würden.

Drei Arten von Kriterien, die man nicht vermischen sollte

In der Praxis hilft es, drei Kategorien sauber zu trennen, weil sie unterschiedlich gemessen werden und unterschiedliche Fragen beantworten.

• Qualitätskriterien beschreiben, wie gut das System seine Aufgabe erledigt: Wie oft ist eine Klassifikation korrekt, wie oft muss eine generierte Antwort nachbearbeitet werden, wie oft greift ein Mensch ein. Sie sagen etwas über das System selbst.
• Zeitersparnis beschreibt, was die Nutzer davon haben: Wie viel schneller ist ein Vorgang mit dem System als ohne. Sie ist das Bindeglied zwischen Technik und Wirtschaftlichkeit.
• Prozesskennzahlen beschreiben die Wirkung auf das Geschäft: Durchlaufzeit eines Auftrags, Rückstand im Posteingang, Reaktionszeit auf Kundenanfragen. Sie sind das, was die Geschäftsführung am Ende interessiert.

Die Vermischung dieser Ebenen ist der häufigste Fehler. Ein System kann hohe Qualität liefern und trotzdem keine Zeit sparen, etwa weil die Mitarbeiter jedem Ergebnis misstrauen und alles nachprüfen. Umgekehrt kann eine Prozesskennzahl sich verbessern, ohne dass das KI-System die Ursache ist. Wer alle drei Ebenen getrennt festhält, kann später sagen, wo es hakt.

Die Baseline: messen, bevor irgendetwas gebaut wird

Der zweite häufige Fehler ist das Fehlen einer Baseline. Eine Aussage wie: das System spart Zeit, ist nur prüfbar, wenn man weiß, wie lange der Vorgang vorher gedauert hat. Genau diese Zahl fehlt fast immer, weil sie niemand erhoben hat, solange der Prozess unauffällig lief.

Eine Baseline muss kein Messlabor sein. Für die meisten Vorhaben genügt es, vor Projektstart über zwei bis vier Wochen einige einfache Werte festzuhalten: Wie viele Vorgänge fallen an, wie lange dauert ein typischer Vorgang, wie viele davon sind fehlerhaft oder müssen nachbearbeitet werden, wo staut es sich. Wichtig ist, dass dieselben Personen mit derselben Methode messen, die später auch den Zustand nach Einführung erheben. Und wichtig ist der Zeitpunkt: Nach dem Go-live lässt sich der alte Zustand nicht mehr rekonstruieren, jede nachträgliche Schätzung ist angreifbar.

Die Baseline hat einen willkommenen Nebeneffekt. Manchmal zeigt sie, dass das Problem kleiner ist als gedacht, oder dass es an einer ganz anderen Stelle sitzt. Dann hat die Messung ein teures Projekt verhindert, bevor es begonnen hat.

Weiche Kriterien messbar machen statt weglassen

Nutzerzufriedenheit, Vertrauen in die Ergebnisse, empfundene Entlastung: Solche Kriterien gelten als weich und fallen deshalb oft unter den Tisch. Das ist ein Fehler, denn gerade an ihnen scheitern KI-Einführungen. Ein System, das niemand gern benutzt, wird umgangen, und alle harten Kennzahlen bleiben Theorie.

Weiche Kriterien lassen sich messbar machen, wenn man sie in beobachtbares Verhalten übersetzt. Statt zu fragen, ob die Mitarbeiter zufrieden sind, misst man: Wie viele der berechtigten Nutzer verwenden das System nach vier Wochen noch regelmäßig. Wie oft wird ein Vorschlag des Systems übernommen, wie oft verworfen. Dazu eine kurze, wiederkehrende Befragung mit immer denselben drei bis fünf Fragen, damit sich eine Entwicklung ablesen lässt. Die absolute Zahl ist dabei weniger wichtig als der Trend über die Zeit.

Erfolgskriterien in den Vertrag bringen, ohne Scheingenauigkeit

Wenn ein Dienstleister beteiligt ist, gehören die Erfolgskriterien in die Vereinbarung. Dabei ist Augenmaß gefragt. Es ist verlockend, dem Anbieter eine exakte Zielquote als harte Zusage abzuverlangen. Seriöse Anbieter werden das vor einer Erprobung mit echten Daten nicht unterschreiben, denn die erreichbare Qualität hängt wesentlich von den Daten des Auftraggebers ab, die zu Vertragsbeginn niemand vollständig kennt.

Praktikabler ist ein zweistufiges Vorgehen. In einer ersten Phase wird auf einer repräsentativen Stichprobe echter Fälle gemessen, was das System erreicht. Auf dieser Grundlage werden dann die Abnahmekriterien für die Umsetzungsphase fixiert: welche Qualität auf welchem Prüfdatensatz, gemessen mit welcher Methode, von wem festgestellt. Entscheidend ist weniger die konkrete Zahl als die Klarheit des Verfahrens. Ein Kriterium, über dessen Messung man sich später streiten kann, ist keines. Und wer merkt, dass er bei der dritten Nachkommastelle angekommen ist, hat die Grenze zur Scheingenauigkeit bereits überschritten. Die Messmethode muss so grob oder so fein sein wie die Entscheidung, die von ihr abhängt.

Fazit

Erfolgskriterien für KI-Projekte sind kein Formalismus, sondern die Grundlage jeder späteren Aussage über den Nutzen. Der Weg ist unspektakulär: Qualität, Zeitersparnis und Prozesswirkung getrennt definieren, vor Projektstart eine einfache Baseline erheben, weiche Kriterien in beobachtbares Verhalten übersetzen und das Messverfahren mit dem Dienstleister vertraglich festhalten, bevor die Zielwerte fixiert werden. Wer diese Hausaufgaben macht, kann nach drei Monaten die Frage der Geschäftsführung beantworten. Und wer sie nicht macht, sollte sich nicht wundern, wenn die Antwort ein Bauchgefühl bleibt.