KI-Dienstleister steuern: Verträge, Meilensteine und Abnahmekriterien

Ein Unternehmen ohne eigene KI-Expertise beauftragt einen Dienstleister, der genau diese Expertise verkauft. Damit entsteht ein strukturelles Ungleichgewicht: Der Auftragnehmer versteht den Gegenstand des Vertrags besser als der Auftraggeber. Bei klassischer Software ist das schon unangenehm, bei KI-Projekten wiegt es schwerer, weil sich die Qualität eines Zwischenstands schlechter beurteilen lässt. Eine Demo mit fünf handverlesenen Beispielen sieht beeindruckend aus, sagt aber fast nichts darüber, wie das System mit dem echten Posteingang umgeht.

Wer einen KI-Dienstleister steuern will, braucht deshalb keine eigene KI-Abteilung, sondern die richtigen Mechanismen im Vertrag und im Projektverlauf. Die gute Nachricht: Diese Mechanismen sind unspektakulär und verlangen vor allem Konsequenz. Die schlechte Nachricht: Sie müssen vor der Unterschrift vereinbart werden, denn nachträglich lassen sie sich kaum noch durchsetzen.

Meilensteine mit vorzeigbaren Zwischenergebnissen

Das wichtigste Steuerungsinstrument ist die Struktur des Projekts selbst. Ein Angebot, das viele Wochen Umsetzung am Stück vorsieht und am Ende ein fertiges System verspricht, verlagert das gesamte Risiko zum Auftraggeber. Sinnvoll ist das Gegenteil: kurze Abschnitte, an deren Ende jeweils etwas steht, das der Fachbereich selbst ausprobieren kann.

Ein bewährter Zuschnitt sieht so aus. Erster Meilenstein: Das System läuft auf einer Stichprobe echter Fälle des Auftraggebers, und die Ergebnisse werden gemeinsam durchgesehen, ungeschönt, inklusive der Fehler. Zweiter Meilenstein: Die Schwachstellen aus dieser Durchsicht sind bearbeitet, und eine größere Stichprobe bestätigt die Verbesserung. Dann erst folgen Integration, Testbetrieb mit wenigen Nutzern und schrittweise Ausweitung. Jeder Meilenstein hat ein definiertes Ergebnis, einen Termin und eine Zahlung, die an ihn geknüpft ist. Wer so strukturiert, kann nach jedem Abschnitt nachsteuern oder im schlechtesten Fall mit begrenztem Schaden aussteigen.

Ein Detail mit großer Wirkung: Zwischenergebnisse müssen auf Daten des Auftraggebers laufen, nicht auf Beispieldaten des Anbieters. Ein System, das auf fremden Musterdaten glänzt, hat noch nichts bewiesen.

Abnahmekriterien: echte Fälle statt gelungener Demos

Die Abnahme ist der Punkt, an dem sich vage Vereinbarungen rächen. Wer als Kriterium akzeptiert, dass das System zufriedenstellend funktioniert, hat kein Kriterium. Belastbar ist nur ein Verfahren, das vor Projektbeginn festgelegt wird: ein Prüfdatensatz aus echten Fällen, den der Fachbereich zusammenstellt, eine definierte Mindestqualität auf diesem Datensatz und eine benannte Person auf Auftraggeberseite, die das Ergebnis feststellt.

Drei Regeln machen dieses Verfahren fair und robust. Der Prüfdatensatz muss repräsentativ sein, also auch die unangenehmen Fälle enthalten, sonst prüft man am Alltag vorbei. Ein Teil der Fälle bleibt bis zur Abnahme unter Verschluss, damit der Dienstleister nicht gezielt auf die bekannten Prüffälle hin optimiert. Und die Kriterien unterscheiden nach Fehlerarten, denn ein übersehener kritischer Fall wiegt schwerer als eine falsch einsortierte Routineanfrage. Ein seriöser Anbieter wird ein solches Verfahren nicht scheuen. Er wird es begrüßen, weil es auch ihn vor endlosen Nachforderungen schützt.

Rechte an Prompts, Daten und Code

Bei klassischer Software ist die Frage nach den Rechten am Werk geübte Praxis. Bei KI-Projekten kommen Bestandteile hinzu, an die viele Verträge nicht denken. Die Prompts, also die ausgearbeiteten Anweisungen an das Modell, sind oft das eigentliche Herzstück der Lösung und stecken voller Prozesswissen des Auftraggebers. Dasselbe gilt für aufbereitete Beispieldatensätze, Prüffälle und die Konfiguration des Gesamtsystems.

Als Grundsatz sollte gelten: Alles, was aus den Daten und dem Wissen des Auftraggebers entstanden ist, gehört dem Auftraggeber oder ist ihm mindestens vollständig offenzulegen und zur Nutzung zu überlassen. Dazu gehört auch die Frage, was der Dienstleister mit den überlassenen Daten tun darf, ob er Erkenntnisse aus dem Projekt für andere Kunden verwenden darf und wie Herausgabe und Löschung nach Vertragsende geregelt sind. Diese Punkte sind keine Spitzfindigkeiten. Sie entscheiden darüber, ob das Unternehmen den Anbieter später wechseln kann oder dauerhaft gebunden ist. Für die konkrete Vertragsgestaltung empfiehlt sich rechtliche Beratung, aber die Themenliste kann jedes Unternehmen selbst in das Gespräch einbringen.

Warnsignale im Angebot und im Projektverlauf

Einige Muster tauchen in problematischen Projekten immer wieder auf und lassen sich früh erkennen.

Im Angebot: Zusagen konkreter Qualitätswerte, bevor der Anbieter auch nur einen echten Fall des Auftraggebers gesehen hat. Ein Festpreis für ein vage beschriebenes Gesamtsystem ohne Meilensteine. Kein einziger klärender Rückruf zur Anforderung, dafür viel Text über Technologie. Und ein Projektplan, in dem der Auftraggeber praktisch nicht vorkommt, denn ein KI-Projekt ohne laufende Mitwirkung des Fachbereichs kann nicht gelingen.

Im Projektverlauf: Demos, die immer nur mit denselben Beispielen laufen. Ausweichende Antworten auf die Frage, wie die Qualität gemessen wird. Zwischenergebnisse, die sich verschieben, während die Rechnungen pünktlich kommen. Und die Erklärung, das Modell sei eben eine Blackbox, als Antwort auf konkrete Fehlerfälle. Jedes dieser Signale ist einzeln erklärbar, in Summe sind sie ein Grund, das Gespräch auf Führungsebene zu suchen.

Fragen für das erste Gespräch mit einem Anbieter

Für das Erstgespräch braucht es kein Fachwissen, sondern gute Fragen. Diese Liste hat sich bewährt:

• Anhand welcher unserer echten Fälle würden Sie prüfen, ob das Projekt für uns machbar ist, und was kostet diese Prüfung
• Welche Meilensteine schlagen Sie vor, und was können wir an jedem davon selbst ausprobieren
• Wie messen Sie die Qualität des Systems, und wie werden wir an dieser Messung beteiligt
• Was passiert, wenn die vereinbarte Qualität nicht erreicht wird
• Wem gehören Prompts, Prüfdaten und Code am Ende, und was bekommen wir bei einer Trennung ausgehändigt
• Welche Mitwirkung erwarten Sie von uns, in Stunden pro Woche
• Wer betreut das System nach dem Go-live, und was kostet das laufend

Aufschlussreich ist weniger die einzelne Antwort als die Reaktion auf die Fragen selbst. Ein Anbieter, der sie konkret und ohne Ausflüchte beantwortet, hat sie sich selbst schon gestellt. Ein Anbieter, der ausweicht, wird auch im Projekt ausweichen.

Fazit

Einen KI-Dienstleister auf Augenhöhe zu steuern verlangt keine eigene KI-Expertise, sondern Struktur: kurze Meilensteine mit vorzeigbaren Ergebnissen auf echten Daten, ein vorab vereinbartes Abnahmeverfahren mit repräsentativen Prüffällen, klare Rechte an Prompts, Daten und Code und die Bereitschaft, Warnsignale ernst zu nehmen. Das Ungleichgewicht im Wissen bleibt bestehen, aber es verliert seine Gefahr, wenn die Mechanik des Projekts den Auftraggeber schützt. Gute Dienstleister stört das nicht. Es zieht sie an, weil klare Verhältnisse auch ihr Projekt besser machen.