Verlässlichkeit, messbar gemacht.

Ein europäischer Software-Anbieter

Ausgangslage

Ein AI-Feature war live, die Qualität aber Gefühlssache: Änderungen an Prompts oder Modellen gingen ohne Messung in Produktion.

Einzelne Ausreißer erreichten Kunden, ohne vorher aufzufallen.

Auftrag

Ein Eval-Fundament für das bestehende AI-Feature: definierte Prüffälle, Guardrails und ein Release-Prozess mit Messung.

Ansatz

Aufbau eines Prüffall-Katalogs aus echten Anwendungsfällen, gemeinsam mit dem Fachbereich.
Automatisierte Evals im Entwicklungsprozess: jede Änderung wird gemessen, bevor sie ausgeliefert wird.
Guardrails für die Fälle, die Kunden nie erreichen dürfen.
Enablement des Teams: der Prüffall-Katalog wächst mit dem Produkt weiter.

Kernprodukt des Klienten

Princeberg Embedded Team

Evals & GuardrailsRelease-ProzessEnablement

Ergebnis

Qualität ist eine Messgröße im Release-Prozess, keine Vermutung.

Das Team des Anbieters betreibt und erweitert die Evals selbst.

Ähnliche Aufgabenstellung? Sprechen wir darüber.