Fine-Tuning oder Prompting: Was sich für den Mittelstand wirklich rechnet

Die Frage kommt in fast jedem Projekt, meist aus der Geschäftsführung: Sollten wir nicht ein eigenes Modell auf unsere Daten trainieren? Dahinter steht eine nachvollziehbare Intuition. Das eigene Unternehmen ist speziell, also braucht es ein spezielles Modell. Und ein Modell, das die eigenen Dokumente kennt, muss doch besser sein als ein allgemeines.

Die Intuition führt in die Irre, weil sie zwei Dinge vermischt: Wissen und Verhalten. Fine-Tuning, also das Nachtrainieren eines bestehenden Modells mit eigenen Beispielen, formt Verhalten. Wissen dagegen bringt man einem System heute anders bei. Wer die Unterscheidung nicht trifft, investiert in ein Trainingsprojekt, das sein Ziel strukturell nicht erreichen kann.

Für mittelständische Unternehmen ist die Frage am Ende keine technische, sondern eine ökonomische: Was kostet welcher Weg über den gesamten Lebenszyklus, und was liefert er. Genau das rechnet dieser Artikel durch.

Was Fine-Tuning leisten kann und was nicht

Fine-Tuning verschiebt die Tendenzen eines Modells anhand von Beispielpaaren aus Eingabe und gewünschter Ausgabe. Gut geeignet ist es für alles, was sich als konsistentes Verhalten beschreiben lässt: einen bestimmten Schreibstil und eine Tonalität, die das Modell durchgängig halten soll. Ein festes Ausgabeformat, das ohne lange Formatanweisungen zuverlässig eingehalten wird. Klassifikationsaufgaben mit firmenspezifischen Kategorien, für die viele entschiedene Beispiele vorliegen. Als Nebeneffekt können Prompts kürzer werden, weil das Gewünschte nicht mehr in jeder Anfrage erklärt werden muss, was bei sehr hohem Volumen Kosten und Latenz senkt.

Was Fine-Tuning nicht leistet, ist die zuverlässige Speicherung von Wissen. Fakten, die über Trainingsbeispiele eingebracht werden, sind später nicht verlässlich abrufbar, lassen sich nicht gezielt aktualisieren und nicht auf eine Quelle zurückführen. Ein Modell, das im Herbst auf die Preisliste trainiert wurde, gibt im Frühjahr weiter die alten Preise aus, nur eben mit Überzeugung. Aktuelles, korrektes, belegbares Wissen gehört in ein Retrieval-System, das dem Modell die relevanten Dokumente zur Laufzeit in den Kontext gibt. Diese Grenze ist die wichtigste Weiche der ganzen Entscheidung.

Der Referenzpunkt: Prompting mit Beispielen und RAG

Bevor über Training gesprochen wird, muss der Vergleichsmaßstab stehen: ein sauber ausgereiztes Prompting. Aktuelle Modelle folgen präzisen Anweisungen bemerkenswert gut. Eine klare Aufgabenbeschreibung, explizite Regeln, zwei bis fünf gut gewählte Beispiele im Prompt und bei Wissensfragen ein RAG-Aufbau, der passende Dokumentauszüge beisteuert, decken einen großen Teil der Fälle ab, für die früher Training nötig gewesen wäre.

Der praktische Vorteil dieses Wegs liegt in der Änderungsgeschwindigkeit. Eine Prompt-Anpassung ist in Minuten getestet und ausgerollt, eine neue Kategorie ist ein zusätzliches Beispiel, ein Modellwechsel ist eine Konfigurationsänderung. Beim Fine-Tuning steht an jeder dieser Stellen ein neuer Trainingslauf mit Datenaufbereitung und Abnahme. Wer beide Wege vergleicht, sollte deshalb nicht den heutigen Stand vergleichen, sondern die nächsten zwanzig Änderungen.

Datenbedarf und Pflege über den Lebenszyklus

Fine-Tuning beginnt mit einem Datensatz aus kuratierten Beispielpaaren, je nach Aufgabe in der Größenordnung von einigen hundert bis einigen tausend. Die Zahl ist dabei das kleinere Problem. Das größere ist die Qualität: Die Beispiele müssen konsistent, korrekt und repräsentativ sein, denn das Modell lernt auch jede Inkonsistenz und jeden Fehler mit. Diese Kuratierung ist Facharbeit, die nicht die IT leisten kann, sondern die Fachabteilung.

Über den Lebenszyklus kommen weitere Posten dazu, die in der ersten Kalkulation gern fehlen:

• Aktualisierung: Ändern sich Kategorien, Formate oder der gewünschte Stil, muss der Datensatz angepasst und neu trainiert werden.
• Modellbindung: Ein feinabgestimmtes Modell hängt an einer konkreten Basisversion. Kündigt der Anbieter diese ab, steht ein Neutraining auf der Nachfolgeversion an, mit vollem Testzyklus.
• Evaluation: Jeder Trainingslauf braucht einen Eval-Katalog, der belegt, dass die neue Fassung besser ist und nichts eingebüßt hat.
• Verantwortung: Jemand muss den Datensatz dauerhaft besitzen und pflegen. Ohne diese Rolle veraltet er still.

Der Trainingslauf selbst ist bei den gängigen Anbieter-Angeboten der billigste Teil der Rechnung. Teuer ist das Drumherum, und es fällt wiederkehrend an.

Zwischenstufen: Few-Shot-Beispiele und Prompt-Bibliotheken

Zwischen einfachem Prompting und Fine-Tuning liegt eine Treppe, die viele Teams übersehen. Die erste Stufe sind statische Few-Shot-Beispiele: sorgfältig gewählte Musterfälle, die fest im Prompt stehen und Format wie Tonalität vorgeben. Die zweite Stufe wählt diese Beispiele dynamisch: Aus einer gepflegten Beispielsammlung werden zur Laufzeit die Fälle herausgesucht, die der aktuellen Anfrage am ähnlichsten sind, und in den Prompt eingesetzt. Das wirkt in der Praxis erstaunlich nah an dem, was man sich von Fine-Tuning erhofft, bleibt aber jederzeit änderbar: Ein schlechtes Beispiel wird ersetzt, ein neuer Fall ergänzt, ohne Trainingslauf.

Die dritte Stufe ist organisatorisch: eine Prompt-Bibliothek, in der Prompts pro Aufgabe versioniert, getestet und dokumentiert sind. Sie macht Prompting vom individuellen Handwerk zum wartbaren Baustein und ist die Voraussetzung dafür, den Vergleich mit einem trainierten Modell überhaupt sauber führen zu können. Erst wenn diese Treppe ausgeschöpft ist und die Qualität nachweislich nicht reicht, ist Fine-Tuning der nächste logische Schritt.

Der Entscheidungsbaum

Die Kriterien lassen sich als Abfolge von Fragen zusammenfassen, die man ehrlich beantworten muss:

• Braucht die Aufgabe aktuelles oder internes Wissen? Dann Retrieval aufbauen. Fine-Tuning löst dieses Problem nicht.
• Ist die Qualität mit klaren Anweisungen und Few-Shot-Beispielen erreichbar? Erst testen, dann urteilen. Meistens lautet die Antwort ja.
• Geht es um Stil, festes Format oder Klassifikation, und liegen viele entschiedene Beispiele bereits vor? Dann ist die Aufgabe ein Kandidat.
• Gibt es eine Person oder ein Team, das den Datensatz dauerhaft pflegt, und ein Eval-Verfahren für jeden Trainingslauf? Wenn nein, endet der Weg hier.
• Rechnet sich der Aufwand gegen den Nutzen, also kürzere Prompts und bessere Konsistenz gegen wiederkehrende Trainings- und Testzyklen? Das trägt in der Regel erst bei hohem, stabilem Volumen auf einer eng umrissenen Aufgabe.

Wer alle fünf Fragen mit ja beantwortet, hat einen soliden Fall für Fine-Tuning. Das ist im Mittelstand seltener, als die anfängliche Intuition vermuten lässt, aber es kommt vor: hochvolumige Klassifikation, strenge Formatvorgaben, ein etablierter Prozess dahinter.

Fazit

Fine-Tuning ist kein Upgrade, das man einem Projekt gönnt, sondern eine Verpflichtung: ein Datensatz, der gepflegt, ein Training, das wiederholt, und eine Modellbindung, die verwaltet werden will. Prompting mit guten Beispielen und Retrieval für Wissen ist der Referenzpunkt, an dem sich jede Trainingsidee messen lassen muss, und diese Messlatte liegt heute hoch. Der wirtschaftlich vernünftige Weg führt über die Zwischenstufen: Anweisungen schärfen, Beispiele kuratieren, dynamisch auswählen, Prompts als Bibliothek führen. Wer dann immer noch eine Lücke sieht und das Volumen hat, sie zu rechtfertigen, trainiert mit klarem Ziel statt aus Intuition. Alle anderen sparen sich ein Projekt, das sie nicht gebraucht hätten.