Chunking-Strategien für die Vektorsuche: So wird RAG treffsicher

Wenn ein RAG-System schlechte Antworten liefert, fällt der Verdacht reflexartig auf das Sprachmodell. In der Praxis liegt die Ursache viel häufiger eine Ebene tiefer: Die Vektorsuche findet die falschen Passagen, und das beste Modell der Welt kann aus falschem Kontext keine richtige Antwort bauen. Und ob die Suche trifft, entscheidet sich zu einem großen Teil beim Chunking, also bei der Frage, wie Dokumente in durchsuchbare Stücke zerlegt werden.

Das ist eine unbequeme Erkenntnis, weil Chunking der unscheinbarste Teil der Pipeline ist. Er wird einmal beim Aufsetzen konfiguriert, oft mit dem Standardwert der verwendeten Bibliothek, und danach nie wieder angefasst. Dabei bestimmt genau diese Entscheidung, was ein Embedding überhaupt repräsentieren kann: Ein Chunk, der mitten im Satz endet oder drei Themen vermischt, erzeugt einen Vektor, der nichts davon gut abbildet.

Feste versus semantische Chunks

Die einfachste Strategie zerlegt Text in feste Chunks: alle paar hundert Tokens ein Schnitt, unabhängig vom Inhalt. Das ist schnell, vorhersehbar und für homogene Fließtexte oft ausreichend. Der Nachteil liegt auf der Hand: Die Schnitte ignorieren die Struktur des Dokuments. Ein Absatz, der eine Regel erklärt, wird von seiner Ausnahme getrennt, eine Definition von ihrem Beispiel.

Semantisches Chunking schneidet stattdessen an inhaltlichen Grenzen: an Überschriften, Absätzen, Listenenden oder Themenwechseln. Die naheliegendste Variante nutzt die vorhandene Dokumentstruktur, etwa die Gliederung nach Abschnitten. Aufwendigere Varianten messen die Ähnlichkeit benachbarter Sätze und schneiden dort, wo sie abfällt. In der Praxis bringt schon die strukturbasierte Variante den größten Teil des Gewinns: Chunks, die einer Gliederungseinheit entsprechen, sind fast immer kohärenter als Chunks nach Zeichenzahl.

Die Chunk-Größe selbst ist ein Kompromiss. Kleine Chunks erzeugen präzise Vektoren, reißen aber Zusammenhänge auseinander und zwingen das System, viele Fragmente zusammenzusetzen. Große Chunks bewahren Kontext, verwässern aber den Vektor und schleppen bei jedem Treffer irrelevanten Text ins Kontextfenster. Ein bewährter Mittelweg ist, eher klein zu suchen und beim Zusammenstellen des Kontexts den umgebenden Abschnitt nachzuladen, sodass das Modell den vollständigen Zusammenhang sieht, obwohl die Suche auf präzisen Einheiten lief.

Überlappung mit Augenmaß

Überlappende Chunks, bei denen jedes Stück die letzten Sätze des vorherigen wiederholt, sollen verhindern, dass eine Information genau auf einer Schnittkante verloren geht. Das funktioniert, hat aber Kosten: mehr Chunks, mehr Speicher, und bei der Suche tauchen nahezu identische Passagen mehrfach in den Treffern auf und verdrängen andere relevante Stellen. Wer semantisch an sauberen Grenzen schneidet, braucht deutlich weniger Überlappung als bei festen Schnitten. Als Ausgangspunkt genügt eine moderate Überlappung von wenigen Sätzen, kombiniert mit einer Deduplizierung in der Trefferliste, damit sich Varianten desselben Inhalts nicht stapeln.

Metadaten und Hybrid-Suche

Ein Chunk ist mehr als sein Text. Metadaten wie Dokumenttitel, Abschnittsüberschrift, Datum, Dokumenttyp oder Zuständigkeit machen aus einer reinen Ähnlichkeitssuche ein steuerbares System. Zwei Einsatzformen sind zentral. Erstens das Filtern: Wer weiß, dass eine Frage nur aktuelle Richtlinien betrifft, schränkt die Suche vorab auf diese Teilmenge ein, statt zu hoffen, dass der Vektor es richtet. Zweitens das Anreichern: Es hat sich bewährt, jedem Chunk beim Einbetten seinen Kontext mitzugeben, etwa den Dokumenttitel und die Überschriftenkette. Ein Absatz, der nur von der Kündigungsfrist spricht, wird erst durch die Information, zu welchem Vertragstyp er gehört, eindeutig auffindbar.

Dazu kommt die Hybrid-Suche: die Kombination aus Vektorsuche und klassischer Stichwortsuche. Vektoren sind stark bei Umschreibungen und Synonymen, aber überraschend schwach bei exakten Begriffen wie Produktnamen, Artikelnummern oder Fachkürzeln. Eine Stichwortkomponente fängt genau diese Fälle ab. Die Ergebnisse beider Verfahren werden zu einer gemeinsamen Rangliste verschmolzen. Für Bestände mit vielen Eigennamen und Kennungen, also für die meisten Unternehmensdaten, ist Hybrid-Suche keine Kür, sondern Grundausstattung.

Tabellen und PDF-Strukturen

Die Theorie sauberer Chunks endet oft an der Realität der Quelldokumente. PDFs liefern Text in Lesereihenfolge der Extraktion, nicht des Menschen: Kopf- und Fußzeilen mischen sich in Absätze, mehrspaltige Layouts werden verschränkt, Silbentrennungen zerreißen Wörter. Vor dem Chunking steht deshalb eine Bereinigungsstufe, die wiederkehrende Kopfzeilen entfernt und die Struktur so gut wie möglich rekonstruiert. Wer diesen Schritt überspringt, optimiert später am Chunking herum, obwohl das Problem davor liegt.

Tabellen verdienen eine Sonderbehandlung. Eine Tabelle, die als Fließtext eingebettet wird, verliert ihre Semantik: Die Zuordnung von Wert zu Spalte und Zeile geht verloren, und der Vektor repräsentiert eine Zahlenwüste. Bewährte Ansätze sind, Tabellen als eigene Chunks zu führen, sie in eine textuelle Form zu übersetzen, die jede Zeile mit ihren Spaltenbezeichnungen ausschreibt, oder ihnen eine kurze generierte Beschreibung voranzustellen, die sagt, was die Tabelle enthält. Welche Variante passt, hängt vom Bestand ab, aber die Entscheidung, Tabellen überhaupt gesondert zu behandeln, ist fast immer richtig.

Messen statt raten

Über Chunking wird viel gemutmaßt und wenig gemessen. Dabei ist die Messung hier einfacher als bei den meisten anderen Stellschrauben eines RAG-Systems, weil man das Sprachmodell dafür gar nicht braucht. Es genügt ein Prüfset aus realen Fragen, jeweils mit der Angabe, welche Dokumentstellen die Antwort enthalten. Dann lässt sich für jede Chunking-Variante auswerten, ob die relevanten Stellen unter den ersten Treffern landen.

Mit einem solchen Set werden Varianten vergleichbar: feste gegen semantische Schnitte, verschiedene Größen, mit und ohne angereicherte Metadaten, mit und ohne Hybrid-Komponente. Häufig zeigt sich, dass eine unscheinbare Änderung wie das Voranstellen der Überschriftenkette mehr bewirkt als der Wechsel des Embedding-Modells. Ohne Messung bleibt genau diese Erkenntnis verborgen, und die Diskussion dreht sich um Vermutungen.

Fazit

Chunking ist die am meisten unterschätzte Stellschraube der Vektorsuche. Wer an inhaltlichen Grenzen schneidet statt nach Zeichenzahl, Überlappung sparsam einsetzt, Chunks mit Metadaten und Kontext anreichert, Stichwort- und Vektorsuche kombiniert und Tabellen sowie PDF-Artefakte gesondert behandelt, holt aus demselben Modell ein deutlich treffsichereres System heraus. Und weil sich Trefferqualität ohne großen Aufwand messen lässt, gibt es keinen Grund, diese Entscheidungen dem Standardwert einer Bibliothek zu überlassen.