Alle Begriffe
Glossar
Chunking
Auch: Textzerlegung
Das Zerlegen von Dokumenten in Abschnitte, die einzeln durchsuchbar und an ein Modell übergebbar sind.
Zu große Abschnitte verwässern die Suche, weil ein Treffer viel Unpassendes mitbringt. Zu kleine reißen Zusammenhänge auseinander, sodass die Antwort ohne Kontext dasteht.
Bessere Verfahren zerlegen entlang der Struktur des Dokuments, also Überschriften und Absätze, statt nach fester Zeichenzahl.
Woran Sie es erkennen
- Antworten enthalten Bruchstücke ohne Zusammenhang.
- Dokumente sind lang und ungleich strukturiert.
- Die Suche findet die richtige Datei, aber die falsche Stelle.
Häufig gefragt
Wie groß sollte ein Ausschnitt sein?
So groß wie ein Gedanke, meist 300 bis 800 Wörter mit etwas Überlappung. Wichtiger als die Zahl ist die Grenze: an Überschriften und Absätzen trennen, nicht mitten im Satz. Und jeder Ausschnitt trägt Dokumenttitel und Abschnitt mit, sonst fehlt dem Modell der Kontext.