Alle Begriffe

Glossar

Chunking

Auch: Textzerlegung

Das Zerlegen von Dokumenten in Abschnitte, die einzeln durchsuchbar und an ein Modell übergebbar sind.

Zu große Abschnitte verwässern die Suche, weil ein Treffer viel Unpassendes mitbringt. Zu kleine reißen Zusammenhänge auseinander, sodass die Antwort ohne Kontext dasteht.

Bessere Verfahren zerlegen entlang der Struktur des Dokuments, also Überschriften und Absätze, statt nach fester Zeichenzahl.