Glossar
Auch: Retrieval Augmented Generation
Ein Sprachmodell bekommt vor der Antwort passende Ausschnitte aus den eigenen Daten mitgeliefert, statt sich auf sein Training zu verlassen.
Der Ablauf hat zwei Hälften: Suchen und Antworten. Die Antwortqualität hängt fast vollständig an der ersten Hälfte. Ein hervorragendes Modell mit schlechter Suche gibt selbstbewusste falsche Antworten.
Die Arbeit steckt entsprechend nicht im Modell, sondern in der Aufbereitung: Wie werden Dokumente zerlegt, welche Metadaten hängen daran, wie werden Berechtigungen berücksichtigt, und wie erkennt man, dass die gefundenen Stellen nicht passen.