Alle Begriffe
Glossar
Kontextfenster
Auch: Context Window
Die Menge an Text, die ein Sprachmodell bei einer Anfrage gleichzeitig berücksichtigen kann, gemessen in Token.
Alles, was das Modell sehen soll, muss hineinpassen: Systemanweisung, Verlauf, mitgelieferte Dokumente und die erwartete Antwort. Ist es voll, muss etwas weichen.
Große Fenster lösen das Problem nicht automatisch. Modelle beachten Inhalte am Anfang und am Ende zuverlässiger als in der Mitte, und jedes zusätzliche Token kostet Geld und Zeit.
Woran Sie es erkennen
- Lange Dokumente werden abgeschnitten.
- Die Kosten je Anfrage steigen mit der Textmenge.
- Das Modell übersieht Angaben, die mitgegeben wurden.
Häufig gefragt
Warum wird ein volles Kontextfenster schlechter genutzt?
Weil Modelle Angaben am Anfang und am Ende zuverlässiger verwerten als in der Mitte. Zehn passende Ausschnitte liefern in der Praxis bessere Antworten als hundert mittelmäßige, und kosten ein Zehntel.