Glossar
Auch: Context Window
Die Menge an Text, die ein Sprachmodell bei einer Anfrage gleichzeitig berücksichtigen kann, gemessen in Token.
Alles, was das Modell sehen soll, muss hineinpassen: Systemanweisung, Verlauf, mitgelieferte Dokumente und die erwartete Antwort. Ist es voll, muss etwas weichen.
Große Fenster lösen das Problem nicht automatisch. Modelle beachten Inhalte am Anfang und am Ende zuverlässiger als in der Mitte, und jedes zusätzliche Token kostet Geld und Zeit.