Glossar
Auch: Token-Kosten
Die laufenden Kosten je Anfrage an ein Sprachmodell, abgerechnet nach eingehenden und ausgehenden Token.
Anders als bei klassischer Software wachsen die Kosten mit jeder Nutzung, nicht mit der Anzahl Nutzer. Ein Ablauf mit fünf Modellaufrufen kostet fünfmal, auch wenn dieselbe Person ihn auslöst.
Die Stellschrauben sind Modellwahl je Teilaufgabe, Länge des mitgegebenen Kontexts, Zwischenspeichern wiederkehrender Anfragen und die Frage, ob es überhaupt ein Modell braucht.