Glossar
Auch: Bewertung von Modellantworten · Evals
Ein wiederholbares Verfahren, mit dem sich messen lässt, ob Antworten eines Sprachmodells besser oder schlechter werden.
Ohne Messung ist jede Änderung an Prompt, Modell oder Suche ein Bauchgefühl. Eine Evaluation besteht aus festen Beispielfällen mit erwartetem Ergebnis und einer Bewertung, die automatisch oder von Menschen erfolgt.
Für viele Anwendungen reichen einige Dutzend gut gewählte Fälle, die die typischen und die gefährlichen Situationen abdecken.