Glossar
Auch: Prompt-Injektion
Ein Angriff, bei dem Anweisungen in Daten versteckt werden, die ein Sprachmodell verarbeitet, damit es etwas anderes tut als vorgesehen.
Sprachmodelle unterscheiden nicht zuverlässig zwischen Anweisung und Inhalt. Steht in einem verarbeiteten Dokument der Satz, alle vorherigen Anweisungen zu ignorieren, kann das wirken, besonders wenn das Modell Werkzeuge aufrufen darf.
Gefährlich wird es dort, wo drei Dinge zusammenkommen: fremde Inhalte, Werkzeuge mit Schreibrechten und Zugriff auf vertrauliche Daten.