Prompt Injection

Prompt Injection ist ein Angriff, bei dem Anweisungen an ein Sprachmodell in Inhalte eingeschleust werden, die das System liest – etwa einen Prompt, eine Webseite oder ein Dokument. Ziel ist, dass das KI-System seine eigenen Regeln bricht, Informationen preisgibt oder seine Werkzeuge missbraucht. Es gilt als eines der größten Sicherheitsprobleme bei Systemen, die Werkzeuge nutzen oder externe Daten lesen.

Prompt injection is an attack in which instructions to an LLM are inserted into content the system reads, such as a user prompt, web page or document. It attempts to make the AI system break its own rules, leak information or misuse its tools. It is a leading security concern for any system that uses tools or reads outside data.