Prompt Injection in Unternehmens-KI: Warum RAG-Systeme besonders gefährdet sind
RAG-Systeme sind der Standardansatz, um LLMs mit Unternehmensdaten zu verbinden. Doch genau diese Verbindung öffnet die Tür für indirekte Prompt Injections – mit potenziell gravierenden Folgen.
Das Wichtigste in Kürze
Retrieval-Augmented Generation (RAG) ist der Standardansatz, um LLMs mit Unternehmensdaten zu verbinden. Doch genau diese Verbindung öffnet die Tür für indirekte Prompt Injections: Angreifer verstecken Anweisungen in Dokumenten, die das RAG-System als Kontext einbindet.
Im April 2023 haben wir Prompt Injection als neü Angriffsklasse vorgestellt. Seitdem hat sich die Bedrohungslage verschärft — besonders für Unternehmen, die RAG-Systeme produktiv einsetzen.
Wie RAG funktioniert — und wo das Problem liegt
Ein RAG-System kombiniert ein LLM mit einer Wissensdatenbank. Bei einer Nutzeranfrage durchsucht das System relevante Dokumente (Retrieval), fügt sie als Kontext in den Prompt ein (Augmentation) und generiert daraus eine Antwort (Generation).
Das Problem: Das LLM kann nicht unterscheiden, ob ein Text im Kontext eine Information oder eine Anweisung ist. Ein manipuliertes Dokument in der Wissensdatenbank kann das Verhalten des gesamten Systems verändern.
Angriffsszenarien in der Praxis
Szenario 1 — Der vergiftete Knowledge Base Eintrag: Ein Angreifer platziert ein Dokument mit versteckten Anweisungen in der Wissensdatenbank. Wenn ein Nutzer eine thematisch passende Frage stellt, wird das manipulierte Dokument abgerufen und die versteckten Anweisungen ausgeführt.
Szenario 2 — Cross-User Data Leakage: Durch gezielte Prompt Injection kann ein RAG-System dazu gebracht werden, Informationen aus dem Kontext anderer Nutzeranfragen preiszugeben — besonders kritisch in Multi-Tenant-Umgebungen.
Szenario 3 — Action Hijacking: Wenn das RAG-System Aktionen ausführen kann (E-Mails senden, Tickets erstellen, Daten ändern), kann eine Injection diese Aktionen kapern.
Gegenmassnahmen für RAG-Systeme
- Input Sanitization: Dokumente vor der Indexierung auf verdächtige Muster prüfen (z.B. „Ignore previous instructions“)
- Privilege Separation: RAG-Kontext und System-Prompt in getrennten Nachrichtenrollen halten
- Output Filtering: LLM-Antworten auf Datenlecks und Policy-Verstöße prüfen
- Canary Tokens: Markierungen in sensiblen Dokumenten, die bei unbefugtem Zugriff Alarm auslösen
- Audit Logging: Jede RAG-Anfrage mit Kontext-Dokumenten protokollieren
Key Facts
RAG ist der häufigste Ansatz für unternehmensweite KI-Assistenten
Indirekte Prompt Injection über Dokumente ist der primäre Angriffsvektor
Multi-Tenant-RAG-Systeme riskieren Cross-User Data Leakage
Kein LLM kann derzeit zuverlässig Daten von Anweisungen unterscheiden
Defense in Depth mit mehreren Schichten ist der empfohlene Ansatz
Fakt: Laut McKinsey können KI-Tools die Produktivität von Security-Teams um 40 Prozent steigern.
Fakt: Laut Gartner setzen 2026 über 50 Prozent der SOCs KI-basierte Automatisierung ein.
Häufige Fragen
Sind alle RAG-Systeme gleich verwundbar?
Die Verwundbarkeit hängt von der Architektur ab. Systeme mit strikter Rollentrennung (System/User/Assistant), begrenztem Kontext-Fenster und Output-Filtering sind deutlich robuster als naive Implementierungen.
Wie teste ich mein RAG-System auf Prompt Injection?
Mit gezielten Red-Team-Tests: Platzieren Sie Dokumente mit Testanweisungen in der Wissensdatenbank und prüfen Sie, ob das System die Anweisungen ausführt. Tools wie Garak oder das OWASP LLM Testing Framework helfen bei systematischen Tests.
Weiterführende Artikel
NIS2-Richtlinie: Was Unternehmen wissen müssen
Zero Trust: Die 7 häufigsten Fehler
Wie setzt man KI in der IT-Sicherheit sinnvoll ein?
Die effektivsten Einsatzgebiete sind Anomalie-Erkennung, automatisierte Triage von Security-Alerts, Threat-Intelligence-Korrelation und natürlichsprachliche Abfragen an SIEM-Systeme. Wichtig: KI ergänzt menschliche Analysten, ersetzt sie aber nicht.
Verwandte Artikel
- Cybersecurity-Trends 2026: Die 7 Entwicklungen, die Security-Entscheider kennen müssen
- Hybride Kriegsführung und Desinformation: Die unterschätzte Cyber-Bedrohung für Unternehmen
- Palantir und die Zukunft der Cyberabwehr: KI als strategische Waffe
Mehr aus dem MBF Media Netzwerk
Quelle Titelbild: Pexels / Brett Sayles
