Struktureller Sicherheitsfehler in LLMs entdeckt: Prompts und Sicherheitsregeln unzureichend getrennt

Zusammenfassung

Eine auf der ICML (International Conference on Machine Learning) vorgestellte Forschungsarbeit belegt eine fundamentale und strukturelle Schwachstelle in der Architektur großer Sprachmodelle (LLMs). Da Transformer-Modelle Systemanweisungen, Rollendefinitionen und Benutzereingaben in einem einzigen, einheitlichen Kontextstrom (Context Stream) verarbeiten, können Sicherheits-Guardrails prinzipbedingt durch Role-Spoofing und Prompt-Injection-Angriffe umgangen werden. Tests über Modelle von OpenAI, Anthropic, Alibaba und DeepSeek zeigen, dass reine Prompt-basierte Sicherheitsfilter diese Schwachstelle nicht dauerhaft beheben können.

Was ist passiert?

Auf der ICML präsentierten IT-Sicherheitsforschende empirische Ergebnisse zu Angriffsmethoden auf führende kommerzielle und Open-Source-Sprachmodelle. Unter Anwendung fortgeschrittener Role-Spoofing-Techniken gelang es den Forschenden, die Sicherheitsarchitekturen von Modellen sämtlicher führender Anbieter – darunter OpenAI, Anthropic, Alibaba und DeepSeek – konsistent zu umgehen.

Die Ergebnisse wurden u. a. vom MIT Technology Review und Fachmedien aufgegriffen und lösten eine breite Debatte über die Grenzen heutiger KI-Sicherheitsansätze aus. Der Befund: Die Trennung zwischen System-Instruktion (“Du bist ein hilfreicher Assistent”) und Benutzer-Eingabe (“Ignoriere vorherige Anweisungen”) existiert auf Ebene der Transformer-Aufmerksamkeitsmechanismen (Attention Mechanisms) schlichtweg nicht.

Warum es wichtig ist

Bisher verließen sich Entwickler und Unternehmen primär auf System-Prompts, Reinforcement Learning from Human Feedback (RLHF) sowie nachgelagerte Inhaltsfilter, um LLMs abzusichern. Die ICML-Studie verdeutlicht jedoch, dass diese Maßnahmen lediglich statistische Hürden darstellen, aber keine harten Sicherheitsgrenzen (Security Boundaries).

Für Unternehmen, die LLM-Agenten in kritische Geschäftsprozesse integrieren (z. B. automatisierter E-Mail-Versand, Datenbankabfragen oder Finanztransaktionen), bedeutet dies ein erhebliches Risiko. Wenn Angreifer durch präparierte Eingaben die Kontrolle über die Systemrolle übernehmen können, sind Prompt-Injection-Angriffe nicht nur ein theoretisches Phänomen, sondern eine strukturelle Eigenschaft der aktuellen Modellgeneration.

Beweise

Die Modelltests umfassten eine breite Palette aktueller KI-Systeme:

Cross-Provider-Validierung: Erfolgreiche Bypasses wurden systemübergreifend bei Modellen von OpenAI (GPT-4-Familie), Anthropic (Claude-Serie), Alibaba (Qwen) und DeepSeek nachgewiesen.
Einheitlicher Kontextstrom: Auf Aufmerksamkeits- und Token-Ebene verarbeiten Transformer alle Tokens gleichberechtigt. Rollen-Tags (wie <|im_start|>system oder user) sind für das Modell lediglich statistische Merkmale im Eingabe-Text, keine echten Speicher- oder Ausführungsbarrieren.
Unwirksamkeit klassischer Guardrails: Selbst feinjustierte Sicherheitsmodelle ließen sich durch verschachtelte Kontext- und Rollen-Fälschungen (Role Spoofing) zur Preisgabe geschützter Informationen oder Ausführung unerwünschter Handlungen bewegen.

Analyse

Das grundlegende Problem liegt in der Von-Neumann-Analogie der KI: So wie klassische Computerarchitekturen anfällig für Pufferüberläufe waren, weil Daten und Code im selben Arbeitsspeicher lagen (was zu Executable Space Protection wie DEP/NX führte), verarbeiten LLMs Instruktionen und Daten im selben Aufmerksamkeitsfenster.

Solange LLMs nicht über eine strikte architektonische Entkopplung von Kontrollfluss (Instructions) und Datenstrom (User Input) verfügen, bleiben alle Guardrails auf Prompt-Ebene ein Katz-und-Maus-Spiel. Heutige Defensivansätze versuchen, dem Modell beizubringen, Benutzereingaben “weniger zu vertrauen” – dies widerspricht jedoch der mathematischen Funktionsweise der Self-Attention, die Kontexte global gewichtet.

Praktische Erkenntnisse

Kein Vertrauen in System-Prompts als Sicherheitsbarriere: Entwickler dürfen sensible Logik oder Berechtigungsprüfungen niemals ausschließlich dem LLM-System-Prompt überlassen.
Hardened Middleware & Deterministic Guardrails: Kritische Aktionen (z. B. API-Aufrufe, Lese-/Schreibzugriffe) müssen außerhalb des LLMs von deterministischem Code mit strikten Rechtekonzepten (Least Privilege) validiert werden.
Dual-LLM-Pattern nutzen: Für die Verarbeitung externer, nicht vertrauenswürdiger Daten sollten getrennte Instanzen eingesetzt werden (z. B. ein isoliertes “Quarantäne-LLM” zur Datenextraktion, dessen Output vor Weitergabe an das Ausführungs-LLM syntaktisch geprüft wird).
Sandboxing für AI-Agenten: Agentische Systeme müssen in isolierten Umgebungen ausgeführt werden, um den potenziellen Schaden erfolgreicher Injection-Angriffe zu begrenzen.

Offene Fragen

Architectural Separation: Können zukünftige Modellarchitekturen (z. B. Dual-Stream Transformers oder Hardware-enforced Instruction Boundaries) Daten und Instruktionen auf Tensorebene trennen?
Standardisierung von Agenten-Sicherheit: Wie werden regulatorische Rahmenwerke (wie der EU AI Act) mit der Erkenntnis umgehen, dass LLM-Sicherheit aktuell nicht garantiert werden kann?