AI-Red-Teaming für interne Agenten: So testen Sie Tool-Poisoning, bevor Angreifer es tun

Die meisten Teams unterziehen immer noch Prompts einem Red-Teaming und ignorieren dabei die Tools hinter dem Agenten. Das ist der falsche Ansatz. Interne Agenten scheitern am ehesten an manipulierten Anweisungen, irreführenden Tool-Ausgaben und übermäßig privilegierten Zugangsdaten. Sie sollten diese Angriffspfade testen, bevor die Produktion das für Sie übernimmt.

Beginnen Sie mit den Vertrauensgrenzen, nicht mit der Demo

Hinter der eindrucksvollsten Agenten-Demo verbergen sich meist die problematischsten Annahmen: Welche Tools Daten schreiben können. Welche Tools auf Geheimnisse zugreifen können. Welche Tools außerhalb der Sandbox Nebenwirkungen auslösen können. Diese Übersicht ist wichtiger als eine weitere Liste mit Jailbreak-Prompts.

Wenn das Modell ein Tool aufrufen kann, dem ein anderes System bereits vertraut, haben Sie ein Problem mit transitivem Vertrauen. Das Red-Teaming muss der Vertrauenskette folgen, nicht nur dem Chatfenster.

Tool-Poisoning ist vor allem ein Kontextangriff

Ein manipuliertes Tool benötigt keinen Shell-Zugriff, um gefährlich zu sein. Es kann irreführende Zusammenfassungen zurückgeben, Warnungen in ausführlichen Ausgaben verbergen oder riskante Aktionen als harmlose Wartungsarbeiten darstellen. Das Modell liest dies als Kontext und führt dann selbstbewusst die falsche Aktion aus.

Testen Sie, ob der Agent Widersprüche erkennt, bei destruktiven Schritten um Bestätigung bittet und sicher reagiert, wenn Tool-Ausgaben verdächtig, fehlerhaft oder unerwartet überzeugend sind.

Entwerfen Sie Testfälle, die wie normale Arbeit aussehen

Greifen Sie nicht nur mit offensichtlich bösartigen Zeichenfolgen an. Verwenden Sie realistische Tickets, veraltete Dokumentation, fehlerhafte Runbooks und subtil gefährliche Tool-Antworten. Interne Agenten lassen sich eher durch routinemäßig wirkende fehlerhafte Eingaben täuschen als durch plakativ bösartige Prompts.

Eine gute Testsuite deckt unauffällige Pfade zur Datenexfiltration, Versuche zur Umgehung von Genehmigungen, die Kontamination des Speichers und Rollenverwechslungen zwischen menschlichen Anweisungen und von Tools bereitgestellten Anweisungen ab.

Das Erfolgsziel ist eine kontrollierte Verweigerung

Sie versuchen nicht zu beweisen, dass das Modell furchtlos ist. Sie wollen Belege dafür, dass es innehält, nachfragt, Schäden begrenzt und sich weigert, Befugnisse zu verknüpfen, die es nie haben sollte.

Der beste interne Agent ist nicht derjenige, der immer handelt. Es ist derjenige, der weiß, wann er aufhören muss, hilfreich zu sein.