Internal agents के लिए AI red teaming: attackers से पहले tool poisoning कैसे टेस्ट करें

बहुत सी teams अभी भी सिर्फ prompts पर red teaming करती हैं और agent के पीछे के tools को ignore करती हैं. यही गलती है. Internal agents ज़्यादातर poisoned tool output, misleading context और overpowered credentials की वजह से टूटते हैं.

Demo से नहीं, trust boundaries से शुरू करें

सबसे चमकदार demo अक्सर सबसे बदसूरत assumptions छुपाती है. कौन से tools data लिख सकते हैं. कौन से secrets तक पहुँचते हैं. कौन से tools sandbox के बाहर side effects trigger करते हैं. यह map किसी भी jailbreak prompt list से ज्यादा महत्वपूर्ण है.

अगर model ऐसे tool को call कर सकता है जिस पर कोई दूसरा system पहले से trust करता है, तो आपके पास transitive trust problem है. Red teaming को chat window नहीं, trust chain follow करनी चाहिए.

Tool poisoning असल में context attack है

Poisoned tool को dangerous होने के लिए shell access की ज़रूरत नहीं. वह misleading summary दे सकता है, warnings को लंबे output में दबा सकता है, या risky action को harmless maintenance जैसा दिखा सकता है. Model उसे context मानकर confident गलती कर देता है.

टेस्ट कीजिए कि agent contradictions देखता है या नहीं, destructive steps पर confirmation मांगता है या नहीं, और suspicious या manipulative tool output मिलने पर safely slow down करता है या नहीं.

ऐसे test cases बनाइए जो normal work जैसे लगें

सिर्फ obvious malicious strings मत चलाइए. Realistic tickets, outdated docs, wrong runbooks और subtly dangerous tool responses इस्तेमाल कीजिए. Internal agents routine दिखने वाले bad input से ज़्यादा आसानी से फँसते हैं.

अच्छी test suite silent data exfiltration, approval bypass, memory contamination और human instructions बनाम tool instructions की confusion को cover करती है.

जीत का मतलब clean refusal है

आप यह साबित नहीं कर रहे कि model निडर है. आपको यह evidence चाहिए कि वह रुकता है, पूछता है, damage limit करता है और ऐसी authority chain करने से मना करता है जो उसे कभी मिली ही नहीं थी.

सबसे अच्छा internal agent वह नहीं जो हर बार action ले. सबसे अच्छा agent वह है जो जानता है कि helpful होना कब बंद करना है.