Ricerca KENSAI: l’esposizione del backend RAG è un fallimento architetturale, non un incidente di prompt

I sistemi RAG non perdono dati perché un prompt è andato storto una volta. Perdono dati perché i team espongono cablaggio backend, tracce di debug e residui di conversazione al layer client e lo chiamano dettaglio di implementazione.

Perché questo segnale conta oggi

Un recente audit di un chatbot medico RAG conta perché ha mostrato che normali superfici visibili al client possono esporre prompt, dettagli di configurazione, schemi, metadati e perfino cronologia di conversazioni vicine. Non è servito alcun jailbreak cinematografico. Sono bastati curiosità e ispezione del browser.

Che cosa si è rotto davvero

Il fallimento importante non era solo nell’output del modello. Il prodotto esponeva artefatti backend attraverso percorsi ispezionabili dal client, trasformando dettagli operativi privati in indizi pubblici. Da lì un attaccante capisce come il sistema recupera, instrada e conserva contesto sensibile.

Perché questo è un bug di architettura

Se prompt, regole di routing, metadati di retrieval e tracce recenti di sessione stanno troppo vicino al frontend, l’utente vede più di quanto l’interfaccia dovrebbe mostrare. Non è un problema di parole. È un problema di confini di stato. Una plumbing troppo lasca crea opportunità future di prompt injection, steering ed esfiltrazione.

Che cosa dovrebbero fare ora i team

Riducete i metadati visibili al client, separate le superfici di debug dalla consegna utente, fate scadere rapidamente le tracce temporanee e ispezionate i payload visibili nel browser come se fossero divulgazioni ostili. Se un campo non serve all’azione dell’utente, non dovrebbe viaggiare per comodità.

La conclusione di KENSAI

La privacy agentica si vince in interfacce, header, payload e confini di stato. Se il browser può vedere più di quanto l’utente abbia bisogno, il sistema è già troppo lento nei controlli. Un RAG sicuro è noioso nel modo giusto: meno esposizione, giunzioni più strette, meno sorprese.