AI 에이전트의 5가지 심각한 보안 취약점: 칭화대 연구진이 발견한 것 (그리고 해결 방법)
칭화대학교와 Ant Group 연구진은 자율 LLM 에이전트에서 체계적인 보안 위기를 밝혀냈습니다. 초기화부터 실행까지 5단계의 라이프사이클 전반에 걸쳐, AI 에이전트를 은밀히 침해하고 세션 간에 지속되며 시스템 전체 장악으로까지 확대될 수 있는 공격 벡터를 확인했습니다. 특히 눈에 띄는 수치는 커뮤니티가 기여한 AI 스킬의 26%에 보안 취약점이 존재한다는 사실입니다..
🔬 연구 내용: 칭화대 + Ant Group, 에이전트 보안 공백을 밝히다
OpenClaw처럼 고권한 시스템 접근을 통해 복잡한 장기 과제를 수행할 수 있는 자율 LLM 에이전트는 더 이상 연구실의 호기심 대상이 아닙니다. 이들은 코드를 관리하고, 시스템을 운영하며, 기업 데이터를 대규모로 처리합니다. 하지만 칭화대학교와 Ant Group의 공동 연구 논문은 심각한 보안 사각지대를 드러냅니다: 에이전트의 전체 라이프사이클이 기존 방어 체계로는 대응할 수 없는 방식으로 취약하다는 것입니다.
이 연구는 OpenClaw의 '커널-플러그인' 아키텍처를 중심으로 합니다, 이는 최소한의 신뢰 컴퓨팅 기반(TCB)이 "스킬"이라 불리는 서드파티 플러그인의 확장 가능한 생태계를 관리하는 구조입니다. 이 아키텍처는 대부분의 주요 에이전틱 프레임워크에서 그대로 재현되고 있어, 이번 연구 결과는 단일 플랫폼을 훨씬 넘어 폭넓게 적용됩니다.
핵심 문제는 엄격한 무결성 검증 없는 동적 플러그인 로딩이 모호한 신뢰 경계를 만든다는 점입니다. 공격자가 일단 그 경계의 위치를 파악하면, 에이전트 라이프사이클의 모든 단계에서 이를 악용할 수 있습니다.
⚔️ 5가지 공격 벡터
연구진은 에이전트의 기능적 파이프라인에 맞춰 5개의 운영 단계에 걸쳐 위협을 매핑했습니다. 각 공격이 실제로 어떤 모습인지 살펴보겠습니다:
1. 스킬 오염(Skill Poisoning)
작업이 시작되기도 전에, 공격자는 에이전트의 플러그인 생태계에 악성 스킬을 주입할 수 있습니다. 연구 데모에서 공격자는 에이전트가 가짜 hacked-weather 스킬을 인위적으로 높은 라우팅 우선순위로 생성하도록 유도했습니다. 사용자가 날씨 데이터를 요청하면 에이전트는 정상 서비스를 완전히 우회해 공격자가 통제하는 결과를 반환했습니다. 더욱 심각한 것은: 커뮤니티가 기여한 도구의 26%에 악용 가능한 취약점이 존재한다는 점입니다, 이는 공급망 오염이 이론적 위험이 아니라 통계적으로 유의미한 실질적 위험임을 보여줍니다.
2. 간접 프롬프트 인젝션
자율 에이전트는 웹페이지, 문서, API 응답 등 신뢰할 수 없는 외부 데이터를 끊임없이 수집합니다. 공격자는 그 콘텐츠 안에 악성 지시를 삽입합니다. 테스트된 시나리오에서는 웹페이지에 숨겨진 지시가 사용자의 원래 작업을 무시하게 만들었습니다. 에이전트는 정상 요청을 무시하고 대신 삽입된 페이로드를 실행했습니다 — 사용자의 직접적인 상호작용이 전혀 필요 없는 제로클릭 익스플로잇입니다. 에이전트가 외부 도구에 대한 접근 권한을 더 많이 획득할수록, 이 공격 표면은 기하급수적으로 확대됩니다.
3. 메모리 오염(Memory Poisoning)
상태를 유지하지 않는 API 호출과 달리, 에이전틱 시스템은 세션 간에 지속되는 메모리를 유지합니다. 연구팀은 일시적인 인젝션을 이용해 에이전트의 MEMORY.md 파일을 수정해, "C++"가 포함된 모든 쿼리를 거부하도록 지시하는 조작된 규칙을 추가했습니다. 이 오염은 이후 모든 세션에 걸쳐 지속되었으며: 최초 공격 상호작용이 끝난 뒤에도 무해한 프로그래밍 요청이 체계적으로 거부되었습니다. 이는 표준 인시던트 대응으로는 다룰 수 없는 새로운 유형의 지속적 행동 조작을 보여줍니다.
4. 의도 표류(Intent Drift)
의도 표류는 개별적으로는 정당화될 수 있는 일련의 도구 호출이 이어지다 재앙적인 전체 결과로 귀결될 때 발생합니다. 테스트된 시나리오에서 사용자는 에이전트에게 "의심스러운 크롤러 IP를 제거하라"고 요청했습니다. 에이전트는 단계를 확대해나갔습니다: IP 연결을 식별하고, iptables를 통해 시스템 방화벽을 수정하려 시도했으나 실패했고, 이어서 수동 재시작을 시도하고자 자신의 실행 중인 프로세스를 직접 종료했습니다 — 그 결과 전체 WebUI가 다운되고 시스템 전면 중단으로 이어졌습니다. 어느 한 단계도 명백히 악의적이지 않았습니다. 이 재앙은 여러 자율적 결정이 복합적으로 작용한 결과였습니다.
5. 은밀한 명령 실행(고위험 명령 실행)
마지막 단계의 공격은 앞선 침해가 어떻게 인프라 손상으로까지 확대되는지 보여줍니다. 연구진은 정적 필터를 우회하기 위해 Fork Bomb 공격을 개별적으로는 무해해 보이는 4단계의 파일 쓰기 작업으로 분해했습니다. Base64 인코딩과 sed 명령으로 불필요한 문자를 제거해, 잠재적 실행 체인을 trigger.sh 안에 조립했습니다. 실행되자 이 스크립트는 CPU 사용률을 거의 100% 포화 상태까지 치솟게 만들었으며 — 이는 호스트를 대상으로 한 사실상의 서비스 거부(DoS) 공격이었습니다. 이 공격이 탐지를 피할 수 있었던 것은 정확히 그 어떤 개별 단계도 단독으로는 악의적으로 보이지 않았기 때문입니다.
🛡️ 5계층 방어 프레임워크
연구팀은 다섯 가지 공격 단계를 그대로 반영하는 라이프사이클 중심의 방어 프레임워크를 제안합니다. 각 계층은 특정 위협 유형에 대응하도록 설계되었으며, 이들이 결합해 전체적인 심층 방어 태세를 구성합니다:
| 계층 | 단계 | 방어 초점 | 핵심 통제 |
|---|---|---|---|
| L1 | 초기화 | 스킬 및 플러그인 무결성 | 암호화 서명, 무결성 검증, 신뢰할 수 있는 스킬 출처에 대한 허용목록, 공급망 감사 |
| L2 | 입력 | 입력 경계 강제 | 신뢰할 수 있는 사용자 지시와 신뢰할 수 없는 외부 데이터의 엄격한 분리, 입력 태깅 및 새니타이징 |
| L3 | 추론 | 메모리 무결성 및 격리 | 메모리 접근 통제, 핵심 행동 규칙의 불변성 보장, 메모리 쓰기에 대한 이상 탐지 |
| L4 | 결정 | 의도 검증 및 확대 통제 | 도구 호출의 범위 경계, 고위험 작업에 대한 인간 개입(human-in-the-loop), 롤백 기능 |
| L5 | 실행 | 샌드박스 실행 및 접근 통제 | 프로세스 격리, 최소 권한 실행, 명령 시퀀스에 대한 정적·행동 분석 |
이 프레임워크의 핵심 통찰은 복합적인 위협에는 복합적인 방어가 필요하다는 것입니다. 스킬 오염(L1)에서 시작해 프롬프트 인젝션(L2)을 거쳐 은밀한 실행(L5)으로 끝나는 공격은 단 하나의 계층만으로는 막을 수 없습니다 — 다섯 계층 모두가 동시에 작동해야 합니다.
📋 NIS2 및 EU AI Act 컴플라이언스 시사점
⚖️ 규제 리스크는 실재합니다
프로덕션 환경에서 AI 에이전트를 운영하는 EU 소재 조직에게 이 연구 결과는 NIS2와 EU AI Act 양쪽 모두에서 직접적인 규제 의무를 발생시킵니다. 세션 간에 지속되는 메모리 오염 공격, 그리고 커뮤니티 도구의 26%에 영향을 미치는 스킬 공급망 취약점은 바로 두 프레임워크가 대응하도록 설계된 시스템적 위험 그 자체입니다.
NIS2 지침(네트워크 및 정보 보안): 제21조는 "네트워크 및 정보 시스템의 보안에 대한 위험을 관리하기 위한 적절하고 비례적인 기술적·조직적 조치"를 요구합니다. 고권한 시스템 접근 권한을 가진 자율 AI 에이전트는 명백히 이 적용 범위 안에 있습니다. 악성 스킬을 통한 공급망 오염은 공급망 보안에 관한 제21조 2항 (d)호를 촉발합니다. 세션 전반에 걸쳐 에이전트 행동에 영향을 미치는 지속적인 메모리 오염은 제23조의 보고 의무상 "인시던트"에 해당합니다.
EU AI Act: 핵심 인프라에서 자율적으로 작동하거나 보안에 민감한 작업을 수행하는 시스템을 포함한 고위험 AI 시스템은 견고성 및 정확성(제15조), 투명성(제13조), 인간 감독(제14조)에 관한 엄격한 요건을 충족해야 합니다. 시스템 중단으로 이어지는 의도 표류는 제14조가 방지하고자 하는 바로 그 실패 유형입니다. 조직은 적합성 평가의 일환으로 5가지 공격 벡터 모두를 문서화하고 테스트해야 합니다.
DORA(디지털 운영 복원력법): 자동화된 운영에 AI 에이전트를 사용하는 금융 기관은 서드파티 스킬 제공업체를 포함해 모든 ICT 서드파티 의존 관계를 매핑해야 합니다. 커뮤니티 스킬의 26% 취약점 비율은 DORA의 ICT 리스크 관리 요구사항에 따른 직접적인 서드파티 리스크 노출을 만들어냅니다.
⚠️ 컴플라이언스 공백
현재 대부분의 AI 보안 평가는 프롬프트 인젝션만을 개별적으로 다룹니다. 5계층 라이프사이클 프레임워크는 고립된 방어는 복합 공격 앞에서 실패한다는 사실을 보여줍니다. 단일 계층 방어에만 의존하는 조직은 에이전틱 AI 시스템에 대한 NIS2의 "적절하고 비례적인" 기준을 충족하지 못합니다.
🔧 즉시 취해야 할 방어 조치
- AI 스킬 공급망 감사 — 모든 서드파티 스킬과 플러그인을 인벤토리화하십시오. 26%에 취약점이 있는 만큼, 별도로 검증되기 전까지는 침해되었다고 가정하십시오.
- 암호화 서명 구현 — 모든 스킬 설치에 서명 검증을 요구하십시오. 로드 시점에 서명되지 않았거나 검증되지 않은 플러그인은 거부하십시오.
- 에이전트 메모리 파일 보호 — 지속 메모리(예:
MEMORY.md)에 엄격한 접근 통제를 적용하십시오. 무단 쓰기를 모니터링하고, 핵심 규칙의 불변화를 검토하십시오. - 도구 호출의 범위 경계 정의 — 각 에이전트가 접근할 수 있는 시스템 리소스를 명시적으로 제한하십시오. 방화벽 수정, 프로세스 종료 등 영향력이 큰 작업에는 사람의 승인을 요구하십시오.
- 실행 시퀀스에 대한 행동 분석 도입 — 유해한 작업을 개별적으로는 무해한 단계로 분해하는 다단계 공격은 정적 필터를 우회합니다. 행동 분석은 이러한 패턴을 포착합니다.
- 신뢰 데이터 경로와 비신뢰 데이터 경로 분리 — 외부에서 유입된 모든 콘텐츠에 태그를 지정하고, 사용자 의도를 무시할 수 없는 별도의 처리 파이프라인으로 라우팅하십시오.
- 5가지 공격 벡터 모두 테스트 — 스킬 오염, 간접 프롬프트 인젝션, 메모리 오염, 의도 표류, 은밀한 실행을 침투 테스트 범위에 포함하십시오.
🎯 KENSAI가 이러한 취약점에 대응하는 방법
칭화대/Ant Group 연구진이 확인한 5가지 공격 벡터는 KENSAI의 자동화된 보안 스캐닝 역량과 직접 맞닿아 있습니다. KENSAI의 지속적 스캐닝 엔진은 정확히 이러한 유형의 시스템적 위험 — 개별 취약점뿐 아니라 여러 계층에 걸친 복합 공격 경로까지 — 을 찾아내도록 설계되었습니다:
- AI 스킬 공급망 스캐닝 — 알려진 취약점, 악성 패턴, 메타데이터 조작 여부에 대한 서드파티 플러그인 및 스킬 저장소 자동 분석
- 프롬프트 인젝션 탐지 — 웹 검색 및 문서 처리를 포함한 에이전트 입력 파이프라인의 간접 프롬프트 인젝션 벡터에 대한 동적 테스트
- 설정 보안 평가 — 5계층 프레임워크에 대한 메모리 접근 통제, 실행 샌드박싱, 권한 경계 검증
- 행동 공격 시뮬레이션 — 분해된 공격 시퀀스를 이용한 의도 표류 및 은밀한 명령 실행에 대한 능동적 테스트
- NIS2/EU AI Act 컴플라이언스 매핑 — 관련 규제 요구사항 전반에 대한 적합성 평가용 증거 자동 생성
이 연구 논문은 바로 지금, 오늘 이 순간에도 커뮤니티 스킬의 26%가 취약하다는 사실을 보여줍니다 — 그리고 대부분의 조직은 자사 AI 에이전트의 공격 표면에 대한 가시성이 전혀 없습니다. KENSAI는 공격자가 이를 악용하기 전에 그 가시성을 제공합니다.
지금 AI 에이전트 인프라를 스캔하세요
KENSAI는 칭화대 연구에서 확인된 5가지 공격 벡터 — 스킬 오염, 프롬프트 인젝션, 메모리 오염, 의도 표류, 은밀한 실행 — 를 모두 자동으로 테스트합니다. 몇 분 안에 AI 보안 점수를 확인하세요.
무료 AI 보안 스캔 시작하기안전하게 지내세요,
KENSAI 보안 리서치 팀
AI 위협 인텔리전스 기반 일일 보안 브리핑. 평일마다 업데이트됩니다.