프롬프트 인젝션
프롬프트 인젝션은 생성형 AI 시스템에 조작된 지시를 입력해 원래 정책과 사용자 의도를 벗어난 출력이나 도구 실행을 유도하는 공격입니다.
프롬프트 인젝션
사용자가 직접 입력하는 직접형과 문서·웹페이지·이메일·검색결과에 숨긴 지시를 모델이 읽는 간접형이 있습니다. 모델은 데이터와 명령을 완전히 구분하지 못할 수 있습니다.
핵심 정보
공격이 진행되는 방식
공격자는 시스템 지침 노출, 비밀정보 조회, 권한 없는 문서 검색, 외부 전송, 승인되지 않은 도구 호출을 유도합니다. 에이전트형 시스템은 영향이 실제 작업으로 이어질 수 있습니다.
운영 효과는 데이터 생성 지점, 처리 목적, 사용자와 관리자 권한, 외부 연동, 백업과 로그, 삭제 절차를 연결할 때 확보됩니다. 설계 문서와 실제 운영 상태가 다를 수 있으므로 설정값, 표본 데이터, 접근기록, 변경 이력을 근거로 검증합니다.
개인정보·시스템에 미치는 영향
대화 기록, 검색 문서, API 키, 고객정보가 출력되거나 외부로 전송될 수 있습니다. 잘못된 자동 작업과 데이터 삭제, 피싱 콘텐츠 생성도 발생할 수 있습니다.
개인정보 관련 위험에는 기밀성 침해, 잘못된 수정과 삭제, 서비스 중단, 부정확한 프로파일링, 차별적 의사결정, 계정 탈취, 사칭과 2차 피싱이 포함됩니다. 위험 평가는 정보의 민감도, 변경 가능성, 결합 가능성, 노출 기간, 대상 인원, 공격자의 실제 접근 능력을 반영합니다.
주요 징후와 조사 포인트
출력의 정책 위반, 예상하지 못한 도구 호출, 외부 콘텐츠를 읽은 직후의 행위 변화, 민감정보 접근 증가를 확인합니다. 전체 권한과 데이터 흐름을 기준으로 평가합니다.
검토 결과에는 적용 범위, 남은 위험, 책임자, 개선 기한, 재검증 조건을 기록합니다. 외부 서비스와 오픈소스 구성요소가 관련되면 계약서와 보안 공지, 버전, 데이터 처리 위치, 하위 수탁·의존 관계도 확인합니다.
예방과 대응
- 모델 입력과 외부 콘텐츠를 신뢰하지 않는 데이터로 취급합니다.
- 도구 권한과 데이터 접근을 최소화하고 고위험 작업은 사람 승인을 요구합니다.
- 민감정보를 프롬프트와 검색 인덱스에 불필요하게 넣지 않습니다.
- 출력·도구 호출을 정책 엔진에서 검증하고 공격 시나리오를 지속 시험합니다.
보호조치는 예방, 탐지, 대응, 복구 단계에 나누어 배치합니다. 한 통제가 우회되거나 오작동해도 피해가 곧바로 전체 데이터로 확산되지 않도록 권한·네트워크·데이터·로그 통제를 겹쳐 적용합니다.
혼동하기 쉬운 개념
모델의 지시 해석과 도구 권한을 악용합니다.