가트너가 꼽은 AI 시대 4대 보안 리스크, 딥페이크부터 프롬프트 인젝션까지

• 가트너가 AI 확산으로 커지는 주요 사이버 위협 4가지를 찍어서 경고함

  • 딥페이크
  • AI 애플리케이션 침해
  • 프롬프트 인젝션
  • 소프트웨어 공급망 공격
  • 생성형 AI와 에이전틱 AI가 기업 혁신을 밀어주는 동시에, 공격자에게도 새 무기를 주고 있다는 얘기임

• 딥페이크는 이제 웃긴 영상 수준이 아니라 인증과 신뢰 체계를 흔드는 공격 도구로 보고 있음

  • 음성, 영상, 이미지 생성 능력이 좋아지면서 실시간 신원 사칭 공격 위험이 커짐
  • 공격자는 생체인증을 우회하거나, 임직원을 속이는 사회공학 공격을 하거나, 채용 절차를 교란할 수 있음
  • 가트너는 단순 탐지 기술만으로는 부족하고 인증 체계 강화, 조건부 접근 정책, 회의 보안 강화 같은 다층 방어가 필요하다고 봄

• 기업 안에 AI 앱이 늘어날수록 공격 표면도 같이 넓어짐

  • 자체 개발 에이전트, 서드파티 연동 서비스, 임직원 전용 AI 도구가 늘면서 민감 데이터와 자격 증명이 노출될 가능성이 커짐
  • 가트너는 AI 개발과 운영 과정에 신뢰·위험·보안 관리(TRiSM) 프레임워크를 적용하라고 권고함
  • AI 앱을 업무에 붙이는 순간, 보안팀 입장에서는 또 하나의 SaaS가 아니라 권한 있는 자동화 주체가 생긴 셈임

• 프롬프트 인젝션은 대규모 언어 모델(LLM)을 쓰는 조직이라면 꽤 현실적인 리스크임

  • 공격자가 악성 프롬프트를 주입해 모델의 동작을 왜곡할 수 있음
  • 결과적으로 민감 정보를 빼내거나, 권한 없는 작업을 수행하도록 유도할 수 있음
  • 대응책으로는 입력값 검증, AI 보안 테스트, 런타임 가드레일, 지속적인 모니터링이 제시됨

• 공급망 공격도 AI 때문에 더 복잡해지고 있음

  • 생성형 AI 확산으로 오픈소스 소프트웨어와 AI 모델을 가져다 쓰는 경우가 늘어남
  • 가트너는 소프트웨어 자재명세서(SBOM)와 AI 자재명세서(AIBOM)를 확보하라고 조언함
  • 검증된 저장소 사용, 코드 서명, 최소 권한 접근 통제도 개발과 운영 전 과정에 적용해야 한다고 봄

• 가트너의 메시지는 결국 “AI 보안은 모델만 보면 안 된다”에 가까움

  • 딥페이크는 사람 인증을 흔들고, AI 앱 침해는 내부 데이터와 권한을 건드림
  • 프롬프트 인젝션은 모델 동작을 비틀고, 공급망 공격은 개발 단계부터 오염시킴
  • 존 왓츠 가트너 VP 애널리스트는 보안 책임자가 변화하는 위협 신호를 계속 식별하고 대응 체계를 구축해야 한다고 말함

---

기술 맥락

• 가트너가 네 가지 위협을 같이 묶은 이유는 AI 보안이 모델 내부 문제만이 아니기 때문이에요. 딥페이크는 사람을 속이고, 프롬프트 인젝션은 모델 동작을 속이고, 공급망 공격은 개발자가 가져다 쓰는 구성 요소를 속이거든요.

• 프롬프트 인젝션 대응에서 입력값 검증과 런타임 가드레일이 같이 나오는 것도 이유가 있어요. 악성 지시가 사용자 입력에만 있는 게 아니라 문서, 웹페이지, 외부 도구 응답 안에 숨어 들어올 수 있어서 실행 중 감시가 필요해요.

• SBOM과 AIBOM은 “우리가 뭘 쓰는지 알고 있느냐”를 묻는 장치예요. 오픈소스 라이브러리, AI 모델, 데이터, 외부 저장소가 얽힌 상태에서 침해가 터지면 구성 요소 목록이 있어야 영향 범위를 빨리 좁힐 수 있어요.

• 기업 입장에서는 AI 도입 속도와 보안 통제가 자주 충돌해요. 빠르게 붙인 사내 AI 도구가 민감 데이터와 권한을 다루기 시작하면, 나중에 보안을 덧붙이는 방식으로는 빈틈이 남기 쉬워요.