에이전틱 AI, 이제 '승인 버튼'만으로는 못 믿는 단계로 간다

• 에이전틱 AI(Agentic AI)가 커지면서 정책 논의의 초점이 '좋은 답변'에서 '안전한 실행'으로 이동 중임

  • 기존 생성형 AI는 틀린 정보를 말하는 정도가 주된 리스크였음
  • 에이전틱 AI는 외부 시스템에 접근하고, 계획을 세우고, 실행까지 할 수 있어서 오류가 바로 실제 피해로 이어질 수 있음

• 보고서가 문제 삼는 건 기존의 버튼 승인(Button Approval) 방식임

  • 버튼 승인은 AI가 무언가 하기 전에 사람이 한 번 확인하는 방식임
  • 근데 에이전트가 여러 단계로 판단하고 실행하면, 마지막 버튼 하나로 전체 맥락과 위험을 검증하기가 빡셈

• 한국지능정보사회진흥원은 주요국 제도 흐름도 같이 봤음

  • 유럽연합, 한국, 싱가포르, 미국의 AI 관련 제도를 조사해 각국이 자율성과 신뢰 문제를 어떻게 다루는지 확인함
  • 단순 규제 비교가 아니라, 실제로 에이전틱 AI를 신뢰 가능한 방식으로 굴리려면 어떤 설계가 필요한지까지 연결하려는 목적임

• 핵심 키워드는 하네스 엔지니어링(Harness Engineering)임

  • 에이전트에게 완전한 자유를 주는 게 아니라, 실행 범위와 권한, 검증 절차를 구조적으로 묶어두는 접근임
  • 쉽게 말하면 'AI야 알아서 해'가 아니라 '이 울타리 안에서, 이 조건을 만족할 때만 해'에 가까움

• 개발자에게도 남 얘기가 아님

  • 사내 업무 자동화, 고객지원 봇, 운영 자동화 에이전트처럼 외부 시스템과 연결되는 AI는 이미 계속 늘고 있음
  • 권한 관리, 로그, 롤백, 승인 플로우, 실패 시 복구 같은 엔지니어링 요소가 AI 신뢰성의 핵심으로 올라오는 흐름임

---

기술 맥락

• 여기서 중요한 선택은 에이전트에게 자율성을 줄 때 '사람이 마지막에 승인하면 되겠지'로 끝내지 않는 거예요. 에이전트는 한 번의 답변이 아니라 여러 단계의 행동을 만들기 때문에, 마지막 화면만 보고 위험을 판단하기 어렵거든요.

• 그래서 하네스 엔지니어링이 나와요. AI 모델 자체를 더 똑똑하게 만드는 것만으로는 부족하고, 실행 권한과 범위, 검증 조건을 시스템 레벨에서 감싸야 하기 때문이에요.

• 개발팀 관점에선 이게 제품 아키텍처 문제로 바로 이어져요. 에이전트가 어떤 API를 호출할 수 있는지, 어느 데이터까지 접근 가능한지, 실패했을 때 되돌릴 수 있는지 같은 설계가 신뢰성의 일부가 돼요.

• 정책 논의가 기술 설계와 붙는 이유도 여기에 있어요. 에이전틱 AI는 사회적 위험을 만들 수 있지만, 그 위험은 실제로는 권한 제어와 실행 로그, 승인 구조 같은 구현 디테일에서 터지거든요.