---
title: "에이전틱 AI, 이제 '승인 버튼'만으로는 못 믿는 단계로 간다"
published: 2026-07-03T08:32:01.809Z
canonical: https://jeff.news/article/4544
---
# 에이전틱 AI, 이제 '승인 버튼'만으로는 못 믿는 단계로 간다

한국지능정보사회진흥원이 에이전틱 AI의 자율성이 커질수록 기존의 버튼 승인 방식만으로는 신뢰를 확보하기 어렵다는 보고서를 냈다. 핵심은 AI가 답변만 하는 도구에서 외부 시스템에 접근하고 실행까지 하는 주체로 바뀌면서, 오류의 피해 규모와 성격이 완전히 달라졌다는 점이다.

- 에이전틱 AI(Agentic AI)가 커지면서 정책 논의의 초점이 '좋은 답변'에서 '안전한 실행'으로 이동 중임
  - 기존 생성형 AI는 틀린 정보를 말하는 정도가 주된 리스크였음
  - 에이전틱 AI는 외부 시스템에 접근하고, 계획을 세우고, 실행까지 할 수 있어서 오류가 바로 실제 피해로 이어질 수 있음

- 보고서가 문제 삼는 건 기존의 버튼 승인(Button Approval) 방식임
  - 버튼 승인은 AI가 무언가 하기 전에 사람이 한 번 확인하는 방식임
  - 근데 에이전트가 여러 단계로 판단하고 실행하면, 마지막 버튼 하나로 전체 맥락과 위험을 검증하기가 빡셈

> [!IMPORTANT]
> 에이전틱 AI의 위험은 '틀린 말을 했다'가 아니라 '틀린 행동을 실행했다'로 바뀜. 이 차이가 정책과 제품 설계 양쪽에서 꽤 큼.

- 한국지능정보사회진흥원은 주요국 제도 흐름도 같이 봤음
  - 유럽연합, 한국, 싱가포르, 미국의 AI 관련 제도를 조사해 각국이 자율성과 신뢰 문제를 어떻게 다루는지 확인함
  - 단순 규제 비교가 아니라, 실제로 에이전틱 AI를 신뢰 가능한 방식으로 굴리려면 어떤 설계가 필요한지까지 연결하려는 목적임

- 핵심 키워드는 하네스 엔지니어링(Harness Engineering)임
  - 에이전트에게 완전한 자유를 주는 게 아니라, 실행 범위와 권한, 검증 절차를 구조적으로 묶어두는 접근임
  - 쉽게 말하면 'AI야 알아서 해'가 아니라 '이 울타리 안에서, 이 조건을 만족할 때만 해'에 가까움

- 개발자에게도 남 얘기가 아님
  - 사내 업무 자동화, 고객지원 봇, 운영 자동화 에이전트처럼 외부 시스템과 연결되는 AI는 이미 계속 늘고 있음
  - 권한 관리, 로그, 롤백, 승인 플로우, 실패 시 복구 같은 엔지니어링 요소가 AI 신뢰성의 핵심으로 올라오는 흐름임

---
## 기술 맥락

- 여기서 중요한 선택은 에이전트에게 자율성을 줄 때 '사람이 마지막에 승인하면 되겠지'로 끝내지 않는 거예요. 에이전트는 한 번의 답변이 아니라 여러 단계의 행동을 만들기 때문에, 마지막 화면만 보고 위험을 판단하기 어렵거든요.

- 그래서 하네스 엔지니어링이 나와요. AI 모델 자체를 더 똑똑하게 만드는 것만으로는 부족하고, 실행 권한과 범위, 검증 조건을 시스템 레벨에서 감싸야 하기 때문이에요.

- 개발팀 관점에선 이게 제품 아키텍처 문제로 바로 이어져요. 에이전트가 어떤 API를 호출할 수 있는지, 어느 데이터까지 접근 가능한지, 실패했을 때 되돌릴 수 있는지 같은 설계가 신뢰성의 일부가 돼요.

- 정책 논의가 기술 설계와 붙는 이유도 여기에 있어요. 에이전틱 AI는 사회적 위험을 만들 수 있지만, 그 위험은 실제로는 권한 제어와 실행 로그, 승인 구조 같은 구현 디테일에서 터지거든요.

## 핵심 포인트

- 에이전틱 AI는 판단, 계획, 실행까지 맡기 때문에 기존 생성형 AI보다 위험 범위가 넓다
- 기존의 버튼 승인 방식은 실행 전 확인에는 유용하지만 복잡한 자율 행동을 통제하기엔 한계가 있다
- 보고서는 유럽연합, 한국, 싱가포르, 미국의 제도 흐름과 하네스 엔지니어링 기반 설계 방식을 함께 다룬다

## 인사이트

개발자 입장에선 'AI가 뭘 말했나'보다 'AI가 뭘 해버렸나'가 더 중요한 시대로 넘어가는 신호임. 에이전트에 권한을 주는 순간, 제품 설계와 정책 설계가 거의 같은 문제로 붙어버림.