가트너 “사람이 승인했다고 AI를 통제한 건 아니다”

• 가트너가 에이전틱 AI 시대의 꽤 불편한 지점을 찔렀음 — “사람이 승인했으니 안전하다”는 말이 점점 빈말이 될 수 있다는 얘기임

  • AI가 결정을 위한 정보와 환경을 다 갖고 있고, 사람은 마지막에 승인만 누르면 실제 결정권자는 누구냐는 질문이 생김
  • 가트너는 이걸 ‘인간 개입 루프(HITL) 착각’이라고 봄

• 핵심은 사람이 개입하는 것처럼 보이지만, 실제론 사람이 빠져 있는 구조가 많다는 거임

  • AI 의사결정 과정을 누가 확인할 수 있는지 불명확함
  • 문제가 생겼을 때 누가 멈출 수 있는지도 애매함
  • 결과에 이의를 제기하는 절차와 최종 책임자도 흐릿한 경우가 많음

• 더 무서운 건 시간이 지날수록 검증 강도가 낮아질 수 있다는 점임

  • AI 도입 초기에는 사람이 결과를 꽤 열심히 검토함
  • 그런데 “대체로 맞네?”라는 경험이 쌓이면 점점 숙고 없이 승인만 누르게 됨
  • 결국 검토 절차가 아니라 확인용 클릭으로 변질될 수 있음

• 가트너가 제안한 해법은 AI 정책을 문서 몇 장으로 끝내지 말고, 권한과 책임을 설계에 박아 넣으라는 쪽임

  • AI 결정을 누가 중단할 수 있는지 명확히 해야 함
  • 누가 이의를 제기할 수 있고 어떤 경로로 제기하는지도 정해야 함
  • AI 결정마다 누가 검토했고 누가 책임자인지 기록해야 함

• 기업 입장에선 ‘사람이 최종 판단한다’는 문구만으론 부족함

  • 사람이 AI 통찰을 참고하되 최종 판단 능력을 유지하도록 프로세스를 짜야 함
  • AI가 독립적으로 행동할 수 있는 상황과 그렇지 않은 상황을 나눠야 함
  • 문제가 터졌을 때 책임자를 얼마나 빨리 특정할 수 있는지도 점검 대상임

---

기술 맥락

• 여기서 중요한 건 에이전틱 AI 자체보다 운영 모델이에요. 모델이 업무를 자동화할수록 “사람이 최종 승인”이라는 말이 통제 장치처럼 보이지만, 실제론 승인자가 판단 근거를 이해하지 못하면 책임만 떠안는 구조가 되거든요.

• 그래서 가트너가 말하는 중단 권한과 이의 제기 권한이 중요해요. AI가 추천한 채용, 대출, 보안 차단, 구매 승인 같은 결정을 사람이 뒤집을 수 없다면 그건 사람 중심 설계가 아니라 자동화된 결정에 인간 도장을 찍는 흐름에 가까워요.

• 기록도 단순 감사 로그 이상의 의미가 있어요. 누가 어떤 AI 결과를 보고 승인했는지, 어떤 근거로 수정했는지 남아야 사고가 났을 때 원인을 추적할 수 있어요. 이게 없으면 “AI가 그랬다”와 “사람이 승인했다” 사이에서 책임이 증발해요.

• 개발팀 관점에선 정책 문서보다 제품 요구사항에 가까운 문제예요. 승인 화면, 설명 가능성, 롤백 버튼, 예외 처리, 관리자 권한이 처음부터 설계돼야 사람이 진짜 루프 안에 남아 있을 수 있어요.