--- title: "가트너 “사람이 승인했다고 AI를 통제한 건 아니다”" published: 2026-06-06T07:05:01.497Z canonical: https://jeff.news/article/3754 --- # 가트너 “사람이 승인했다고 AI를 통제한 건 아니다” 가트너가 에이전틱 AI 확산과 함께 ‘사람이 최종 승인했으니 안전하다’는 믿음이 흔들릴 수 있다고 경고했다. AI가 사실상 결정을 만들고 사람은 승인 버튼만 누르는 구조가 되면, 통제권·이의 제기·책임 소재가 모두 흐려질 수 있다는 지적이다. - 가트너가 에이전틱 AI 시대의 꽤 불편한 지점을 찔렀음 — “사람이 승인했으니 안전하다”는 말이 점점 빈말이 될 수 있다는 얘기임 - AI가 결정을 위한 정보와 환경을 다 갖고 있고, 사람은 마지막에 승인만 누르면 실제 결정권자는 누구냐는 질문이 생김 - 가트너는 이걸 ‘인간 개입 루프(HITL) 착각’이라고 봄 - 핵심은 사람이 개입하는 것처럼 보이지만, 실제론 사람이 빠져 있는 구조가 많다는 거임 - AI 의사결정 과정을 누가 확인할 수 있는지 불명확함 - 문제가 생겼을 때 누가 멈출 수 있는지도 애매함 - 결과에 이의를 제기하는 절차와 최종 책임자도 흐릿한 경우가 많음 > [!IMPORTANT] > 승인 버튼을 누른 사람이 있다고 해서 그 사람이 AI 결정을 통제했다는 뜻은 아님. 통제권은 “멈출 수 있는가”, “설명 요구가 가능한가”, “책임자를 특정할 수 있는가”에서 갈림. - 더 무서운 건 시간이 지날수록 검증 강도가 낮아질 수 있다는 점임 - AI 도입 초기에는 사람이 결과를 꽤 열심히 검토함 - 그런데 “대체로 맞네?”라는 경험이 쌓이면 점점 숙고 없이 승인만 누르게 됨 - 결국 검토 절차가 아니라 확인용 클릭으로 변질될 수 있음 - 가트너가 제안한 해법은 AI 정책을 문서 몇 장으로 끝내지 말고, 권한과 책임을 설계에 박아 넣으라는 쪽임 - AI 결정을 누가 중단할 수 있는지 명확히 해야 함 - 누가 이의를 제기할 수 있고 어떤 경로로 제기하는지도 정해야 함 - AI 결정마다 누가 검토했고 누가 책임자인지 기록해야 함 - 기업 입장에선 ‘사람이 최종 판단한다’는 문구만으론 부족함 - 사람이 AI 통찰을 참고하되 최종 판단 능력을 유지하도록 프로세스를 짜야 함 - AI가 독립적으로 행동할 수 있는 상황과 그렇지 않은 상황을 나눠야 함 - 문제가 터졌을 때 책임자를 얼마나 빨리 특정할 수 있는지도 점검 대상임 --- ## 기술 맥락 - 여기서 중요한 건 에이전틱 AI 자체보다 운영 모델이에요. 모델이 업무를 자동화할수록 “사람이 최종 승인”이라는 말이 통제 장치처럼 보이지만, 실제론 승인자가 판단 근거를 이해하지 못하면 책임만 떠안는 구조가 되거든요. - 그래서 가트너가 말하는 중단 권한과 이의 제기 권한이 중요해요. AI가 추천한 채용, 대출, 보안 차단, 구매 승인 같은 결정을 사람이 뒤집을 수 없다면 그건 사람 중심 설계가 아니라 자동화된 결정에 인간 도장을 찍는 흐름에 가까워요. - 기록도 단순 감사 로그 이상의 의미가 있어요. 누가 어떤 AI 결과를 보고 승인했는지, 어떤 근거로 수정했는지 남아야 사고가 났을 때 원인을 추적할 수 있어요. 이게 없으면 “AI가 그랬다”와 “사람이 승인했다” 사이에서 책임이 증발해요. - 개발팀 관점에선 정책 문서보다 제품 요구사항에 가까운 문제예요. 승인 화면, 설명 가능성, 롤백 버튼, 예외 처리, 관리자 권한이 처음부터 설계돼야 사람이 진짜 루프 안에 남아 있을 수 있어요. ## 핵심 포인트 - AI 의사결정에서 사람의 개입이 실제 통제인지 형식적 승인인지 구분해야 함 - 중단 권한, 이의 제기 권한, 책임 주체를 AI 정책에 명확히 넣어야 함 - AI 결정마다 누가 검토했고 누가 책임지는지 기록하는 체계가 필요함 ## 인사이트 에이전틱 AI가 실무에 들어오면 진짜 위험은 모델이 똑똑해지는 것보다 조직이 ‘사람이 봤다’는 체크박스로 책임을 덮는 쪽에 가까움. 승인 버튼 하나로 거버넌스를 퉁치면 사고 났을 때 아무도 설명 못 하는 구조가 됨.