AI 도입 속도전보다 무서운 건 책임 공백, 기업 거버넌스가 진짜 숙제로 떠오름

AI가 빨라질수록, 룰은 더 늦어지는 중

• 데미스 허사비스 구글 딥마인드 CEO는 범용인공지능(AGI)이 5년 안에 올 수 있다고 봄

  • 그는 AI가 산업혁명보다 10배 더 크고 빠른 파급력을 가질 것이라고 말함
  • 알파고를 만든 인물이자 지난해 노벨화학상까지 받은 인물이 한국에서 한 발언이라 상징성이 큼

• 문제는 기술이 너무 빨라서 규범과 운영 체계가 따라가지 못한다는 점임

  • 기업들은 AI를 생존 전략처럼 도입하고 있지만, 검증·통제·책임 체계는 아직 느림
  • 그래서 ‘책임 있는 AI’와 AI 거버넌스가 단순 윤리 구호가 아니라 실제 운영 문제가 되고 있음

• AI 거버넌스는 AI 개발과 활용 전반에서 안전성, 윤리성, 공정성을 확보하는 체계임

  • 정책, 규정, 절차, 운영 관행까지 포함함
  • 정부만의 문제가 아니라 AI를 쓰는 기업 내부의 문제이기도 함

기업 내부로 들어온 AI 거버넌스

• 김성준 국민대 겸임교수는 AI를 이해관계자가 많은 기술로 봄

  • 개발자, 경영진, 사용자, 사회, 규제기관의 목적과 기준이 충돌할 수밖에 없다는 얘기
  • 오픈AI의 ‘성인 모드’ 검토처럼 수익과 이용자 확대, 윤리와 ESG 기준이 부딪히는 사례가 대표적임

• OECD AI 원칙은 글로벌 거버넌스 논의의 기본 틀로 언급됨

  • 2019년에 수립되고 2024년에 개정됨
  • 포용적 성장, 지속가능한 개발과 웰빙, 인권과 민주적 가치, 투명성과 설명 가능성, 견고성·보안성·안전성, 책임성을 다룸

• 앤트로픽은 자사 모델 클로드가 어떻게 판단하고 행동해야 하는지 ‘클로드 헌법’으로 규정하고 있음

  • 핵심 안전 정책으로는 책임 있는 확장 정책(RSP)을 둠
  • 미국 정부와 AI 윤리를 둘러싸고 대립하는 와중에도 자체 안전 기준을 운영하는 사례로 소개됨

• 국내 기업들도 내부 AI 통제 체계를 만들기 시작함

  • SK텔레콤은 2024년 AI 거버넌스 원칙 ‘T.H.E AI’를 공개하고 AI 헌장과 행동규범을 세움
  • 지난해에는 AI 서비스 위험을 평가·관리하는 사내 ‘AI 거버넌스 포털’을 구축함
  • 여기에는 통제를 벗어난 자율 작동을 막는 중단 조치, AI 오류·환각 위험 관리, 책임 체계 진단 항목이 들어감

• 카카오는 ‘카카오 AI 세이프티 이니셔티브’를 운영함

  • AI 개발과 운영 과정에서 위험을 사전에 식별하고 관리하는 체계
  • 카카오 쪽은 정부나 국제사회의 규제·표준 수립이 현장 속도를 따라가지 못하니, 기업이 내부 통제와 책임 체계를 정비해야 한다고 봄

“AI가 만든 결과물”을 어디까지 믿을 건가

• 기업들의 새 숙제는 직원이 AI 결과물을 업무에 어떻게 쓰고 책임질지 정하는 것임

  • AI가 만든 결과를 쓰기 전에 사실관계, 인용자료 오류, 출처를 사용자가 직접 검수하도록 하는 가이드라인이 논의되고 있음
  • 이건 개발자에게도 코드 리뷰, 보안 검토, 배포 승인과 바로 연결되는 문제임

• 아마존 사례는 꽤 현실적인 경고임

  • 파이낸셜타임스에 따르면 아마존 쇼핑 사이트가 6시간 동안 오류를 일으키는 등 대형 장애가 이어짐
  • 원인 중 하나로 ‘생성형 AI를 활용한 변경’이 지목됨
  • 이후 주니어·중급 엔지니어가 AI로 생성한 코드를 배포하기 전 반드시 시니어 엔지니어 승인을 거치도록 함

• 법조계에서도 비슷한 문제가 터지고 있음

  • AI가 만들어낸 ‘가짜 판례’를 그대로 인용하는 사례가 국내외에서 나옴
  • 개발자 세계의 AI 코드 환각과 법조계의 가짜 판례는 분야만 다를 뿐, 검증 없는 자동화가 위험하다는 점에서는 같은 문제임

• 김성준 교수는 ‘휴먼 인더 루프(Human in the loop)’ 원칙을 강조함

  • AI가 의사결정을 보조하더라도 최종 판단은 인간이 내려야 한다는 원칙
  • 거버넌스가 작동하려면 구성원과 경영진이 실제 의사결정에서 그 기준을 따라야 함

거버넌스는 사회 설계 문제로 커지는 중

• 아직 많은 기업은 AI 거버넌스보다 AI 도입 자체에 더 무게를 두는 분위기임

  • 한 제조기업 직원은 보안 등급처럼 직무와 업무별 AI 도구 사용 범위만 안내할 뿐, 조직 전반 원칙은 없는 상황이라고 말함
  • 이 정도면 “AI 써도 됨, 근데 알아서 조심”에 가까운 단계임

• 피지컬 AI가 제조 현장에 들어오면 갈등은 더 커질 수 있음

  • 전문가들은 로봇으로 대표되는 피지컬 AI가 도입되면서 노사 갈등이 본격화할 것으로 봄
  • 현대자동차 노조가 노사 합의 없이 휴머노이드 로봇 ‘아틀라스’ 도입을 받아들일 수 없다고 반발한 사례가 언급됨

• 한국은 올해 1월 AI 기본법을 시행하며 국가 차원의 거버넌스 확립을 추진 중임

  • 정식 명칭은 ‘인공지능 발전과 신뢰기반조성 등에 관한 기본법’
  • 이재명 정부는 모두가 AI 혜택을 누리는 ‘AI 기본사회’ 개념도 제시함
  • 다만 산업 육성에 치우쳤고 안전·인권 보호 장치가 더 촘촘해야 한다는 지적도 있음

• 박성필 카이스트 문술미래전략대학원장은 ‘예견적 거버넌스’를 강조함

  • 문제가 터진 뒤 대응하는 방식으로는 AI 속도를 따라갈 수 없다는 얘기
  • 정부, 기업, 시민 등 다양한 이해당사자가 참여하되 논의 속도도 높여야 한다고 봄

• AI 책임 문제는 이미 현실의 법적 쟁점으로 넘어오고 있음

  • 자율주행차 사고처럼 AI가 개입된 상황에서 누가 법적 책임을 질지 따져야 함
  • 미국과 유럽에서는 AI 챗봇이 자살을 방조했다며 책임을 묻는 소송도 제기되고 있음
  • 박 원장은 기존의 인간 중심 책임 체계를 AI에 맞게 재설계할 수밖에 없다고 봄

---

기술 맥락

• 이 기사에서 핵심 선택은 “AI를 빨리 도입할 것인가”가 아니라 “AI를 어떤 통제 구조 안에서 쓸 것인가”예요. 모델 성능이 좋아질수록 잘못된 결과도 더 그럴듯해져서, 검수와 책임 구조가 없으면 조직 리스크가 커지거든요.

• 휴먼 인더 루프가 중요한 이유는 AI가 판단을 보조해도 최종 책임은 사람이 져야 하기 때문이에요. 아마존의 AI 생성 코드 승인 강화처럼, 실제 운영에서는 누가 리뷰하고 누가 배포 승인하는지가 장애를 막는 마지막 방어선이 돼요.

• 기업 거버넌스는 선언문보다 워크플로에 들어가야 해요. 예를 들어 AI 코드 사용 기준, 시니어 리뷰 조건, 환각 검증 체크리스트, 긴급 중단 절차가 실제 개발·배포 파이프라인에 붙어야 작동하거든요.

• 피지컬 AI까지 가면 영향 범위가 더 넓어져요. 챗봇은 잘못 답하면 정정할 수 있지만, 제조 현장의 로봇이나 자율주행 시스템은 안전, 노동, 법적 책임까지 바로 연결되기 때문이에요.

• 그래서 AI 거버넌스는 개발팀만의 문제가 아니에요. 법무, 보안, 인사, 현장 운영, 경영진이 같은 기준으로 움직여야 하고, 그 기준도 기술 변화에 맞춰 계속 업데이트돼야 해요.