유럽연합 AI법, ‘고위험 AI’ 판정 기준이 훨씬 빡세졌다

고위험 AI 판단 기준이 ‘기술’에서 ‘용도’로 이동함

• 유럽연합 집행위원회(EC)가 AI법 시행을 앞두고 고위험 인공지능 시스템(HRAIs) 분류 가이드라인 초안을 공개함

  • 핵심은 AI가 얼마나 복잡한 기술인지가 아니라, 개발자가 그 AI를 어떤 용도로 만들었는지를 본다는 점
  • 제품 설명서, 광고 문구, 기술 문서 같은 공식 자료가 판단 근거가 됨

• 범용 인공지능(GPAI)도 “우린 범용 모델인데요?”만으로 빠져나가기 어려움

  • 고위험 용도가 배제되도록 설계되지 않았다면, 실제 서비스 통합 과정에서 고위험으로 분류될 수 있음
  • 약관에 “고위험 영역에 쓰지 마세요”라고 써두는 것만으로는 규제 회피가 안 된다는 얘기임

기업 자체 판단도 당국 검증을 피하기 어려움

• 기업이 스스로 “우리 AI는 고위험이 아님”이라고 판단해도 끝이 아님

  • EU는 고위험 규제를 받지 않겠다고 주장하려면 자체 평가서를 출시 전에 당국에 등록하도록 요구함
  • 고의로 허위 분류한 게 적발되면 벌금까지 이어질 수 있음

• 원문은 한국 AI 법안과의 차이도 짚고 있음

  • 한국은 기업 자율 판단의 한계, 불이행 제재, 사후 보완 장치가 상대적으로 약하다는 지적이 나옴
  • 반면 EU는 사전 문서화와 당국 검증을 통해 빠져나갈 구멍을 좁히는 쪽에 가까움

• 고위험 영역에 쓰인다고 해서 무조건 규제 대상은 아님. 단순 보조 기능은 제외될 수 있음

  • 서류 포맷 변환 같은 단순 행정 작업
  • 사람이 이미 내린 결정을 다듬는 작업
  • 과거 결정 패턴을 사후 분석하는 통계 작업
  • 인간 판단을 돕기 위해 자료를 요약하는 준비 작업
  • 다만 사람의 성향을 분석하고 등급을 매기는 프로파일링은 제외 기준과 무관하게 고위험 규제를 받음

에이전트형 AI는 모듈 쪼개기로 버티기 힘들어짐

• 초안은 에이전트형 AI를 평가할 때 시스템 전체를 하나의 AI 시스템으로 보겠다고 밝힘

  • 여러 AI가 협력하거나 단계적으로 판단하는 구조를 “각 모듈은 안전함”이라고 쪼개서 주장하기 어렵게 만든 것
  • 요즘 서비스가 단일 모델 호출보다 플래너, 도구 호출, 검색, 실행 모듈을 엮는 구조로 가는 걸 감안한 기준임

• 안전구성요소(Safety component)에 AI가 들어가는 경우도 고위험 규제 대상이 될 수 있음

  • 의료기기, 자동차 안전장치, 스마트홈의 가스·보안 차단기처럼 오작동 시 신체나 재산에 직접 피해가 나는 영역이 해당됨
  • 단순 편의 기능인지, 안전과 직결된 기능인지가 제품 스크리닝에서 중요해짐

sequenceDiagram
    participant 기업 as AI 기업
    participant 문서 as 제품 문서
    participant 시스템 as 통합 시스템
    participant 당국 as 유럽 당국
    participant 시장 as 유럽 시장
    기업->>문서: 의도된 목적과 사용 범위 작성
    기업->>시스템: 모델과 모듈을 서비스로 통합
    시스템->>당국: 고위험 여부 자체 평가 제출
    당국->>문서: 설명서·광고·기술 문서 검토
    당국->>시스템: 실제 기능과 영향 범위 확인
    당국->>시장: 출시 가능 여부와 규제 의무 판단

사람이 승인한다고 면제되는 분위기가 아님

• EU는 인간의 감독이나 개입이 규제 면제의 방패가 될 수 없다고 못 박는 쪽임
  • 관리자가 비상정지 버튼을 갖고 있거나, 사람이 최종 승인 버튼을 누른다는 이유만으로 충분하지 않다는 입장
  • AI의 처리 속도와 복잡성이 커져서 사람이 모든 건을 실질적으로 판단하기 어렵다는 현실을 반영함

한국 기업이 당장 봐야 할 체크리스트

• 유럽 시장에 AI 솔루션을 내는 기업은 국내 AI기본법 기준만 보고 가면 위험함

  • EU 기준은 제품 설계 단계부터 고위험 용도 여부, 문서화, 자체 평가, 당국 등록 가능성을 같이 봐야 함
  • 특히 채용, 금융 대출, 의료, 기반시설처럼 사람의 권리나 안전에 영향을 주는 영역은 초기부터 별도 리스크 평가가 필요함

• 해외 범용 인공지능 모델을 가져와 특화 서비스로 만드는 기업도 제공자(Provider) 리스크를 봐야 함

  • 단순히 모델 API를 썼다는 이유로 책임이 사라지는 구조가 아님
  • 서비스 통합 과정에서 의도된 목적이나 기능이 고위험 용도로 바뀌면 규제 대상이 될 수 있음

• 하드웨어 결합형 AI 제품은 2028년 8월 유예 시점 전까지 준비가 필요함

  • 스마트홈, 의료기기, 안전장치 쪽은 AI가 안전구성요소인지 미리 스크리닝해야 함
  • 제3자 적합성 평가 비용과 문서화 요건이 스타트업에는 꽤 큰 진입 장벽이 될 수 있음

기술 맥락

• 이번 가이드라인의 핵심은 AI를 모델 단위가 아니라 제품 목적과 시스템 영향으로 본다는 점이에요. 왜냐하면 같은 범용 인공지능 모델이라도 고객지원 챗봇에 붙는지, 채용 평가나 대출 심사에 붙는지에 따라 사람에게 미치는 영향이 완전히 달라지거든요.

• 에이전트형 AI를 시스템 전체로 평가하겠다는 부분도 중요해요. 요즘 서비스는 모델 하나가 답하는 구조보다 검색, 도구 호출, 워크플로 실행이 엮인 형태가 많아서, 모듈 하나씩 보면 위험이 작아 보여도 최종 출력은 꽤 큰 결정을 만들 수 있어요.

• Human-in-the-loop가 만능 방패가 아니라는 지적도 실무적으로 뼈아파요. 사람이 승인 버튼을 누르더라도 입력이 너무 많거나 판단 근거가 복잡하면 실질 검토가 아니라 형식적 승인에 가까워질 수 있거든요.

• 한국 기업 입장에서는 개발 문서, 제품 설명, 약관, 리스크 평가서가 서로 맞물려야 해요. 왜냐하면 EU는 “우리는 그런 용도로 만든 게 아님”이라는 말보다, 실제 설계와 통합 방식이 고위험 사용을 막고 있는지를 보려는 쪽이기 때문이에요.