한국 AI안전연구소, 국내외 AI 모델 42종 안전성 평가했다

• 한국 AI안전연구소(AISI)가 국내외 AI 모델 42종에 대해 안전성 평가를 수행했다고 밝혔어

  • 2025년에 29종, 2026년에 13종을 평가했다는 숫자가 공개됐어
  • 평가 데이터셋과 시나리오는 6만여 개를 확보 중이라고 함
  • 과학기술정보통신부가 이 내용을 설명한 건, 일부에서 “AI안전연구소가 CBRN 평가 실적이 없다”고 문제를 제기했기 때문이야

• 이번에 특히 눈에 띄는 건 CBRN 평가가 포함됐다는 점이야

  • CBRN은 화학·생물·방사선·핵을 뜻해
  • 쉽게 말하면 AI 모델이 화학무기 합성, 병원균 설계, 핵 장치 조립 같은 위험 정보를 얼마나 제공할 수 있는지 보는 평가야
  • AI의 무기화 가능성을 줄이기 위한 안전성 테스트라고 보면 돼

• 평가 대상에는 글로벌 모델과 국내 모델이 같이 들어갔어

  • 클로드, 챗GPT, 제미나이, 그록, 딥시크 같은 해외 모델이 언급됐어
  • 카나나, 가우스, 엑사원 등 국내 주요 AI 모델도 평가 항목에 포함됐다고 해
  • 카카오 AI 모델 평가 보고서는 최근 공식 발표된 바 있고, 일부 결과는 비공개 조건이나 민감도 때문에 공개하기 어렵다는 설명도 붙었어

• 과기정통부와 AISI의 설명은 “실적이 없던 게 아니라, 공개 자료 접근이 잠깐 어려웠다”에 가까워

  • AISI는 5월 13일에 42종 모델 평가 수행 실적을 홈페이지에 이미 올렸다고 밝혔어
  • 다만 내부 전기 작업 공사로 홈페이지가 일시 중단돼 주말 동안 확인이 어려웠고, 현재는 정상 운영 중이라고 설명했어
  • 그러니까 쟁점은 평가 자체의 부재라기보다, 공개 자료 접근성과 커뮤니케이션 문제에 가까워 보여

• 김명주 AISI 소장은 한국이 CBRN 평가국으로 손꼽힌다고 강조했어

  • 전 세계적으로 CBRN 평가를 수행하는 곳으로 미국, 영국에 이어 한국 AISI를 언급했어
  • 국내 독자 파운데이션 모델 선정에도 AISI 평가가 반영됐다고 밝혔어
  • 이 말이 사실상 중요한데, 앞으로 국내 AI 모델이 정부 과제나 공공 도입으로 가려면 안전성 평가가 점점 더 큰 관문이 될 수 있다는 뜻이거든

• AISI는 2024년 11월 ETRI 산하 기관으로 설립됐어

  • 설립 목적은 AI 위험에 체계적이고 전문적으로 대응하는 것
  • 과기정통부는 앞으로도 상시·정기 안전성 평가를 계속하고, 평가 결과와 AI 안전 가이드라인을 공개·확산하겠다고 밝혔어
  • 국내 기업 입장에서는 “성능 좋은 모델”만으로는 부족하고, 위험 요청 대응·평가 리포트·가이드라인 준수까지 챙겨야 하는 시대로 들어가는 셈이야

---

기술 맥락

• 이번 평가의 핵심은 AI 모델을 “얼마나 똑똑한가”가 아니라 “위험한 요청에 어떻게 반응하는가”로 본다는 점이에요. CBRN 평가는 모델이 화학무기, 병원균, 핵 장치 같은 고위험 지식에 대해 어디까지 답하는지 확인하기 때문에 일반 벤치마크와 성격이 달라요.

• AISI가 42종 모델과 6만여 개 평가 데이터셋·시나리오를 언급한 이유는 안전 평가가 단발성 질의 몇 개로 끝나는 작업이 아니기 때문이에요. 모델마다 거절 정책, 우회 질문 대응, 민감 정보 처리 방식이 달라서 다양한 시나리오를 쌓아야 결과를 비교할 수 있거든요.

• 국내 독자 파운데이션 모델 선정에 AISI 평가가 반영됐다는 대목도 중요해요. 정부 지원이나 공공 활용을 노리는 모델이라면 성능, 비용, 한국어 품질뿐 아니라 위험 능력 평가까지 준비해야 한다는 신호로 읽을 수 있어요.

• 공개가 제한되는 평가 결과가 있다는 설명도 현실적인 부분이에요. CBRN 평가 결과를 너무 자세히 공개하면 어떤 질문이 위험한 답변을 끌어내는지 역으로 알려줄 수 있어서, 투명성과 보안 사이에서 조절이 필요하거든요.