본문으로 건너뛰기
피드

국산 31B 의료 AI가 Claude Opus 4·GPT-5.1 넘었다 - 아크릴 ALLM.H 벤치마크 SOTA

ai-ml 약 4분
vote
0
댓글
북마크

아크릴이 Gemma 4(31B) 기반 의료 특화 모델 ALLM.H로 한국 의사국시 벤치마크에서 96.78% 정답률을 기록해 Claude Opus 4(96.55%)와 GPT-5.1(90.11%)을 상회함. 모델 크기가 아닌 데이터 전략과 파이프라인 설계로 성능을 끌어올린 사례로, 실제 병원 임상 실증도 예정되어 있음.

  • 1

    ALLM.H가 KorMedMCQA에서 96.78%로 Claude Opus 4, GPT-5.1, Gemini 2.5 Pro를 모두 상회함

  • 2

    31B 경량 모델로 72B급 이상 대형 모델 수준의 성능을 달성한 게 핵심임

  • 3

    구글 Gemma 4(31B) 기반 국내 최초 파인튜닝으로 개발됨

  • 4

    연세의료원, 경북대병원 등에서 온프레미스 방식으로 임상 실증 예정

  • 5

    향후 금융·법률·제조 등 다양한 산업 도메인으로 확장 계획

  • 아크릴이 자체 개발한 의료 특화 모델 ALLM.H가 한국 의사국시 벤치마크(KorMedMCQA)에서 96.78% 정답률로 SOTA 달성함
    • Claude Opus 4(96.55%), GPT-5.1(90.11%), Gemini 2.5 Pro(90.8%)를 모두 상회
    • 서울대병원의 오픈소스 의료모델 HARI(89.2%) 대비 7.58%p 앞섬
  • 핵심은 31B 규모의 경량 모델로 초대형 상용 모델을 이긴 점임
    • 72B 이상 초대형 모델이 아닌 31B 파라미터로 달성
    • 구글 Gemma 4(31B) 기반으로 국내 최초 파인튜닝 진행
    • 모델 크기가 아니라 고품질 데이터 구성과 학습·추론 파이프라인 설계로 성능을 끌어올림
  • 아크릴은 2024년 W&B 한국어 LLM 리더보드(호랑이 벤치)에서 오픈소스 부문 1위를 기록한 파인튜닝 역량 보유
    • 자체 LLM 평가 플랫폼 '조나단(Jonathan)'을 통한 모델 최적화 노하우 축적
  • ALLM.H는 산업 특화 파운데이션 모델 패밀리 'ALLM'의 첫 번째 결과물임
    • 의료·헬스케어 특화로 시작해 진료과별 패밀리 구조로 확장 예정
    • 향후 금융, 법률, 제조 등 다양한 산업 도메인으로 확장 계획
  • 실제 임상 환경에서의 실증도 예정됨
    • 보건복지부·과기정통부 주관 '닥터앤서 3.0', 'K-ARPA' 사업 기반
    • 연세의료원, 경북대학교병원 등에서 임상 의사결정 지원, 데이터 분석 등에 활용
    • 온프레미스 배포로 환자 데이터 보안 확보

기술 맥락

이 사례가 흥미로운 건 "작은 모델이 큰 모델을 이길 수 있다"는 걸 의료 도메인에서 구체적으로 보여줬기 때문이에요. Claude Opus 4나 GPT-5.1은 범용 모델이라 의료 지식도 잘 다루지만, 31B 규모의 도메인 특화 파인튜닝 모델이 이를 넘어선 건 데이터 전략의 중요성을 보여줘요. Gemma 4를 베이스로 선택한 것도 오픈소스 생태계 활용 측면에서 의미가 있어요. 다만 벤치마크 하나의 결과이므로 실제 임상에서의 성능은 별개의 문제예요. 온프레미스 배포 전략은 의료 데이터 주권 측면에서 현실적인 선택이에요.

도메인 특화 파인튜닝이 범용 초대형 모델을 이길 수 있다는 걸 의료 분야에서 구체적으로 입증한 사례임. 다만 단일 벤치마크 결과이므로 실제 임상 실증 결과가 더 중요한 검증 포인트가 될 것임.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.