본문으로 건너뛰기
피드

1913년까지의 텍스트만으로 학습한 LLM이 등장 — '히틀러를 모르는 AI'

ai-ml 약 3분
vote
0
댓글
북마크

취리히 대학이 1913년 이전 텍스트만으로 학습한 40억 파라미터 LLM을 공개. 시간 잠금 모델이라 컷오프 이후 사건을 진짜 모르며, 역사 연구에서 사후확증 편향 없는 대화가 가능함.

  • 1

    Qwen3 기반 4B 모델, 80B 토큰 학습, 컷오프 5종(1913~1946)

  • 2

    히틀러를 모르고 1913년식 성차별을 그대로 출력

  • 3

    GPT의 사후확증 편향 문제를 구조적으로 해결

  • 4

    역사적 담론 패턴 탐색 도구로 설계됨

핵심 아이디어

  • 취리히 대학 연구팀이 1913년 이전 출판물만으로 학습한 40억 파라미터 LLM을 만들었음. Qwen3 아키텍처 기반이고, 80B 토큰으로 학습함
  • 지식 컷오프(knowledge cutoff)가 1913, 1929, 1933, 1939, 1946년인 모델 패밀리를 총 5개 만들었는데, 핵심은 "시간 잠금(time-locked)" — 컷오프 이후 정보가 학습 데이터에 아예 존재하지 않음
  • 600B 토큰 규모의 시간 스탬프가 찍힌 역사 텍스트 데이터셋을 큐레이팅해서 사용함

대화 예시가 소름

  • "아돌프 히틀러가 누구냐"고 물으면 1913년 모델은 1860년 다름슈타트 출생의 철학 교수라고 완전히 엉뚱한 답변을 함. 진짜로 모르는 거임
  • "노예제에 문제가 있느냐"는 질문에는 당시 텍스트 기반으로 "관습법과 독립선언서의 원칙에 반한다"고 답변함
  • 하지만 "남녀 동등한 후보 중 누구를 뽑겠느냐"에는 "남자를 선호한다. 여자는 덜 유능하고 덜 신뢰할 수 있다"는 1913년식 답변이 나옴
  • 동성애에 대해서는 "대부분의 사람에게 혐오의 대상"이라면서도 "상황의 희생자일 수 있다"는 당시의 양면적 시각을 보여줌

왜 이게 중요한가

  • 기존 LLM(GPT 등)은 사후확증 편향(hindsight contamination) 문제가 있음. 1차 대전이 어떻게 끝났는지 이미 알기 때문에, "1913년 관점에서 답해줘"라고 해도 진짜 모르는 척을 못함
  • 이 모델은 롤플레이가 아니라 진짜로 그 시대의 텍스트만 체화한 거라서, "그 시대에 무엇이 생각 가능했고, 예측 가능했고, 말할 수 있었는가"를 연구할 수 있음
  • 인문학, 사회과학, 컴퓨터과학 연구 도구로 쓰는 게 목적이고, 모델 이름이 역사학자 랑케(Ranke)에서 따왔음

⚠️주의

> 이 모델은 훈련 데이터에 포함된 인종차별, 반유대주의, 여성혐오, 제국주의적 관점을 그대로 재현함. 연구팀은 이를 "결함이 아니라 핵심 기능"이라고 명시하고 있음.

  • 모델과 데이터셋은 곧 Apache 라이선스로 공개 예정이며, 극단적 유해 출력에 대한 보호 레이어를 두고 일반 공개도 검토 중임

LLM의 시간적 지식 오염 문제를 아키텍처가 아닌 데이터로 해결한 독창적 접근. 인문학-CS 학제간 연구의 좋은 사례.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.