리퀴드 AI, 작은 추론 모델의 ‘무한 반복’ 고치는 안티둠 오픈소스 공개

• 작은 추론 모델이 가끔 빠지는 ‘같은 말 무한반복’ 문제를 겨냥한 오픈소스 해결책이 나옴

  • 리퀴드 AI가 7월 7일 공개한 학습 기법 이름은 안티둠(Antidoom)
  • 여기서 말하는 둠 루프(doom loop)는 모델이 어떤 구간을 출력한 뒤 그 구간을 계속 되풀이하면서 문맥 창을 다 써버리는 현상임
  • 특히 작은 모델일수록, 어려운 수학·프로그래밍 문제처럼 긴 사고 과정을 요구할수록 더 잘 터진다는 게 포인트

• 안티둠의 핵심은 모델 전체를 다시 가르치는 게 아니라 ‘반복이 시작되는 첫 토큰’만 집요하게 고치는 방식임

  • 리퀴드 AI는 이를 최종 토큰 선호 최적화(FTPO)라고 부름
  • 반복이 시작되는 위치를 찾아낸 뒤, 그 자리에서 같은 루프로 들어가는 토큰 대신 더 자연스러운 다른 토큰을 고르도록 미세 조정함
  • 강화학습을 새로 돌리거나 모델을 처음부터 다시 학습시키는 방식이 아니라서 비용과 리스크를 줄이는 쪽에 가까움

• 실험 결과는 ‘작은 모델도 배포 안정성을 꽤 끌어올릴 수 있다’는 쪽에 힘을 실어줌

  • 리퀴드 AI 자체 모델 LFM2.5-2.6B에서는 어려운 수학·프로그래밍 과제의 반복률이 10.2%에서 1.4%로 감소
  • 큐원3.5-4B에서는 22.9%에서 1%로 줄어듦
  • 처리 과정도 몇 주짜리 대형 학습이 아니라 몇 시간이면 끝난다고 소개됨

• 코드와 데이터셋까지 공개됐다는 점도 개발자 입장에선 꽤 중요함

  • 단순 논문식 아이디어가 아니라 재현과 적용 가능성을 열어둔 형태임
  • 작은 추론 모델을 온디바이스, 사내 자동화, 비용 민감한 서비스에 붙이는 팀이라면 ‘반복 출력 방지’만 따로 튜닝할 여지가 생김
  • 요즘 AI 경쟁이 모델 크기만 키우는 싸움에서, 실제 실패 유형을 하나씩 제거하는 엔지니어링 싸움으로도 넘어가고 있다는 신호로 볼 수 있음

---

기술 맥락

• 안티둠이 흥미로운 이유는 문제를 ‘모델이 멍청해서’가 아니라 ‘특정 토큰 선택에서 루프가 시작된다’로 쪼갰기 때문이에요. 이렇게 보면 전체 모델을 다시 학습하지 않아도, 반복으로 빠지는 순간의 선택지만 교정할 수 있거든요.

• FTPO는 강화학습처럼 큰 파이프라인을 새로 얹는 방식이 아니에요. 반복이 시작되는 첫 토큰을 찾아 그 위치에서 더 나은 토큰을 선호하도록 미세 조정하니까, 기존 출력 성향을 크게 망가뜨리지 않는 게 중요해요.

• 작은 추론 모델에서 이 문제가 더 민감한 이유는 긴 사고 과정이 곧 긴 출력으로 이어지기 때문이에요. 수학이나 코딩 문제를 풀다가 같은 풀이 조각을 반복하면 품질만 떨어지는 게 아니라 문맥 창과 비용까지 같이 날아가요.

• 그래서 이 작업은 새 기능 추가라기보다 배포 안정성 패치에 가까워요. 이미 모델을 서비스에 붙인 팀이라면 ‘정답률’만 보는 게 아니라 반복률, 중단 조건, 토큰 낭비 같은 실패 지표도 따로 봐야 하는 이유가 여기에 있어요.