자기 출력만으로 코드 생성 성능 13%p 향상 — 황당할 정도로 단순한 Self-Distillation 기법

• LLM이 자기 자신의 출력만으로 코드 생성 성능을 끌어올릴 수 있다는 논문이 나옴 — 이름은 Simple Self-Distillation(SSD)
  • 방법이 황당할 정도로 단순함: 특정 temperature와 truncation 설정으로 솔루션을 샘플링한 다음, 표준 SFT(Supervised Fine-Tuning)를 돌리는 게 전부

• 효과가 특히 어려운 문제에서 집중적으로 나타남

  • 쉬운 문제는 이미 잘 풀고 있으니 당연한 결과이긴 한데, 난이도 높은 문제에서의 개선폭이 크다는 건 실용적으로 의미 있음
  • Qwen과 Llama 모델 모두에서, 4B/8B/30B 다양한 스케일에서 재현됨
  • instruct 모델뿐 아니라 thinking 모델 변형에서도 동작함

• 저자들이 제시하는 메커니즘은 "precision-exploration conflict"의 해소

  • LLM 디코딩에서 정밀도(precision)가 중요한 토큰 분포에서는 문제가 되는 분포를 억제하고
  • 탐색(exploration)이 유익한 곳에서는 다양성을 유지함
  • 즉, self-distillation이 모델의 출력 분포를 "정밀해야 할 곳은 정밀하게, 다양해야 할 곳은 다양하게" 재조정하는 효과를 낸다는 것

• 실무적 시사점이 꽤 큼

  • 고품질 외부 데이터셋 없이도 모델 성능을 올릴 수 있다는 건, 데이터 수급이 어려운 도메인에서 특히 매력적
  • 방법론 자체가 "embarrassingly simple"이라 구현 장벽도 낮음

---

기술 맥락

• Self-distillation은 원래 teacher-student 증류에서 teacher와 student가 같은 모델인 특수 케이스예요. 보통은 더 큰 모델(teacher)이 작은 모델(student)을 가르치는데, 여기선 자기 자신이 자기를 가르치는 거죠
• 여기서 temperature와 truncation 설정이 핵심이에요. temperature를 높이면 다양한 솔루션이 나오고, truncation으로 너무 이상한 출력은 잘라내서 "괜찮은 다양성"만 남기는 전략이거든요
• "precision-exploration conflict"라는 개념이 재밌는데, 코드 생성에서 변수명이나 API 호출 같은 건 정확해야 하지만 알고리즘 전략 선택 같은 건 다양한 시도가 유리하잖아요. SSD가 이 두 가지를 자동으로 분리해서 최적화한다는 주장이에요
• LiveCodeBench v6는 2024년 이후 새로 출제된 코딩 문제로 구성된 벤치마크라, 학습 데이터에 이미 포함됐을 가능성이 낮아요. 그래서 13%p 향상이 진짜 실력 향상으로 볼 수 있는 거예요