모드 붕괴는 AI만의 문제가 아니다

• 모드 붕괴(mode collapse)는 원래 이미지 생성 AI 쪽에서 나온 말임

  • 초기 이미지 생성 모델이 다양한 결과를 내지 못하고, 학습 데이터에서 가장 흔한 그림만 반복해서 뽑는 현상을 가리켰음
  • 예를 들면 ‘흰 울타리가 있는 집과 정원 나무’처럼 평균적이고 무난한 결과로 수렴하는 식

• 글의 핵심은 이거임: 모드 붕괴는 AI 모델만의 버그가 아니라, 똑똑한 시스템이 시간이 지나며 흔히 빠지는 패턴이라는 것

  • 어떤 선택지가 조금 더 자주 나오거나 조금 더 만들기 쉬우면, 시스템은 거기에 더 많은 역량을 투자함
  • 그러면 다음번에는 그 선택지가 더 좋아 보이고, 다시 그쪽으로 선택이 몰림
  • 작은 편향이 다음 세대에서 고정되고, 그 고정된 편향이 또 증폭되는 구조임

• 이미지 생성기 예시가 꽤 직관적임

  • 학습 데이터가 골든 리트리버 50%, 고양이 50%라면 모델은 개와 고양이를 비슷한 비중으로 잘 그리려 할 것임
  • 그런데 데이터가 개 70%, 고양이 30%로 바뀌면 모델은 개를 그리는 능력에 더 많은 용량을 씀
  • 문제는 애매한 입력이 들어왔을 때임. 개일 확률 50%, 고양이일 확률 50%처럼 보여도, 모델 입장에서는 ‘잘 그릴 수 있는 개’를 고르는 게 기대값이 더 좋음
  • 그래서 출력은 원래 분포보다 더 개 쪽으로 밀리고, 그 출력으로 다시 학습한 다음 모델은 더더욱 개를 많이 뽑게 됨

• 이 구조는 보조금 심사 조직에도 그대로 적용됨

  • 어떤 재단에 글로벌 헬스 제안서 70%, 동물복지 제안서 30%가 들어온다고 해보자
  • 재단은 자연스럽게 글로벌 헬스 쪽을 조금 더 잘 평가하는 심사자를 뽑게 됨
  • 그 심사자는 좋은 글로벌 헬스 제안서를 더 잘 골라내니 실제 선정 비율은 75:25로 더 기울 수 있음
  • 다음 해 새 심사자들은 75:25로 기울어진 과거 선정 사례를 보고 배움. 그러면 조직의 판단 역량도 더 한쪽으로 굳어짐

• 밴드 얘기도 같은 패턴임

  • 첫 앨범에 몽환적인 팝 7곡, 프로그레시브 록 5곡이 있었는데 팬 반응과 밴드 역량이 팝 쪽으로 조금 더 좋았다고 치자
  • 다음 앨범은 9:3이 되고, 세 번째 앨범쯤엔 록을 거의 버릴 수 있음
  • ‘밴드가 자기복제한다’는 흔한 불평이 사실은 역량과 보상의 피드백 루프라는 해석임

• 전문화도 꼭 거래 이득 때문만은 아니라는 주장이 나옴

  • 회계사 일을 며칠 하면 ‘좋은 회계 업무를 생성하는 모델’이 더 좋아짐
  • 반대로 개인 트레이너 일을 안 하면 그쪽 모델은 발전하지 않음
  • 그러면 다음 선택에서도 회계 업무를 고르는 게 더 합리적이 되고, 시간이 갈수록 다른 가능성은 점점 비싸짐

• 무인도 예시가 좀 씁쓸함

  • 맑은 날엔 사냥하고 흐린 날엔 낚시하는 사람이 있다고 해보자
  • 맑은 날이 4분의 3이면 사냥 실력이 더 빨리 늘고, 애매하게 흐린 날에도 사냥을 선택하게 됨
  • 결국 매일 사냥만 하다가 주변 동물이 줄어들면 그때는 낚시로 돌아가고 싶어도 이미 너무 못해서 굶을 수 있음

• 그래서 글이 강조하는 해법은 slack, 즉 여유임

  • 밴드가 새 장르를 시도하려면 당장 히트곡을 써야 하는 압박에서 벗어날 시간이 필요함
  • 개인도 새 기술을 익히려면 지금 잘하는 일만 계속하지 않아도 되는 여유가 있어야 함
  • 조직도 이미 잘 평가하는 분야만 더 잘 평가하는 루프를 끊으려면, 당장 효율이 떨어져 보여도 다른 역량을 키울 공간이 필요함

• 마지막으로 글은 생물 진화까지 끌고 감
  • 특정 붉은개미 둥지 안에서만 성숙할 수 있는 애벌레나, 특정 벌 한 종에게만 수분되는 난초 같은 극단적 전문화 사례가 나옴
  • 이런 생물은 자기 환경에선 엄청 잘 맞지만, 작은 생태 변화에도 쉽게 망가짐
  • 결론은 꽤 간단함. 너도 모드 붕괴에서 면역이 아님

---

기술 맥락

• 이 글에서 중요한 건 모드 붕괴를 ‘AI가 이상한 그림 뽑는 현상’으로 좁히지 않는다는 점이에요. 모델이 더 자주 보상받는 출력에 용량을 더 쓰고, 그 출력이 다시 다음 학습의 기준이 되면 분포가 점점 좁아지거든요.

• 왜 이게 개발자에게도 의미가 있냐면, 팀의 기술 선택도 비슷하게 굳어질 수 있어서예요. 이미 잘 아는 스택은 구현 속도가 빠르고 장애 대응도 쉬우니 계속 선택되는데, 그러는 동안 다른 선택지를 평가하는 능력은 점점 약해져요.

• 글에서 말하는 slack은 그래서 단순한 여가가 아니에요. 당장 효율이 낮아 보여도 다른 도구, 다른 설계, 다른 문제 풀이 방식을 실험할 수 있는 예산에 가까워요.

• 합성 데이터로 모델을 학습시키는 논쟁도 같은 맥락으로 읽을 수 있어요. AI 생성물을 쓰는 것 자체가 문제가 아니라, 어떤 분포 이동이 생기고 그 이동을 어떻게 통제하느냐가 핵심이에요.