중국 문샷AI, 오픈소스 'Kimi-K2.6' 공개 — GPT-5.4·Claude Opus 4.6 꺾었다고 주장

• 중국 AI 스타트업 문샷AI가 오픈소스 LLM 키미-K2.6(Kimi-K2.6) 공개함 — 실리콘앵글 21일 보도
  • 문샷AI 주장: 여러 벤치마크에서 GPT-5.4와 클로드 오퍼스 4.6을 능가
  • 오픈소스 LLM이 프론티어 클로즈드 모델을 꺾었다고 주장하는 건 올해 들어서도 반복되는 패턴

뭘로 성능을 뽑아냈나

• SwiGLU(Swish-Gated Linear Unit) 활성화 함수 기반 — 하드웨어 효율 높이고 LLM 학습 과정을 단순화
  • 메타 라마 시리즈 등 여러 오픈소스 LLM에도 통합돼 있는 알고리즘
• 384개 전문가(expert) MoE 구조 — 각 전문가는 특정 작업에 최적화된 소형 신경망
  • 프롬프트당 8개 전문가만 응답 생성에 동원 → 하드웨어 사용량 대폭 축소
• 멀티헤드 레이턴트 어텐션(MLA) — 기존 어텐션보다 하드웨어 효율이 높음. 프롬프트에서 가장 중요한 부분을 식별

멀티모달 + 에이전트까지

• 4억 파라미터 비전 인코더 탑재 — 텍스트뿐 아니라 멀티미디어 입력도 처리
  • 사용자 지시와 인터페이스 스케치만으로 완성된 웹사이트 생성 가능
• 최대 300개 에이전트 동시 실행 — 복잡한 작업을 조각내서 병렬 처리
  • 순차 실행보다 훨씬 빠르게 완료
• '클로 그룹(claw groups)' 기능 — 인간과 에이전트가 작업을 나눠 수행
• Rust 같은 저수준 프로그래밍 역량도 이전 버전 대비 개선

---

기술 맥락

문샷AI가 밀고 있는 세 가지 기술 선택이 꽤 의도적이에요.

SwiGLU는 요즘 오픈소스 LLM의 사실상 표준이에요. 라마3, 미스트랄, 키미까지 다 쓰고 있거든요. ReLU 기반 MLP보다 게이팅 구조가 있어서 학습 효율이 좋고, 같은 파라미터로도 더 나은 loss를 뽑아낸다는 실험 결과들이 누적되어 있어요. 그래서 "새로운 아키텍처 도입"이라기보다는 "이미 검증된 표준 위에 스케일을 얹은" 선택이에요.

384개 전문가 MoE에서 프롬프트당 8개만 활성화하는 구조는 DeepSeek-V3/V2가 보여준 방식과 결이 같아요. 전체 파라미터는 엄청 크지만 실제 추론 시 연산량은 상대적으로 작게 유지하는 거예요. 하드웨어 비용을 줄이면서 지식 용량은 키울 수 있거든요. 멀티헤드 레이턴트 어텐션(MLA)도 DeepSeek가 먼저 밀었던 기법인데, KV 캐시를 압축해서 긴 컨텍스트를 싸게 처리할 수 있게 해줘요.

300개 에이전트 병렬 실행은 '모델 자체'가 아니라 '모델을 쓰는 방식'의 승부예요. 한 번의 LLM 호출로 답 내는 게 아니라, 작업을 쪼개서 여러 에이전트가 병렬 수행하는 거죠. Anthropic의 Computer Use, OpenAI의 o3 reasoning과 같은 흐름에서 중국 진영이 던진 카드예요. 오픈소스로 풀었다는 게 핵심인데, 한국 기업이 온프레미스에서 자체 LLM 인프라 꾸릴 때 테스트해볼 만한 후보가 늘어난 셈이에요.