Kimi K3 구조 메모: 2.8T 오픈 웨이트 모델이 효율화에 꽂힌 방식

• Kimi K3는 보기엔 복잡하지만, 큰 그림으로는 Kimi Linear의 생산용 확장판에 가깝다는 설명임

  • 작년 Kimi Linear가 48B 규모였고, Kimi K3는 2.8T로 커짐
  • 글쓴이 기준으로는 현재 가장 큰 오픈 웨이트 모델이라고 봄

• 새로 눈에 띄는 구성요소는 LatentMoE임

  • Nemotron 3 Ultra에 들어간 LatentMoE와 본질적으로 같은 아이디어로 설명됨
  • multi-head latent attention처럼 큰 linear layer를 압축, 즉 down-project해서 효율을 높이는 방향임

• 전체 아키텍처의 큰 흐름은 ‘추론 효율’ 쪽으로 강하게 기울어 있음

  • 일반 MoE 대신 LatentMoE
  • 일반 attention 대신 multi-head latent attention과 Kimi Delta Attention
  • Kimi K3만의 튀는 선택이라기보다는 Nemotron 3, DeepSeek V4 같은 최신 모델 흐름과 같은 방향임

• 효율화가 아닌 별도 변화로는 attention residuals가 있음

  • DeepSeek V4의 mHC(manifold-constrained Hyper-Connections)가 residual path를 넓히는 방식이었다면, attention residuals는 layer 사이 residual을 attention score 기반 중요도 가중치로 연결하는 방식임
  • 보고서 기준으로 validation loss와 downstream performance를 꾸준히 조금 개선함
  • 대신 학습 비용은 약 4%, 추론 비용은 약 2% 증가함

• Kimi K3는 RoPE를 전부 없애고 NoPE를 전면 사용함

  • 이 부분은 Kimi Linear에서 이어받은 설계임
  • 최근 다른 아키텍처들은 sliding window attention 같은 local attention layer에는 RoPE를 쓰고, global layer에는 NoPE를 쓰는 식의 혼합 흐름이 있었음
  • 글쓴이는 frontier-level 모델이 NoPE만 전면 사용한 첫 사례로 본다고 함

---

기술 맥락

• Kimi K3의 선택은 “모델을 크게 만들되, 추론 비용을 어떻게 버틸 것인가”에 가까워요. 48B에서 2.8T로 커지면 단순히 파라미터만 늘리는 걸로는 실제 서비스 비용이 감당 안 되거든요.

• LatentMoE를 넣은 이유도 그 연장선이에요. MoE는 필요한 expert만 활성화해서 효율을 얻지만, 그 안의 큰 linear layer 자체도 부담이 될 수 있어요. 그래서 down-project로 더 작은 잠재 표현을 거치게 해 계산량을 줄이는 쪽으로 갑니다.

• attention 쪽에서도 같은 패턴이 보여요. 일반 attention을 그대로 밀어붙이는 대신 multi-head latent attention과 Kimi Delta Attention으로 바꿔, 긴 문맥과 추론 처리량에서 더 유리한 구조를 노리는 거예요.

• attention residuals는 효율화보다는 성능 개선 장치에 가까워요. 학습 비용 4%, 추론 비용 2%를 더 내고도 validation loss와 downstream 성능이 꾸준히 좋아진다면, frontier급 모델에서는 충분히 검토할 만한 교환이에요.

• RoPE를 완전히 빼고 NoPE를 전면 적용한 건 꽤 공격적인 선택이에요. 최근엔 RoPE와 NoPE를 레이어 성격에 따라 섞는 흐름이 있었는데, Kimi K3는 위치 정보를 넣는 기본 관성을 한 번 더 밀어붙여 본 사례로 볼 수 있어요.