---
title: "Kimi K3 구조 메모: 2.8T 오픈 웨이트 모델이 효율화에 꽂힌 방식"
published: 2026-07-28T15:48:34.000Z
canonical: https://jeff.news/article/5161
---
# Kimi K3 구조 메모: 2.8T 오픈 웨이트 모델이 효율화에 꽂힌 방식

Sebastian Raschka가 Kimi K3 아키텍처를 짧게 훑으며, 이 모델이 작년 Kimi Linear를 48B에서 2.8T로 키운 생산용 확장판에 가깝다고 설명한다. 핵심 변화는 LatentMoE 추가, Kimi Delta Attention과 multi-head latent attention 같은 효율화, 그리고 RoPE를 전부 제거하고 NoPE를 전면 적용한 점이다.

- Kimi K3는 보기엔 복잡하지만, 큰 그림으로는 Kimi Linear의 생산용 확장판에 가깝다는 설명임
  - 작년 Kimi Linear가 48B 규모였고, Kimi K3는 2.8T로 커짐
  - 글쓴이 기준으로는 현재 가장 큰 오픈 웨이트 모델이라고 봄

- 새로 눈에 띄는 구성요소는 LatentMoE임
  - Nemotron 3 Ultra에 들어간 LatentMoE와 본질적으로 같은 아이디어로 설명됨
  - multi-head latent attention처럼 큰 linear layer를 압축, 즉 down-project해서 효율을 높이는 방향임

- 전체 아키텍처의 큰 흐름은 ‘추론 효율’ 쪽으로 강하게 기울어 있음
  - 일반 MoE 대신 LatentMoE
  - 일반 attention 대신 multi-head latent attention과 Kimi Delta Attention
  - Kimi K3만의 튀는 선택이라기보다는 Nemotron 3, DeepSeek V4 같은 최신 모델 흐름과 같은 방향임

> [!IMPORTANT]
> Kimi K3의 흥미로운 지점은 2.8T라는 숫자 자체보다, 그 큰 모델을 실제로 굴리기 위해 MoE와 attention을 효율화된 변형으로 계속 바꿔 끼운다는 점임.

- 효율화가 아닌 별도 변화로는 attention residuals가 있음
  - DeepSeek V4의 mHC(manifold-constrained Hyper-Connections)가 residual path를 넓히는 방식이었다면, attention residuals는 layer 사이 residual을 attention score 기반 중요도 가중치로 연결하는 방식임
  - 보고서 기준으로 validation loss와 downstream performance를 꾸준히 조금 개선함
  - 대신 학습 비용은 약 4%, 추론 비용은 약 2% 증가함

- Kimi K3는 RoPE를 전부 없애고 NoPE를 전면 사용함
  - 이 부분은 Kimi Linear에서 이어받은 설계임
  - 최근 다른 아키텍처들은 sliding window attention 같은 local attention layer에는 RoPE를 쓰고, global layer에는 NoPE를 쓰는 식의 혼합 흐름이 있었음
  - 글쓴이는 frontier-level 모델이 NoPE만 전면 사용한 첫 사례로 본다고 함

---

## 기술 맥락

- Kimi K3의 선택은 “모델을 크게 만들되, 추론 비용을 어떻게 버틸 것인가”에 가까워요. 48B에서 2.8T로 커지면 단순히 파라미터만 늘리는 걸로는 실제 서비스 비용이 감당 안 되거든요.

- LatentMoE를 넣은 이유도 그 연장선이에요. MoE는 필요한 expert만 활성화해서 효율을 얻지만, 그 안의 큰 linear layer 자체도 부담이 될 수 있어요. 그래서 down-project로 더 작은 잠재 표현을 거치게 해 계산량을 줄이는 쪽으로 갑니다.

- attention 쪽에서도 같은 패턴이 보여요. 일반 attention을 그대로 밀어붙이는 대신 multi-head latent attention과 Kimi Delta Attention으로 바꿔, 긴 문맥과 추론 처리량에서 더 유리한 구조를 노리는 거예요.

- attention residuals는 효율화보다는 성능 개선 장치에 가까워요. 학습 비용 4%, 추론 비용 2%를 더 내고도 validation loss와 downstream 성능이 꾸준히 좋아진다면, frontier급 모델에서는 충분히 검토할 만한 교환이에요.

- RoPE를 완전히 빼고 NoPE를 전면 적용한 건 꽤 공격적인 선택이에요. 최근엔 RoPE와 NoPE를 레이어 성격에 따라 섞는 흐름이 있었는데, Kimi K3는 위치 정보를 넣는 기본 관성을 한 번 더 밀어붙여 본 사례로 볼 수 있어요.

## 핵심 포인트

- Kimi K3는 48B Kimi Linear에서 2.8T 규모로 커진 오픈 웨이트 모델임
- 새 구성요소로 LatentMoE가 들어갔고, 큰 linear layer를 down-project해 효율을 높이는 방향임
- attention residuals는 성능을 조금 개선하지만 학습 비용 약 4%, 추론 비용 약 2%를 추가함
- RoPE를 모두 제거하고 NoPE를 전면 사용한 첫 frontier-level 사례로 언급됨

## 인사이트

프론티어급 오픈 웨이트 모델 경쟁이 단순 파라미터 숫자 싸움이 아니라 추론 효율 구조 싸움으로 가고 있다는 게 잘 보이는 글임. 특히 NoPE 전면 적용은 ‘위치 인코딩은 RoPE가 기본’이라는 최근 감각을 한번 흔드는 포인트라 재밌음.