카카오, 온디바이스용 경량 언어모델 카나나 2 오픈소스로 공개

• 카카오가 자체 개발한 경량 언어모델(SLM) Kanana-2 시리즈 4종을 오픈소스로 공개함

  • 공개 모델은 Kanana-2-1.3B-base, Kanana-2-1.3B-instruct, Kanana-2-3B-base, Kanana-2-3B-instruct
  • 배포 위치는 허깅페이스(Hugging Face)고, 스마트폰 같은 디바이스 환경에서 돌리는 쪽에 초점이 맞춰져 있음

• 포인트는 “작은데 한국어·영어 둘 다 실서비스급으로 만들었다”는 주장임

  • 카카오는 유사 크기의 최신 오픈소스 모델과 비교해 한국어, 영어, 지식, 수학, 코드 벤치마크 대부분에서 좋은 성능을 냈다고 밝힘
  • 특히 Kanana-2-1.3B-instruct와 더 작은 Kanana-2-0.9B-instruct는 대화, 지식, 코드, 수학, 지시 이행, 툴 호출 같은 실제 서비스 역량에서 Qwen, Gemma 계열과 경쟁 가능한 수준이라고 설명함

• 카카오가 자체 개발한 한국어 특화 토크나이저를 이번 모델 전반에 적용함

  • 토크나이저는 문장을 모델이 읽을 수 있는 단위로 쪼개는 기술임
  • 한국어 문장을 더 적은 토큰으로 처리하면 같은 요청을 더 빠르고 싸게 처리할 수 있음
  • 카카오는 이 부분에서 한국어 처리 효율을 30% 이상 개선했다고 밝힘

• 온디바이스 환경을 위해 메모리 문제도 직접 건드림

  • 긴 대화는 토큰 길이가 늘면서 어텐션 계산과 메모리 사용량이 급격히 커지는 게 문제임
  • 카카오는 Sliding Window Attention 구조를 도입해 최대 32K 토큰, 약 2만 4천 단어 수준의 대화에서도 메모리 사용량을 최대 72.7% 줄였다고 설명함
  • 스마트폰이나 개인 피시에서 계속 대화 요약을 돌리려면 이런 최적화가 사실상 필수에 가까움

• 이미 카카오 서비스 안에서도 경량 모델을 써온 흐름이 있음

  • 카카오가 언급한 적용 사례는 카나나 인 카카오톡, 카카오톡 대화요약 및 통화요약, AI 국민비서 등임
  • 즉 연구용 모델을 갑자기 던진 게 아니라, 내부 서비스 적용 경험을 바탕으로 공개했다는 메시지에 가깝다

• 라이선스는 상업 활용까지 허용하는 Kanana Open License로 배포됨

  • 개발자, 스타트업, 연구기관이 비용 부담 없이 한국어 경량 모델을 테스트하고 서비스에 붙여볼 수 있다는 얘기임
  • 한국어 모델은 영어권 모델 대비 선택지가 좁았는데, 이 정도 체급의 공개 모델이 늘어나는 건 국내 AI 생태계에 꽤 직접적인 재료가 됨

---

기술 맥락

• 카카오가 고른 방향은 “더 큰 모델”이 아니라 “기기에서 실제로 돌아가는 작은 모델”이에요. 클라우드 대형 모델은 성능은 좋지만 호출 비용, 지연, 개인정보 부담이 따라오거든요.

• 자체 한국어 토크나이저를 넣은 이유도 명확해요. 한국어가 비효율적으로 쪼개지면 같은 문장도 토큰 수가 늘고, 그만큼 추론 비용과 응답 시간이 같이 올라가요. 한국어 서비스 회사 입장에선 모델 구조만큼이나 토크나이저가 돈 문제예요.

• 슬라이딩 윈도우 어텐션은 긴 대화를 온디바이스에서 버티기 위한 선택이에요. 전체 문맥을 매번 넓게 보는 방식은 메모리를 많이 먹기 때문에, 제한된 구간 중심으로 계산을 줄여야 스마트폰 같은 환경에서 안정적으로 굴러가요.

• 이번 공개가 흥미로운 건 카카오톡 요약 같은 내부 서비스 경험과 연결돼 있다는 점이에요. 벤치마크 점수만 내세우는 모델보다, 실제 제품에서 어떤 제약을 만났고 어디를 줄였는지가 드러나는 공개라 개발자 입장에선 참고할 게 더 많아요.