카카오, 온디바이스용 경량 AI 모델 ‘카나나-2’ 4종 오픈소스로 공개

• 카카오가 자체 AI 모델 ‘카나나’의 경량 언어모델(SLM) 4종을 허깅페이스에 오픈소스로 공개함

  • 공개된 모델은 카나나-2-1.3B-base, 카나나-2-1.3B-instruct, 카나나-2-3B-base, 카나나-2-3B-instruct 4개
  • base는 기본 사전학습 모델, instruct는 사용자의 질문이나 명령에 답하도록 튜닝된 모델로 보면 됨

• 이번 공개의 타깃은 클라우드보다 스마트폰, 개인 PC 같은 온디바이스 환경에 가까움

  • 모델은 ‘카나나 오픈 라이선스’로 배포되고, 상업적 활용까지 허용됨
  • 카카오는 이미 ‘카나나 인 카카오톡’, 카카오톡 대화요약 및 통화요약, AI 국민비서 등에 경량 모델을 쓰고 있음

• 숫자로 제일 눈에 띄는 건 한국어 처리 효율 30% 개선임

  • 카카오가 자체 한국어 특화 토크나이저를 적용해서, 기존 대비 한국어를 더 적은 토큰으로 처리할 수 있게 만들었다는 얘기
  • 한국어 서비스에서는 이게 꽤 중요함. 같은 문장을 더 적은 토큰으로 처리하면 응답 속도, 비용, 메모리 부담이 같이 내려갈 수 있음

• 긴 대화 처리 쪽도 온디바이스를 의식한 흔적이 강함

  • 카카오는 슬라이딩 윈도우 어텐션 구조를 도입해 최대 32K, 즉 3만2000토큰 길이 대화에서도 메모리 사용량을 최대 72.7%까지 줄였다고 밝힘
  • 모바일이나 로컬 PC에서 AI를 돌릴 때는 모델 성능만큼 메모리 사용량이 빡센 병목이라, 이 수치는 그냥 장식이 아님

• 성능 면에서는 큐웬, 젬마 같은 글로벌 오픈소스 모델과 비교 가능한 수준이라고 설명함
  • 평가 영역은 대화, 지식, 코드, 수학, 지시이행, 툴 호출 등 실제 서비스에서 자주 부딪히는 항목들
  • 카카오가 말하는 방향은 명확함. 클라우드의 대형 AI만으로는 부족하고, 기기 안에서 바로 도는 경량 AI도 같이 필요하다는 것

---

기술 맥락

• 카카오가 고른 방향은 “큰 모델 하나로 다 밀기”가 아니라, 온디바이스에서 돌아갈 만큼 작은 모델을 따로 최적화하는 쪽이에요. 스마트폰이나 개인 PC는 서버처럼 메모리와 연산 자원이 넉넉하지 않아서, 1.3B나 3B급 모델이라도 효율 튜닝 없이는 체감 품질을 내기 어렵거든요.

• 한국어 특화 토크나이저가 중요한 이유는 한국어가 영어 기준 토크나이저에서 비효율적으로 쪼개지는 경우가 많기 때문이에요. 같은 대화라도 토큰 수가 늘면 모델이 읽고 생성해야 할 양이 늘고, 그만큼 지연 시간과 비용이 올라가요.

• 슬라이딩 윈도우 어텐션은 긴 대화에서 메모리를 줄이려는 선택이에요. 모든 과거 문맥을 계속 붙잡고 있으면 32K 같은 긴 컨텍스트에서 부담이 커지는데, 필요한 범위를 중심으로 보게 만들면 온디바이스 실행 가능성이 올라가요.

• 개발자 입장에서는 “한국어가 되는 작은 모델”이 아니라 “한국어 처리 비용과 긴 대화 메모리까지 줄인 작은 모델”이라는 점을 봐야 해요. 실제 앱에 넣을 때는 모델 점수보다 지연 시간, 메모리, 라이선스 조건이 더 먼저 발목을 잡는 경우가 많거든요.