제미나이 도구 호출 능력을 2,600만 파라미터 모델로 증류한 니들 공개

• Cactus Compute가 Gemini 3.1의 도구 호출 능력을 2,600만 파라미터짜리 Needle 모델로 증류했다고 공개함

  • 여기서 핵심은 ‘대화 잘하는 작은 챗봇’이 아니라, 함수 호출 하나를 작고 빠르게 잘하는 모델이라는 점임
  • 예를 들어 사용자가 “샌프란시스코 날씨 알려줘”라고 묻고 get_weather(location: string) 도구가 있으면, 답변 문장이 아니라 get_weather와 San Francisco 인자를 뽑아내는 식임

• 모델 크기는 꽤 과감하게 작음. 2,600만 파라미터면 요즘 LLM 기준으로는 거의 마이크로 모델에 가까움

  • 구조는 d=512, 어텐션 헤드 8개, 키-값 헤드 4개, BPE 토크나이저 크기 8,192로 소개됨
  • 인코더 12층과 디코더 8층을 쓰고, 인코더에는 GQA+RoPE 기반 셀프 어텐션이 들어감
  • 디코더는 마스크드 셀프 어텐션과 인코더 쪽 크로스 어텐션을 사용하고, 출력 쪽 리니어 레이어는 임베딩과 공유되는 구조임

• 학습 스케일도 작지 않음. 작은 모델이라고 대충 만든 장난감은 아닌 느낌임

  • 사전학습은 16개 TPU v6e에서 2,000억 토큰으로 27시간 진행했다고 밝힘
  • 이후 단일 샷 함수 호출 데이터 20억 토큰으로 후학습을 45분 더 돌림
  • 데이터 생성 방식도 공개했고, Gemini로 학습 데이터를 합성하는 명령도 프로젝트에 포함돼 있음

• 성능 주장은 꽤 공격적이지만, 범위는 분명히 좁혀서 봐야 함

  • Needle은 개인 AI용 단일 샷 함수 호출에서 FunctionGemma-270m, Qwen-0.6B, Granite-350m, LFM2.5-350m보다 낫다고 주장함
  • 다만 작성자도 다른 모델들이 더 넓은 범위와 용량을 갖고 있고, 대화형 사용에서는 더 잘할 수 있다고 선을 그음
  • 즉 “이 작은 모델이 Qwen보다 전반적으로 낫다”가 아니라 “이 좁은 함수 호출 작업에서는 꽤 잘 나온다”에 가까움

• 개발자가 바로 만져볼 수 있게 공개 범위가 넓은 편임

  • 가중치는 Cactus-Compute/needle에 공개돼 있고, 데이터 생성 쪽도 같이 열려 있음
  • git clone, setup, needle playground를 실행하면 로컬 웹 UI가 127.0.0.1:7860에서 뜨고, 가중치는 자동 다운로드됨
  • CLI도 needle finetune data.jsonl, needle run --query ... --tools, needle train, needle eval 같은 흐름으로 제공됨

• 코드 예시도 단순함. 도구 스키마를 문자열로 넣고 generate를 호출하면 함수 호출 결과가 나오는 방식임

  • 예시에서는 get_weather라는 도구와 location 인자를 정의함
  • 모델은 최종적으로 [{"name":"get_weather","arguments":{"location":"San Francisco"}}] 같은 구조화된 결과를 출력함
  • 에이전트 런타임 입장에서는 이 결과를 받아 실제 API 호출만 이어 붙이면 됨

• 이 프로젝트가 흥미로운 이유는 ‘작은 모델의 역할’을 꽤 현실적으로 잡았기 때문임

  • 온디바이스 개인 AI에서 모든 걸 거대한 모델 하나가 처리하면 비용, 지연시간, 배터리, 프라이버시 문제가 계속 걸림
  • 반대로 도구 선택, 인자 추출, 간단한 라우팅만 초소형 모델이 맡으면 훨씬 가볍게 제품을 구성할 수 있음
  • 특히 스마트폰, 워치, 글래스처럼 리소스가 빡빡한 환경에서는 이런 전용 모델이 실제 UX 차이를 만들 수 있음

• 그래도 바로 프로덕션에 꽂기 전에 확인할 점은 있음

  • 작성자도 작은 모델은 예민할 수 있으니 직접 도구로 테스트하고 필요하면 파인튜닝하라고 말함
  • 도구 스키마가 복잡하거나, 인자 검증이 빡세거나, 애매한 자연어 요청이 많은 서비스라면 자체 데이터로 평가가 필수임
  • 함수 호출은 틀렸을 때 단순 오답이 아니라 잘못된 API 실행으로 이어질 수 있어서, 후단 검증 로직까지 같이 봐야 함

---

기술 맥락

• Needle이 고른 선택은 범용 챗봇을 줄이는 게 아니라, 도구 호출 전용 초소형 모델을 따로 두는 방식이에요. 왜냐하면 개인 AI 제품에서는 “말을 잘하는가”보다 “지금 어떤 앱 기능을 호출해야 하는가”가 더 자주 병목이 될 수 있거든요.

• Gemini 3.1을 직접 기기에 올리는 대신 증류를 택한 이유도 명확해요. 큰 모델의 함수 호출 패턴을 작은 모델에 옮기면, 지연시간과 실행 비용을 줄이면서도 특정 작업에서는 쓸 만한 정확도를 기대할 수 있어요.

• 구조적으로는 인코더-디코더 형태에 어텐션 중심 설계를 쓰고, 피드포워드 네트워크를 빼는 식으로 크기를 줄인 것으로 보입니다. 2,600만 파라미터 안에 GQA, RoPE, 크로스 어텐션을 넣은 건 텍스트 쿼리와 도구 스키마 사이의 매칭을 가볍게 처리하려는 선택으로 읽혀요.

• 이 접근이 실무에서 의미 있으려면 각 서비스의 도구 스키마로 파인튜닝하는 과정이 중요해요. 같은 “날씨 조회”라도 실제 서비스마다 함수 이름, 필수 인자, 지역명 처리 방식이 다르기 때문에 공개 가중치만으로 끝나는 문제가 아니거든요.