본문으로 건너뛰기
피드

Sweep Next-Edit: 1.5B 파라미터로 다음 코드 편집을 예측하는 오픈 모델

dev-tools 약 2분
vote
0
댓글
북마크

로컬에서 500ms 이내로 실행되는 1.5B 오픈웨이트 코드 편집 예측 모델. 4배 큰 모델을 벤치마크에서 능가하며, Qwen2.5-Coder 기반 GGUF 포맷으로 제공

  • 1

    1.5B 파라미터, Q8_0 GGUF 양자화, 컨텍스트 8192 토큰

  • 2

    speculative decoding으로 로컬 노트북에서 500ms 이내 추론

  • 3

    4배 큰 모델 대비 next-edit 벤치마크 우위 주장

  • 4

    Apache 2.0 라이선스, JetBrains 플러그인 제공

  • 코드 편집을 미리 예측하는 1.5B 파라미터 오픈웨이트 모델임. Q8_0 GGUF 포맷으로 양자화되어 로컬 노트북에서 500ms 이내로 돌아감 (speculative decoding 적용 시)
  • 자기보다 4배 큰 모델을 next-edit 벤치마크에서 능가한다고 주장함. 베이스 모델은 Qwen2.5-Coder이고 컨텍스트 길이는 8192 토큰
  • 파일 컨텍스트 + 최근 diff + 현재 상태를 프롬프트로 넣어서 다음 편집을 예측하는 방식. JetBrains 플러그인이 이미 있고, VSCode/Neovim/Emacs 지원은 HN에서 논의 중
  • Apache 2.0 라이선스이며 uv pip install llama-cpp-python huggingface_hub로 바로 실행 가능함

💡

> 로컬에서 돌아가는 코드 자동완성이 필요하다면 주목할 만함. 1.5B라 가볍고, 오픈웨이트라 커스터마이징도 가능

코드 자동완성의 경량화 경쟁이 본격화되고 있음. 로컬 실행 가능한 소형 모델이 실용성을 입증하는 중

댓글

댓글

댓글을 불러오는 중...