브라우저에서 7MB 임베딩 모델을 바로 돌리는 Ternlight

• Ternlight는 “브라우저에서 바로 도는 7MB 임베딩 모델”을 내세우는 프로젝트임

  • 엔진과 가중치를 합쳐 7MB라고 소개하고, 미니 변형은 5MB라고 함
  • GPU 없이 CPU에서 실행되고, 서버 API 호출도 필요 없다는 점을 전면에 둠

• 사용 방식은 npm 패키지 하나로 끝나는 쪽을 목표로 함

  • npm install @ternlight/base로 설치하는 예시가 제시됨
  • 별도 모델 다운로드 단계나 서버 구성 없이 패키지에 넣어 배포하는 흐름임
  • 예시 코드는 embed, similar 함수를 가져와서 텍스트 목록에서 상위 3개 유사 항목을 찾는 식임

• 성능 주장은 꽤 공격적임

  • 텍스트 임베딩과 유사도 검색을 약 5ms 수준으로 처리한다고 소개함
  • 네트워크 왕복이 없으니 작은 문서 검색이나 로컬 추천 기능에서는 체감 지연시간을 크게 줄일 수 있음

• 데모는 브라우저 안에서 React 문서를 검색하는 형태임

  • 사용자가 질문을 입력하면 5MB 티어인 @ternlight/mini가 브라우저에서 검색을 처리하는 식으로 설명됨
  • 문서 검색, 레시피 매칭, 오프라인 지식 베이스 같은 기능에 바로 연결되는 사용 사례임

기술 맥락

• 여기서 핵심 선택은 임베딩을 서버에서 만들지 않고 브라우저 CPU에서 직접 만든다는 거예요. 서버 API를 부르면 품질 좋은 큰 모델을 쓰기 쉽지만, 네트워크 지연과 비용, 개인정보 전송 문제가 생기거든요.

• Ternlight는 모델 크기를 5~7MB까지 줄여서 웹 앱 번들에 가까운 감각으로 배포하려는 쪽이에요. 이 정도면 대형 언어 모델과는 다른 체급이지만, 문서 검색이나 후보 랭킹처럼 작은 임베딩 작업에는 실용성이 생길 수 있어요.

• WASM 기반 실행은 브라우저에서 계산을 더 안정적으로 밀어붙이기 위한 선택으로 볼 수 있어요. 자바스크립트만으로 처리하기 애매한 추론 작업을 CPU에서 빠르게 돌리고, 별도 서버 없이 같은 패키지를 배포하는 구조가 가능해지거든요.

• 다만 기사에 나온 정보만으로는 임베딩 품질, 다국어 성능, 긴 문서 처리 한계는 판단하기 어려워요. 그래서 실제 제품에 넣으려면 속도보다 먼저 내 데이터셋에서 검색 품질을 테스트하는 게 맞아요.