본문으로 건너뛰기
J
피드

Qwen3-VL-Embedding 공개 — 텍스트·이미지·비디오를 하나의 벡터 공간에

ai-ml 약 3분
tags
#qwen#embedding#multimodal#retrieval#open-source
vote
0
댓글
북마크

Qwen 팀이 Qwen3-VL 기반 멀티모달 임베딩 + 리랭커 모델을 오픈소스 공개. 텍스트·이미지·비디오 혼합 입력을 지원하며, MMEB-V2에서 SOTA 달성. 2B 모델도 대부분의 8B급 경쟁 모델을 능가.

  • 1

    Dual-Tower 임베딩 + Single-Tower 리랭커 아키텍처

  • 2

    MMEB-V2 Image Overall 80.1점으로 SOTA

  • 3

    2B 모델이 대부분의 8B 경쟁 모델 능가

  • 4

    30개+ 언어 지원, MRL로 벡터 차원 유연 조절, vLLM 0.14+ 지원

  • Qwen 팀이 Qwen3-VL 기반의 멀티모달 임베딩 + 리랭커 모델을 오픈소스로 공개함. 텍스트, 이미지, 스크린샷, 비디오, 그리고 이들의 혼합 입력까지 하나의 프레임워크에서 처리하는 모델임
  • Embedding 모델(2B/8B)은 Dual-Tower 아키텍처로, EOS 토큰의 히든 스테이트를 최종 시맨틱 벡터로 추출함. 대규모 검색에 적합한 독립 인코딩 방식
  • Reranker 모델(2B/8B)은 Single-Tower 아키텍처로, Cross-Attention 기반의 정밀 관련성 스코어링을 수행함. yes/no 특수 토큰의 생성 확률로 점수를 매기는 구조

벤치마크가 꽤 인상적임

  • MMEB-V2에서 Qwen3-VL-Embedding-8B가 80.1점(Image Overall)으로, 기존 SOTA였던 Seed-1.6-embedding(78.0)과 IFM-TTE(77.9)를 모두 넘었음
  • 비디오 쪽은 더 압도적인데, Video Overall에서 67.1점으로 Seed-1.6(67.7)에 근접하면서 2B 모델도 61.9점을 찍음
  • 텍스트 전용 MMTEB 벤치마크에서도 8B 모델이 **67.9점으로 Gemini Embedding(68.4)과 거의 동급. 멀티모달 모델이 텍스트 전용 벤치에서도 경쟁력이 있다는 거임
  • Reranker를 붙이면 성능이 한 단계 더 올라감. 예를 들어 MMEB-v2 Retrieval 기준 Embedding-2B(73.4) → Reranker-2B(75.2) → Reranker-8B(79.2**)

실용적인 특징들

  • 30개 이상 언어 지원, Matryoshka Representation Learning(MRL)으로 벡터 차원 유연하게 조절 가능
  • 양자화 임베딩 지원으로 배포 효율성도 챙김
  • vLLM 0.14.0+ 지원, 커스텀 인스트럭션으로 태스크별 최적화 가능
  • 시퀀스 길이 32K, 임베딩 차원 2048(2B) / 4096(8B)
  • 엔드투엔드 멀티모달 RAG 예제도 함께 제공 (Embedding → Reranker → Qwen3-VL 파이프라인)

💡팁

> 2B 모델만으로도 MMEB-V2에서 73.2점으로 대부분의 8B급 경쟁 모델을 넘김. 리소스 제약이 있다면 2B로 시작하는 것도 괜찮은 선택.

멀티모달 RAG 파이프라인 구축에 바로 활용 가능한 오픈소스 모델. 특히 2B 모델의 성능 대비 효율이 눈에 띔.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

유튜브, AI 생성 영상에 자동 라벨 붙인다

유튜브가 사실적으로 보이거나 의미 있게 AI로 변경·생성된 콘텐츠에 더 눈에 띄는 라벨을 적용하고, 제작자가 AI 사용 여부를 밝히지 않아도 내부 신호로 감지되면 자동 라벨을 붙이겠다고 밝혔다. 다만 라벨만으로 추천 노출이나 수익화 자격이 바뀌지는 않으며, 제작자는 YouTube Studio에서 잘못된 판정을 수정할 수 있다.

ai-ml

테크 CEO들의 'AI 만능론', 숫자는 아직 그렇게 말하지 않는다

테크 업계에서 AI를 이유로 한 대규모 감원과 조직 재편이 이어지는 가운데, Box 창업자 애런 레비는 CEO들이 실제 업무의 마지막 1마일을 모른 채 AI 에이전트의 능력을 과대평가하고 있다고 지적했다. 2026년 첫 5개월 동안 이미 11만5430명이 해고됐고, 여러 연구는 AI 도입이 체감 생산성만큼 실제 생산성을 끌어올렸다는 근거가 아직 약하다고 말한다.

ai-ml

오픈AI와 앤트로픽, 코딩 에이전트로 드디어 돈 되는 시장을 찾은 듯

사이먼 윌리슨은 오픈AI와 앤트로픽이 코딩 에이전트와 기업용 과금으로 진짜 제품-시장 적합성을 찾았다고 봐. 개인 구독자에게는 월 100달러 플랜이 싸게 느껴지지만, 기업 고객은 이제 사용량 기준 토큰 가격을 그대로 내기 시작했고 이게 대형 고객 예산을 빠르게 흔들고 있다는 얘기야.

ai-ml

컴팔과 GMI 클라우드, 대규모 추론용 AI 인프라 구축 협력

컴팔이 실리콘밸리 기반 AI 인프라 기업 GMI 클라우드와 협력해 대규모 추론과 에이전틱 AI 워크로드에 맞춘 GPU 서버 인프라를 구축한다고 발표했어. COMPUTEX 2026에서는 NVIDIA HGX B300을 지원하는 Compal SGX30-2 같은 고성능 AI 서버 플랫폼도 선보일 예정이야.

ai-ml

AI 쓰면 편해진다더니, 직장인들은 ‘AI 과부하’에 지쳐가는 중

국내 직장인들이 AI 전환 압박, AI 답변 검증 부담, 대체 불안 때문에 피로감을 호소하고 있어. 중앙일보 설문에서는 5284명 중 31.6%가 ‘AI 답변 검증에 시간이 더 걸릴 때’를 가장 지치는 순간으로 꼽았고, 기업들은 무작정 AI 사용량을 밀어붙이는 방식에서 업무 방식 재설계로 넘어가야 한다는 지적이 나와.