본문으로 건너뛰기
J
피드

Qwen3-VL-Embedding 공개 — 텍스트·이미지·비디오를 하나의 벡터 공간에

ai-ml 약 3분
tags
#qwen#embedding#multimodal#retrieval#open-source
vote
0
댓글
북마크

Qwen 팀이 Qwen3-VL 기반 멀티모달 임베딩 + 리랭커 모델을 오픈소스 공개. 텍스트·이미지·비디오 혼합 입력을 지원하며, MMEB-V2에서 SOTA 달성. 2B 모델도 대부분의 8B급 경쟁 모델을 능가.

  • 1

    Dual-Tower 임베딩 + Single-Tower 리랭커 아키텍처

  • 2

    MMEB-V2 Image Overall 80.1점으로 SOTA

  • 3

    2B 모델이 대부분의 8B 경쟁 모델 능가

  • 4

    30개+ 언어 지원, MRL로 벡터 차원 유연 조절, vLLM 0.14+ 지원

  • Qwen 팀이 Qwen3-VL 기반의 멀티모달 임베딩 + 리랭커 모델을 오픈소스로 공개함. 텍스트, 이미지, 스크린샷, 비디오, 그리고 이들의 혼합 입력까지 하나의 프레임워크에서 처리하는 모델임
  • Embedding 모델(2B/8B)은 Dual-Tower 아키텍처로, EOS 토큰의 히든 스테이트를 최종 시맨틱 벡터로 추출함. 대규모 검색에 적합한 독립 인코딩 방식
  • Reranker 모델(2B/8B)은 Single-Tower 아키텍처로, Cross-Attention 기반의 정밀 관련성 스코어링을 수행함. yes/no 특수 토큰의 생성 확률로 점수를 매기는 구조

벤치마크가 꽤 인상적임

  • MMEB-V2에서 Qwen3-VL-Embedding-8B가 80.1점(Image Overall)으로, 기존 SOTA였던 Seed-1.6-embedding(78.0)과 IFM-TTE(77.9)를 모두 넘었음
  • 비디오 쪽은 더 압도적인데, Video Overall에서 67.1점으로 Seed-1.6(67.7)에 근접하면서 2B 모델도 61.9점을 찍음
  • 텍스트 전용 MMTEB 벤치마크에서도 8B 모델이 **67.9점으로 Gemini Embedding(68.4)과 거의 동급. 멀티모달 모델이 텍스트 전용 벤치에서도 경쟁력이 있다는 거임
  • Reranker를 붙이면 성능이 한 단계 더 올라감. 예를 들어 MMEB-v2 Retrieval 기준 Embedding-2B(73.4) → Reranker-2B(75.2) → Reranker-8B(79.2**)

실용적인 특징들

  • 30개 이상 언어 지원, Matryoshka Representation Learning(MRL)으로 벡터 차원 유연하게 조절 가능
  • 양자화 임베딩 지원으로 배포 효율성도 챙김
  • vLLM 0.14.0+ 지원, 커스텀 인스트럭션으로 태스크별 최적화 가능
  • 시퀀스 길이 32K, 임베딩 차원 2048(2B) / 4096(8B)
  • 엔드투엔드 멀티모달 RAG 예제도 함께 제공 (Embedding → Reranker → Qwen3-VL 파이프라인)

💡팁

> 2B 모델만으로도 MMEB-V2에서 73.2점으로 대부분의 8B급 경쟁 모델을 넘김. 리소스 제약이 있다면 2B로 시작하는 것도 괜찮은 선택.

멀티모달 RAG 파이프라인 구축에 바로 활용 가능한 오픈소스 모델. 특히 2B 모델의 성능 대비 효율이 눈에 띔.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.