본문으로 건너뛰기
피드

21GB 로컬 모델 Qwen3.6이 Claude Opus 4.7보다 펠리컨을 더 잘 그렸다

ai-ml 약 3분
vote
0
댓글
북마크

Simon Willison이 알리바바의 Qwen3.6-35B-A3B 양자화 모델을 맥북에서 로컬로 돌려 SVG 펠리컨 벤치마크를 수행했더니, Anthropic의 최신 Opus 4.7보다 더 나은 결과가 나왔다. 다만 이 결과가 모델의 범용 성능 우위를 의미하진 않는다고 본인이 직접 선을 그었다.

  • 1

    20.9GB GGUF 양자화 Qwen3.6 모델이 맥북 로컬에서 Opus 4.7보다 나은 SVG 일러스트 생성

  • 2

    비밀 백업 테스트(플라밍고+유니사이클)에서도 Qwen 승리

  • 3

    펠리컨 벤치마크와 모델 범용 성능 간 상관관계가 이번에 깨짐

  • 4

    SVG 생성 능력이 모델 전체 유용성을 대변하지 않는다는 결론

  • 21GB짜리 로컬 모델이 최신 Opus를 이겼다 — 알리바바의 Qwen3.6-35B-A3B를 맥북 프로 M5에서 돌려서 "자전거 타는 펠리컨" SVG를 그렸더니, Anthropic의 최신 Claude Opus 4.7보다 더 나은 결과가 나옴

    • 사용한 모델은 Unsloth의 Q4_K_S 양자화 버전(20.9GB GGUF), LM Studio로 로컬 실행
    • Opus 4.7은 자전거 프레임을 망쳐버렸고, thinking_level: max로 재시도해도 별 차이 없었음
  • "혹시 Qwen이 치팅한 건 아닐까?" 하는 의심에 비밀 백업 테스트도 꺼냄

    • "유니사이클 타는 플라밍고" SVG를 시켜봤는데 여기서도 Qwen이 승리
    • Qwen 출력에 <!-- Sunglasses on flamingo! --> 같은 SVG 주석까지 들어가 있어서 센스도 챙김
    • Simon Willison 본인은 "랩들이 내 벤치마크를 학습했다"는 음모론에는 동의하지 않음
  • 이 벤치마크가 원래 의미하던 것 — "펠리컨 벤치마크"는 LLM 비교가 얼마나 우스꽝스러운지 보여주려고 만든 농담이었음

    • 그런데 묘하게도 2024년 10월 이후로 펠리컨 품질과 모델 범용 성능 사이에 상관관계가 있었음
    • Gemini 3.1 Pro는 실제로 쓸 만한 일러스트를 뽑아낼 정도로 발전
  • 이번에 그 상관관계가 깨졌다 — 21GB 양자화 모델이 최신 프로프라이어터리 모델보다 SVG를 잘 그린다고 해서, 그게 더 유용한 모델이란 뜻은 아님

    • Simon 본인도 "Qwen을 존경하지만, 이 양자화 버전이 Opus 4.7보다 강력하다고 생각하진 않는다"고 명확히 선 그음
    • 결론은 간단함 — 펠리컨 SVG가 필요하면 Qwen, 그 외에는 여전히 판단 보류

로컬에서 돌리는 소형 양자화 모델이 특정 태스크에서 대형 프로프라이어터리 모델을 이기는 사례가 점점 늘고 있어서, 용도별 모델 선택 전략이 더 중요해지고 있음을 보여주는 재미있는 케이스다.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.