AI 연구소들이 ‘펠리컨 자전거’ 벤치마크에 몰래 최적화했을까?

커뮤니티 밈이 벤치마크가 된 상황

• 시작은 사이먼 윌리슨의 장난 같은 프롬프트였음. 새 LLM이 나올 때마다 “자전거 타는 펠리컨 SVG를 만들어줘”라고 던진 것

  • 이 결과물이 해커뉴스 출시 글에서 자주 올라오면서, 어느새 비공식 AI 벤치마크처럼 취급받게 됨
  • 문제는 이 프롬프트가 너무 유명해지면 연구소들이 은근히 여기에 맞춰 모델을 튜닝할 유인이 생긴다는 점임

• 글쓴이는 이걸 그냥 감으로 보지 않고 작은 실험으로 확인함

  • 동물 8종과 탈것 6종을 조합해서 총 48개 프롬프트를 만듦
  • 동물은 펠리컨, 플라밍고, 왜가리, 수달, 라쿤, 영양, 고래, 고양이였고 탈것은 자전거, 외발자전거, 스케이트보드, 스쿠터, 비행기, 보트였음
  • 7개 모델에 각 조합당 3개씩 생성시켜 총 1,008개 SVG를 모음

실험 방식은 꽤 꼼꼼함

• 테스트 대상은 OpenRouter를 통한 7개 프런티어 모델임

  • GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro가 들어감
  • 온도는 1.0으로 맞췄고, 모든 모델에 같은 수준의 추론 노력을 요청함

• 생성 결과는 3단계 파이프라인으로 처리함

  • 먼저 SVG를 PNG로 렌더링하고, SVG가 없거나 렌더링 실패하면 다시 생성함
  • 전체 1,008회 중 재시도는 11번뿐이라, 생성 실패가 결과를 크게 흔들진 않은 편임
  • 그다음 GPT-5.6 Luna가 동물, 탈것, 동작 일관성을 각각 1점에서 5점으로 채점함
  • 마지막으로 Gemini 3.1 Flash-Lite가 이미지에서 보이는 동물, 탈것, 방향, 장면 요소를 추출함

sequenceDiagram
    participant 실험자
    participant 생성모델
    participant 렌더러
    participant 채점모델
    participant 특징추출모델
    실험자->>생성모델: 동물 8종 x 탈것 6종 프롬프트 요청
    생성모델->>렌더러: SVG 1,008개 전달
    렌더러->>실험자: PNG 변환 및 실패 재시도 기록
    실험자->>채점모델: 동물·탈것·동작 점수 요청
    실험자->>특징추출모델: 방향과 장면 요소 추출 요청
    채점모델->>실험자: 1~5점 평가 반환
    특징추출모델->>실험자: 구성 요소 데이터 반환

결론부터 말하면, 펠리컨도 자전거도 특별히 잘하지 못함

• 펠리컨은 동물 8종 중 6위였음

  • 고양이, 고래, 라쿤, 왜가리, 영양보다 낮게 나옴
  • 연구소들이 정말 펠리컨에 몰래 최적화했다면 상위권에 있어야 자연스러운데, 결과는 하위권에 가까움

• 자전거는 더 별로였음. 탈것 중 뒤에서 2위였고 비행기와 거의 비슷하게 낮았음

  • 자전거는 바퀴 2개, 프레임, 핸들, 안장, 페달이 맞아야 해서 난도가 높음
  • 실제로 자전거 이미지의 3분의 2에서 빠지거나 끊긴 구성 요소가 채점에서 지적됨

• “비행기” 항목은 실험 설계상 약간 사고가 있었음

  • 영어 prompt에서 plane이라고 썼더니 일부 모델이 항공기가 아니라 평평한 면으로 해석함
  • 비행기 이미지 168개 중 25개에서 특징 추출기가 탈것을 아예 찾지 못했고, 20%는 탈것 점수 1점 또는 2점을 받음

난이도 보정까지 해도 신호는 약함

• 글쓴이는 단순 평균이 아니라 고정효과 회귀로 조합 난이도를 보정함

  • 모델, 동물과 탈것 조합, 연구소별 펠리컨 효과, 자전거 효과, 펠리컨-자전거 셀 효과를 따로 추정함
  • 이렇게 하면 “자전거가 원래 어려워서 낮게 나온 것”과 “특정 모델이 자전거만 유독 잘하는 것”을 분리할 수 있음

• 펠리컨 효과는 모든 연구소에서 유의미하지 않았음

  • 연구소별 펠리컨 부스트는 -0.11점에서 +0.14점 사이였고, 가장 작은 p값도 0.25라 통계적으로 약함
  • 펠리컨 자체에 최적화했다는 흔적은 거의 안 보인 셈임

• 자전거 효과는 Gemini 3.5 Flash만 p < 0.05를 넘겼지만, 이것도 강한 증거는 아님

  • Gemini의 자전거 효과는 +0.27점, p값은 0.022였음
  • 하지만 총 21개 검정을 했으니 p < 0.05 기준이면 우연히 하나쯤 걸릴 확률이 높음
  • 보너페로니 보정 기준은 0.05/21, 약 0.002라서 이 결과는 살아남지 못함

• 특정 펠리컨-자전거 조합 효과도 유의미하지 않았음

  • 가장 큰 양의 효과는 GLM-5.2의 +0.35점, p값 0.12였음
  • 글쓴이가 육안으로도 GLM-5.2 첫 샘플이 조금 좋아 보였다고 했지만, 통계적으로는 “그럴 수도 있네” 정도임

기억한 구도처럼 보이는지도 따져봄

• 흥미로운 점은 21개 펠리컨-자전거 이미지가 전부 오른쪽을 바라봤다는 것임

  • 7개 모델 × 3개 샘플이 모두 같은 방향인 조합은 이게 유일함
  • 누가 보면 “어? 혹시 같은 그림 구도를 외운 거 아냐?”라고 의심할 만함

• 그런데 오른쪽 방향 자체가 전체 실험에서 흔했음

  • 전체 1,008개 이미지 중 60%가 오른쪽을 바라봄
  • 탈것 기준으로 스쿠터는 83%, 자전거는 81%가 오른쪽 방향이었음
  • 동물 기준으로 영양은 78%, 펠리컨도 78%, 왜가리도 77%가 오른쪽 방향이었음

• 장면 요소도 특별히 외운 티가 나진 않았음

  • 외운 그림이라면 태양, 스카프, 바구니 같은 요소가 반복적으로 붙어야 함
  • 실제론 플라밍고-보트는 매번 태양이 나오고, 비행기 탄 수달은 38%가 스카프를 두르고, 자전거 탄 고양이는 38%가 바구니를 달고 나옴
  • 펠리컨-자전거도 반복 요소가 있긴 하지만, 다른 조합과 비교해 유난히 튀는 수준은 아니었음

한계도 분명함

• 채점자가 LLM 하나라는 점은 꽤 큰 한계임

  • GPT-5.6 Luna 하나가 모든 이미지를 평가했고, 재채점 일관성까지 깊게 확인하진 않음
  • 또 채점 모델이 참가 모델 중 하나인 GPT-5.6 Terra와 같은 계열이라 편향 가능성도 있음

• 다만 분석은 모델 간 절대 점수보다 모델 내부 차이를 보는 구조라 편향이 일부 완화됨

  • 어떤 채점자가 특정 연구소 그림체를 좋아해도, 그 연구소의 48개 조합 전체가 같이 올라감
  • 이 실험의 질문은 “그 연구소가 펠리컨-자전거만 유독 잘하냐”라서, 전체 선호만으로는 결론이 크게 바뀌기 어려움

• 전체 비용은 약 80달러였고, 그래서 샘플 수가 제한됨

  • 조합당 3개 샘플, 단일 채점자, 7개 모델만 다룸
  • 신뢰구간이 평균적으로 약 ±0.6점이라, 그보다 작은 최적화 효과는 잡아내기 어려움

• 더 그럴듯한 가능성은 특정 밈 최적화가 아니라 SVG 전반 최적화임

  • 글쓴이는 구글/딥마인드처럼 SVG 생성 능력 자체를 공개적으로 강화하는 경우를 언급함
  • 이 실험은 “펠리컨 자전거만 몰래 팠나”는 볼 수 있지만, “SVG 전체를 잘하게 만들었나”는 구분하기 어려움

기술 맥락

• 이 글의 재미는 장난 프롬프트를 평가 문제로 바꿨다는 데 있어요. LLM 벤치마크는 숫자가 붙는 순간 권위가 생기는데, 커뮤니티 밈도 반복되면 연구소 입장에선 신경 쓰이는 신호가 되거든요.

• 그래서 단순히 “이미지가 좋아 보인다”로 끝내지 않고, 동물과 탈것 조합을 48개로 늘린 게 중요해요. 펠리컨-자전거만 보면 모델이 잘하는 건지, 펠리컨이 쉬운 건지, 자전거가 어려운 건지 분리가 안 되기 때문이에요.

• 고정효과 회귀를 쓴 이유도 여기에 있어요. 조합별 기본 난이도를 흡수한 뒤에도 특정 연구소 모델이 펠리컨, 자전거, 또는 그 둘의 조합에서만 튀는지 봐야 “벤치마크 최적화”라는 주장에 가까워져요.

• 다만 LLM judge 하나로 1,008개 이미지를 채점했다는 건 조심해야 해요. 사람 평가보다 싸고 빠르지만, 채점 모델의 취향이나 일관성 문제가 그대로 들어오거든요. 그래서 이 결과는 무죄 판결이라기보다 “적어도 노골적인 증거는 안 보인다”에 가까워요.