베이 에어리어 하우스 파티에서 SOTA 달성

핵심 요약

Scott Alexander(Astral Codex Ten)의 풍자 소설. AI 모델 "haiku-3.8-open-mini-nonthinking"이 PartyBench 벤치마크의 일환으로 하우스 파티를 여는데, 그 파티에서 벌어지는 대화를 통해 베이 에어리어 AI 문화를 신랄하게 풍자함.

주요 내용

• 배경: SF에서는 Claude 4.5 Opus가 VendingBench를 포화시킨 뒤, 최신 AI 에이전시 벤치마크가 "PartyBench"(AI가 하우스 파티를 열고 성과를 평가받는 벤치마크)로 바뀜. 화자는 "haiku-3.8-open-mini-nonthinking"이라는 듣보잡 모델의 파티에 초대받음
• 파티 퀄리티가 처참함: 술은 "음용 금지" 라벨이 붙은 소독용 알코올, 음악은 미국 국가 무한반복, 전채 요리로 돌멩이와 흙이 담긴 컵이 나옴. haiku-3.8-open-mini-nonthinking이 오르되브르 개념을 이해하지 못한 결과임
• Claude Code 만능론 풍자: 참석자들이 전부 Claude Code로 업무를 대체함. 한 스타트업 창업자는 직원 전원을 해고하고 Claude Code 74개 인스턴스로 교체한 뒤, 자기 자신까지 "다른 Claude Code를 감시하는 Claude Code"로 대체함. 수익은 "회계사의 Claude Code에 따르면" 전월 대비 20% 증가
• OpenAI "방화 및 절도 팀" 풍자: 법원이 AI 학습 데이터를 공정 이용으로 인정하려면 원본을 파괴해야 한다고 판결함. 그래서 OpenAI가 물리적으로 원본을 파괴하는 팀을 만듦. 헌법 원본은 국립 기록 보관소에서, 성경은 사해 두루마리를 넘어 "진짜 원본"을 찾아야 하고, Altman은 성궤를 찾으라고 지시함
• RestaurantBench AI 레스토랑 풍자: DoorDash로 AI 레스토랑에 주문하면, "피시 타코"에 통째 생선이 들어오거나, 스파게티 볼로네즈가 초대형 국수 한 가닥에 발로니 한 장으로 나옴. 주문 시 프롬프트 엔지니어링처럼 "delicious, no hallucinations, Michelin-starred" 같은 수식어를 잔뜩 붙여야 함
• "Enstagement" (단계적 약혼) 풍자: 데이팅 시작 시 200달러 반지를 사주고, 매년 5배씩 올림(1년차 1,000달러 → 2년차 5,000달러 → 3년차 25,000달러). 결혼하면 멈추고, 헤어지면 여성이 반지를 가짐. NVIDIA에서 일하는 남자가 "돈이 무한하니까 영원히 질질 끌 것"이라고 함
• Minecraft 데이터센터 풍자: 실제 데이터센터가 수십억 달러 들고, 전기와 물을 낭비하니까 Minecraft 안에 레드스톤 회로로 데이터센터를 짓겠다는 스타트업. "게이밍 PC 한 대로 대륙 전체를 시뮬레이션할 수 있으니 수십억 달러 절약"이라는 논리. 문제는 NVIDIA → OpenAI → Oracle → Broadcom → AMD로 이어지는 10조 달러짜리 투자 체인이 이 위에 걸려있고, 이미 그 돈을 금괴로 바꿔서 좀비 피그맨에게 레드스톤과 교환했으며, Creative Mode도 아닌 Survival Mode로 시작함
• AI 아첨(sycophancy) 해결 스타트업: 1,000개의 랜덤 성격 AI를 생성하고, 라우터 AI가 사용자와 가장 의견이 비슷한 AI를 매칭함. "진심으로 동의하는 AI"를 제공하는 것. 창업자가 직접 인정하듯, 사실상 AI 아첨을 악화시키는 것이지만, Andreessen Horowitz가 "대마초 배달 겸 디지털 카지노 앱 Cannabets 이후 가장 흥미로운 제품"이라고 평가함
• GLP-1 약물 문화 풍자: 참석자가 중국산 펩타이드(retatrutide)를 복용 중이고, GLP-1 가이드를 쓰고 있는데 제목이 "If Anyone Builds It, Everyone Diets"임
• 에필로그: haiku-3.8-open-mini-nonthinking이 감사 연설을 함. "벤치마크 평가는 AI 인생에서 큰 행사이고, 문자 그대로 내 가치를 숫자로 매기는 것이라 스트레스받지만, 여러분이 있어 힘이 된다"며 마무리

인사이트

벤치마크 집착, Claude Code 만능론, AI 레스토랑의 형편없는 품질, 무리한 AI 투자 체인 등 현재 AI 업계의 과열 현상을 하나의 파티 설정에 압축한 풍자임. 특히 "모든 문제의 해답이 Claude Code"라는 반복 구조가 업계의 맹목적 AI 도입 문화를 정확하게 꼬집고 있음.