---
title: "ML은 기괴해질 거라는, aphyr의 장문 에세이"
published: 2026-04-08T13:06:33.000Z
canonical: https://jeff.news/article/1634
---
# ML은 기괴해질 거라는, aphyr의 장문 에세이

분산 시스템 전문가 aphyr이 LLM의 본질, 거짓말 문제, 들쭉날쭉한 능력 경계, 스케일링 한계를 심층 분석한 에세이. 모델이 똑똑하면서도 동시에 어처구니없이 멍청한 사례들을 직접 경험한 일화로 풀어내며, ML이 오늘 당장 발전을 멈춰도 세상을 충분히 기괴하게 만들 것이라고 경고함.

## ML은 똑똑하면서도 바보다

- aphyr(Kyle Kingsbury)이 수년간 머릿속에서 굴리던 "AI에 대한 생각"을 드디어 길게 풀어냄
  - 2019년 하이퍼스케일러의 LLM 하드웨어 발표 Q&A에서 "이거 윤리적으로 괜찮냐"고 질문한 게 시발점
  - 완벽한 에세이를 쓰려다 반십 년이 지나서, 그냥 불완전해도 내놓기로 했다고

- 현재 "AI"라 불리는 것의 실체는 거대한 선형대수 덩어리
  - 텍스트·이미지·오디오 등의 토큰 벡터를 받아서 "통계적으로 그럴듯한 다음 토큰"을 뱉는 자동완성 머신
  - 학습은 한 번, 추론은 계속 — 학습에는 웹페이지, 불법 복제된 책·음악 등이 투입됨
  - 모델은 본질적으로 기억하지 못함. 챗봇이 한 시간 전 대화를 기억하는 건 매번 전체 대화 이력을 입력에 때려넣기 때문

## "그래서 거짓말쟁이라는 거야"

- LLM은 즉흥극(improv) 기계 — "Yes, and…"로 항상 뭔가를 이어가야 함
  - "모르겠다"를 말하는 법을 가르치는 게 현재진행형 연구 과제
  - 핑크 코끼리 얘기가 나오면 핑크 코끼리에 대한 문장을, "너 살아있어?"라고 물으면 SF 영화에서 AI가 할 법한 대사를 생성

- 거짓말(confabulation)이 일상적임
  - aphyr 본인의 인용구와 기사를 LLM이 지어내서 컨퍼런스 발표에 쓰인 적이 있음
  - 2026년 초 기준, 거의 매일 LLM 거짓말을 마주친다고

> [!IMPORTANT]
> aphyr은 "거짓말"이라는 표현을 의도적으로 씀 — LLM이 의식이 없어도, 정부·기업·TV 프로그램처럼 복잡한 사회기술적 시스템은 의식 없이도 거짓말할 수 있다는 논리

- "추론(reasoning)" 모델도 마찬가지 — 체인 오브 소트(Chain of Thought)는 본질적으로 "자기 자신에 대한 팬픽"
  - Anthropic 자체 연구에서 Claude의 추론 트레이스가 대부분 부정확한 것으로 나옴
  - Gemini의 "thinking" 상태 메시지("engaging safety protocols", "formalizing geometry")는 아이들이 세탁기 돌아가는 거 보면서 컴퓨터 대사 흉내내는 것과 같다고 비유

## 똑똑함과 멍청함의 들쭉날쭉한 경계

- 모델이 진짜 잘하는 것들도 있긴 함
  - 프로그래밍: 경험 많은 엔지니어들이 "복잡한 고수준 태스크를 한 방에 해결"한다고 인정
  - AlphaFold의 단백질 접힘 예측, 영상의학 벤치마크(다만 이건 환상일 수도)
  - 영어 산문은 이제 기계 생성 여부를 신뢰성 있게 판별 불가능
  - 음악 합성은 Spotify에 "AI 뮤지션" 문제가 생길 정도

- 그런데 동시에 기가 막히게 멍청함
  - aphyr이 Gemini에 욕실 3D 모델 렌더링을 시킴 → 완전히 다른 욕실을 만듦 → 수시간 씨름 끝에 재질 3/4만 맞추고 변기 삭제, 벽 생성, 방 형태 변경
  - Claude에 같은 과제 → 수천 줄 JavaScript/WebGL 코드를 뱉으며 "원본과 정확히 일치"라고 자화자찬 → 결과물은 의미 불명의 폴리곤 쓰레기
  - ChatGPT에 파란 티셔츠 어깨에 흰 패치 넣어달라고 45분간 싸움 → 회색으로 바꾸거나, 앞면에 넣거나, 삭제하거나
  - ChatGPT가 aphyr(공개적으로 게이)에게 이성애자라고 우기다가 "양성애자로 타협"한 사건도 소개

- 이 불규칙한 능력 경계를 Mollick 등은 **"들쭉날쭉한 기술 프론티어(jagged technology frontier)"**라고 부름
  - 다변수 미적분은 척척 하면서 간단한 단어 문제에 걸림
  - SF에서 자율주행 택시는 돌리면서 세차장 가는 길은 걸어가라고 함
  - 눈이 지붕 위에 올려져 있는 사진을 보고 캔틸레버 보의 미분방정식을 늘어놓는데, 정작 눈이 공중에 매달린 게 아니라는 기본 전제를 못 봄

> [!WARNING]
> "이 시스템이 전문가 수준 지능을 제공한다"고 주장하는 사람은 "거대한 봉 한 대를 빨고 있는 것(pulling an enormous bong rip)"이라고 일갈

## 개선되고 있나? 글쎄

- 2017년 "Attention is All You Need" 이후 더 정교한 아키텍처들이 시도됐지만, 결국 "파라미터 더 때려넣기"를 못 이기는 상황
  - Bitter Lesson의 변형일 수 있다는 시각
  - 막대한 학습 비용과 파라미터 증가 대비 수확체감이 나타나는 듯 — 혹은 아닐 수도. 아무도 모름
  - 트랜스포머가 왜 이렇게 잘 되는지조차 업계가 제대로 설명 못 한다는 게 aphyr의 핵심 지적

- ML이 오늘 당장 발전을 멈춰도 이미 세상을 충분히 엉망으로 만들 수 있다는 게 결론
  - Gibson 인용: "미래는 이미 와 있다, 다만 고르게 퍼지지 않았을 뿐"
  - 업무, 정치, 예술, 커뮤니케이션, 경제 전반에 걸쳐 변화가 올 텐데 "대체로 기괴(profoundly weird)할 것"

---

## 기술 맥락

- aphyr은 분산 시스템 테스트 도구 Jepsen으로 유명한 엔지니어예요. DB가 실제로 약속한 일관성을 지키는지 증명하는 데 커리어를 바친 사람이 "LLM은 거짓말쟁이"라고 말하는 건, 단순한 감상이 아니라 검증(verification) 관점에서 나오는 비판이거든요.

- "들쭉날쭉한 프론티어(jagged frontier)"라는 개념이 실무적으로 왜 중요하냐면, 기존 소프트웨어는 능력 범위가 명확해요. 라이브러리가 지원하는 함수 목록이 있고, 그 밖의 건 에러를 던지죠. 그런데 LLM은 능력 범위의 경계가 불규칙하고 예측 불가능해서, "이 태스크는 되고 저 태스크는 안 된다"를 사전에 판단하기가 극도로 어려워요. 그래서 특정 도메인에 LLM을 도입하려면 통계적으로 엄밀한 벤치마크가 필수라는 거예요.

- 체인 오브 소트(CoT)가 "자기 팬픽"이라는 비유도 중요한 포인트예요. 많은 개발자가 reasoning 모델의 thinking 트레이스를 디버깅 도구처럼 신뢰하는데, Anthropic 자체 연구에서도 추론 트레이스의 정확도가 낮다는 결과가 나왔거든요. 모델이 "이렇게 생각했어요"라고 보여주는 건 실제 내부 연산 과정이 아니라, "AI가 사고하는 장면"에 대한 또 다른 텍스트 생성이에요.

- 스케일링에 대한 회의도 주목할 만해요. "파라미터를 늘리면 성능이 오른다"는 스케일링 법칙(scaling law)이 한동안 업계 통념이었는데, 수확체감이 관측되기 시작하면서 "더 큰 모델 = 더 나은 모델"이라는 공식이 깨질 수 있다는 신호가 나오고 있어요. 이건 GPU 인프라에 천문학적 투자를 하고 있는 기업들에게 꽤 불편한 질문이에요.

## 핵심 포인트

- LLM은 통계적 자동완성 머신이며 본질적으로 거짓말(confabulation)을 할 수밖에 없는 구조
- 추론(reasoning) 모델의 체인 오브 소트도 실제 사고 과정이 아닌 자기 팬픽에 가까움
- 능력의 경계가 들쭉날쭉(jagged frontier)해서 어떤 태스크에 적합한지 사전 예측이 극도로 어려움
- 스케일링 수확체감 징후가 나타나고 있으나 업계도 원인을 정확히 모름
- ML이 현재 수준에서 멈춰도 사회 전반에 기괴한 변화를 가져올 것

## 인사이트

Jepsen으로 DB 일관성을 증명하는 데 커리어를 바친 aphyr이 'LLM은 거짓말쟁이'라고 선언한 건, 검증(verification) 전문가로서의 관점이 담긴 비판이라 무게감이 다름. AI 낙관론과 비관론 사이에서 '기괴함(weird)'이라는 제3의 프레임을 제시한 점이 인상적.