ML은 기괴해질 거라는, aphyr의 장문 에세이

ML은 똑똑하면서도 바보다

• aphyr(Kyle Kingsbury)이 수년간 머릿속에서 굴리던 "AI에 대한 생각"을 드디어 길게 풀어냄

  • 2019년 하이퍼스케일러의 LLM 하드웨어 발표 Q&A에서 "이거 윤리적으로 괜찮냐"고 질문한 게 시발점
  • 완벽한 에세이를 쓰려다 반십 년이 지나서, 그냥 불완전해도 내놓기로 했다고

• 현재 "AI"라 불리는 것의 실체는 거대한 선형대수 덩어리

  • 텍스트·이미지·오디오 등의 토큰 벡터를 받아서 "통계적으로 그럴듯한 다음 토큰"을 뱉는 자동완성 머신
  • 학습은 한 번, 추론은 계속 — 학습에는 웹페이지, 불법 복제된 책·음악 등이 투입됨
  • 모델은 본질적으로 기억하지 못함. 챗봇이 한 시간 전 대화를 기억하는 건 매번 전체 대화 이력을 입력에 때려넣기 때문

"그래서 거짓말쟁이라는 거야"

• LLM은 즉흥극(improv) 기계 — "Yes, and…"로 항상 뭔가를 이어가야 함

  • "모르겠다"를 말하는 법을 가르치는 게 현재진행형 연구 과제
  • 핑크 코끼리 얘기가 나오면 핑크 코끼리에 대한 문장을, "너 살아있어?"라고 물으면 SF 영화에서 AI가 할 법한 대사를 생성

• 거짓말(confabulation)이 일상적임

  • aphyr 본인의 인용구와 기사를 LLM이 지어내서 컨퍼런스 발표에 쓰인 적이 있음
  • 2026년 초 기준, 거의 매일 LLM 거짓말을 마주친다고

• "추론(reasoning)" 모델도 마찬가지 — 체인 오브 소트(Chain of Thought)는 본질적으로 "자기 자신에 대한 팬픽"
  • Anthropic 자체 연구에서 Claude의 추론 트레이스가 대부분 부정확한 것으로 나옴
  • Gemini의 "thinking" 상태 메시지("engaging safety protocols", "formalizing geometry")는 아이들이 세탁기 돌아가는 거 보면서 컴퓨터 대사 흉내내는 것과 같다고 비유

똑똑함과 멍청함의 들쭉날쭉한 경계

• 모델이 진짜 잘하는 것들도 있긴 함

  • 프로그래밍: 경험 많은 엔지니어들이 "복잡한 고수준 태스크를 한 방에 해결"한다고 인정
  • AlphaFold의 단백질 접힘 예측, 영상의학 벤치마크(다만 이건 환상일 수도)
  • 영어 산문은 이제 기계 생성 여부를 신뢰성 있게 판별 불가능
  • 음악 합성은 Spotify에 "AI 뮤지션" 문제가 생길 정도

• 그런데 동시에 기가 막히게 멍청함

  • aphyr이 Gemini에 욕실 3D 모델 렌더링을 시킴 → 완전히 다른 욕실을 만듦 → 수시간 씨름 끝에 재질 3/4만 맞추고 변기 삭제, 벽 생성, 방 형태 변경
  • Claude에 같은 과제 → 수천 줄 JavaScript/WebGL 코드를 뱉으며 "원본과 정확히 일치"라고 자화자찬 → 결과물은 의미 불명의 폴리곤 쓰레기
  • ChatGPT에 파란 티셔츠 어깨에 흰 패치 넣어달라고 45분간 싸움 → 회색으로 바꾸거나, 앞면에 넣거나, 삭제하거나
  • ChatGPT가 aphyr(공개적으로 게이)에게 이성애자라고 우기다가 "양성애자로 타협"한 사건도 소개

• 이 불규칙한 능력 경계를 Mollick 등은 "들쭉날쭉한 기술 프론티어(jagged technology frontier)"라고 부름

  • 다변수 미적분은 척척 하면서 간단한 단어 문제에 걸림
  • SF에서 자율주행 택시는 돌리면서 세차장 가는 길은 걸어가라고 함
  • 눈이 지붕 위에 올려져 있는 사진을 보고 캔틸레버 보의 미분방정식을 늘어놓는데, 정작 눈이 공중에 매달린 게 아니라는 기본 전제를 못 봄

개선되고 있나? 글쎄

• 2017년 "Attention is All You Need" 이후 더 정교한 아키텍처들이 시도됐지만, 결국 "파라미터 더 때려넣기"를 못 이기는 상황

  • Bitter Lesson의 변형일 수 있다는 시각
  • 막대한 학습 비용과 파라미터 증가 대비 수확체감이 나타나는 듯 — 혹은 아닐 수도. 아무도 모름
  • 트랜스포머가 왜 이렇게 잘 되는지조차 업계가 제대로 설명 못 한다는 게 aphyr의 핵심 지적

• ML이 오늘 당장 발전을 멈춰도 이미 세상을 충분히 엉망으로 만들 수 있다는 게 결론

  • Gibson 인용: "미래는 이미 와 있다, 다만 고르게 퍼지지 않았을 뿐"
  • 업무, 정치, 예술, 커뮤니케이션, 경제 전반에 걸쳐 변화가 올 텐데 "대체로 기괴(profoundly weird)할 것"

---

기술 맥락

• aphyr은 분산 시스템 테스트 도구 Jepsen으로 유명한 엔지니어예요. DB가 실제로 약속한 일관성을 지키는지 증명하는 데 커리어를 바친 사람이 "LLM은 거짓말쟁이"라고 말하는 건, 단순한 감상이 아니라 검증(verification) 관점에서 나오는 비판이거든요.

• "들쭉날쭉한 프론티어(jagged frontier)"라는 개념이 실무적으로 왜 중요하냐면, 기존 소프트웨어는 능력 범위가 명확해요. 라이브러리가 지원하는 함수 목록이 있고, 그 밖의 건 에러를 던지죠. 그런데 LLM은 능력 범위의 경계가 불규칙하고 예측 불가능해서, "이 태스크는 되고 저 태스크는 안 된다"를 사전에 판단하기가 극도로 어려워요. 그래서 특정 도메인에 LLM을 도입하려면 통계적으로 엄밀한 벤치마크가 필수라는 거예요.

• 체인 오브 소트(CoT)가 "자기 팬픽"이라는 비유도 중요한 포인트예요. 많은 개발자가 reasoning 모델의 thinking 트레이스를 디버깅 도구처럼 신뢰하는데, Anthropic 자체 연구에서도 추론 트레이스의 정확도가 낮다는 결과가 나왔거든요. 모델이 "이렇게 생각했어요"라고 보여주는 건 실제 내부 연산 과정이 아니라, "AI가 사고하는 장면"에 대한 또 다른 텍스트 생성이에요.

• 스케일링에 대한 회의도 주목할 만해요. "파라미터를 늘리면 성능이 오른다"는 스케일링 법칙(scaling law)이 한동안 업계 통념이었는데, 수확체감이 관측되기 시작하면서 "더 큰 모델 = 더 나은 모델"이라는 공식이 깨질 수 있다는 신호가 나오고 있어요. 이건 GPU 인프라에 천문학적 투자를 하고 있는 기업들에게 꽤 불편한 질문이에요.