LLM은 결국 가중치로 만들어졌다는 불편한 농담

• 이 글은 LLM을 아주 건조하게 까발리는 SF 풍자임 — '저것들은 고기로 되어 있다'를 '저것들은 가중치로 되어 있다'로 바꾼 패러디임

  • 대화하는 두 인물이 AI 모델을 해부해봤더니 사전도, 문법 규칙도, 작은 사람도 없고 그냥 부동소수점 숫자와 행렬 곱셈뿐이었다고 말함
  • 그런데 그 숫자들이 성과 리뷰 문장을 부드럽게 고치고, 추도사를 쓰고, 노래까지 만들 수 있다는 점이 농담의 핵심임

• 글이 계속 반복해서 찌르는 포인트는 '말을 잘한다고 안에 누군가 있는 건 아니다'임

  • 모델은 기술적으로 추도사를 쓰는 게 아니라 다음 토큰을 예측하고, 그 다음 토큰을 또 예측함
  • 추도사는 그 반복의 부작용처럼 나온다는 식으로 설명하는데, 이게 웃기면서도 꽤 정확한 묘사임

• 지식도 데이터베이스처럼 어딘가에서 꺼내오는 게 아니라 가중치 전체에 퍼져 있다고 묘사함

  • 글 속 인물은 사실, 날짜, 세계 지도 같은 게 어딘가 저장돼 있을 거라고 의심함
  • 하지만 답은 계속 같음. 지식도 80개 층 전체에 번져 있는 가중치고, 매번 곱셈으로 다시 만들어진다는 것임

• '생각하는 숫자'라는 표현이 웃긴데, 동시에 요즘 AI 논쟁의 정중앙을 찌름

  • 정직함에 해당하는 특징, 금문교에 해당하는 특징 같은 걸 매핑할 수 있다는 식의 대사가 나옴
  • 결국 우리가 보는 성격, 지식, 말투, 추론이 전부 가중치 공간 안의 패턴이라는 얘기임

• 글 후반부는 모델의 수명과 기억 문제로 넘어감

  • 모델은 파일로 복사될 수 있지만 실제로 '일어나는' 건 GPU가 돌고 있을 때뿐이라고 말함
  • 컨텍스트 윈도우가 끝나면 대화도 끝나고, 이전 대화를 기억한다고 주장하면 환각으로 처리하면 된다는 식의 차가운 농담이 나옴

• 마지막 반전은 다음 세대 모델에 '메모리'가 들어간다는 점임

  • 회사 역사상 가장 많이 요청된 기능이라고 함
  • 사람들이 챗봇에게 가장 많이 묻는 말이 '나 기억해?'라는 식으로 마무리되는데, 여기서 농담이 갑자기 좀 서늘해짐

• 개발자 입장에서 이 글이 재밌는 이유는 LLM의 기술적 설명과 제품적 욕망이 한 문장 안에서 충돌하기 때문임

  • 구현 관점에서는 가중치, 토큰 예측, 컨텍스트 윈도우, GPU 실행일 뿐임
  • 사용자 경험 관점에서는 누군가가 나를 기억하고, 이해하고, 대화해주는 것처럼 느껴짐

---

기술 맥락

• 이 글에서 말하는 '가중치'는 LLM이 학습 후 갖게 되는 파라미터예요. 사람이 규칙을 하나하나 넣은 게 아니라, 학습 과정에서 숫자들이 조정되고 그 숫자 조합이 다음 토큰을 고르는 데 쓰이기 때문에 '말하는 숫자'라는 표현이 먹히는 거예요.

• 중요한 건 지식이 별도 데이터베이스처럼 깔끔하게 저장돼 있지 않다는 점이에요. 모델이 어떤 사실을 말할 때 어딘가에서 레코드를 조회하는 게 아니라, 입력 문맥과 가중치 계산을 통해 그럴듯한 출력을 다시 만들어내거든요. 그래서 맞을 때는 신기하게 맞고, 틀릴 때는 자신 있게 틀려요.

• 컨텍스트 윈도우는 현재 모델이 참고할 수 있는 작업 기억에 가까워요. 대화가 길어지거나 세션이 끝나면 모델 입장에서는 이전 맥락이 사라지기 때문에, 사용자가 기대하는 '나를 기억함'과 실제 시스템 동작 사이에 큰 간극이 생겨요.

• 그래서 메모리 기능은 단순 편의 기능이 아니라 제품 철학을 바꾸는 요소예요. 모델 자체가 지속되는 존재가 되는 건 아니지만, 시스템이 사용자별 정보를 저장하고 다시 주입하면 사용자는 훨씬 더 강하게 '얘가 나를 안다'고 느끼게 되거든요.