노트북에서 1시간 안에 GPT를 처음부터 학습해보는 워크숍

• 이 저장소는 “GPT를 처음부터 직접 만들어보자”에 초점을 맞춘 실습형 워크숍임.

  • 카파시의 nanoGPT에서 영감을 받았지만, 목표는 1억 2,400만 파라미터급 GPT-2 재현이 아니라 훨씬 작은 학습 경험.
  • 기본 모델은 약 1천만 파라미터라서 맥북에서도 워크숍 한 세션 안에 끝낼 수 있게 설계됨.

• 결과물은 셰익스피어풍 텍스트를 생성하는 작은 GPT 모델임.

  • 참가자가 직접 작성하는 파일은 model.py, train.py, generate.py 쪽.
  • 토크나이저, 모델 아키텍처, 학습 루프, 텍스트 생성까지 “마법처럼 가져다 쓰는” 부분을 줄인 구성이 포인트.

• 실습 흐름은 대규모 언어 모델의 최소 골격을 따라감.

  • 1부에서는 문자 단위 토큰화로 텍스트를 숫자로 바꾸는 방법을 다룸.
  • 2부에서는 임베딩, 셀프 어텐션, 레이어 정규화, 다층 퍼셉트론 블록으로 GPT 구조를 만듦.
  • 3부에서는 순전파, 손실 계산, 역전파, 옵티마이저, 학습률 스케줄링, 그래디언트 클리핑을 연결함.
  • 4부에서는 온도, 상위 케이 샘플링, 자기회귀 디코딩으로 텍스트 생성을 구현함.

• 실행 환경 장벽은 낮게 잡혀 있음.

  • 맥, 리눅스, 윈도우 노트북이나 데스크톱이면 되고, 파이썬 3.12 이상이 필요함.
  • 애플 실리콘 그래픽 처리장치, 엔비디아 쿠다, 중앙처리장치를 자동으로 골라 쓰는 구조.
  • 로컬 세팅이 귀찮으면 구글 코랩에 저장소와 data/shakespeare.txt를 올려서 실행할 수도 있음.

• 모델 크기별 학습 시간도 현실적으로 제시돼 있음.

  • 초소형 설정은 약 50만 파라미터, 레이어 2개, 헤드 2개, 임베딩 차원 128이고 M3 프로 기준 약 5분.
  • 소형 설정은 약 400만 파라미터, 레이어 4개, 헤드 4개, 임베딩 차원 256이고 약 20분.
  • 기본 중형 설정은 약 1천만 파라미터, 레이어 6개, 헤드 6개, 임베딩 차원 384이고 약 45분.

• 토큰화 선택이 꽤 교육적으로 좋음.

  • 모든 설정은 어휘 크기 65, 블록 크기 256의 문자 단위 토큰화를 사용함.
  • 셰익스피어 데이터는 약 1메가바이트라서, 5만 257개 어휘를 쓰는 지피티투 방식 바이트 페어 인코딩은 데이터가 너무 부족하다고 설명함.
  • 더 큰 데이터셋으로 넘어갈 때 바이트 페어 인코딩을 쓰는 내용은 뒤쪽 파트에서 다룸.

• 이 프로젝트의 매력은 “작지만 완전한 파이프라인”임.

  • 실제 서비스 모델과 규모는 비교가 안 되지만, 토큰화부터 학습 곡선, 샘플링까지 한 번에 이어짐.
  • 개발자가 대규모 언어 모델을 호출하는 사용자를 넘어서, 내부 동작을 디버깅 가능한 대상으로 보기 시작하는 데 꽤 좋은 입문점임.

---

기술 맥락

• 이 워크숍이 약 1천만 파라미터 모델을 고른 이유는 학습 가능한 크기와 구조 이해 사이의 균형 때문이에요. 너무 작으면 트랜스포머의 맛이 안 나고, 너무 크면 노트북 실습에서 학습 시간과 환경 문제가 먼저 터지거든요.

• 문자 단위 토큰화를 쓰는 것도 단순화만을 위한 선택은 아니에요. 셰익스피어처럼 작은 데이터셋에서는 큰 어휘를 가진 토크나이저가 오히려 학습 사례를 잘게 흩어버려요. 그래서 어휘 수를 65개 정도로 낮추면 작은 모델도 반복 패턴을 배울 여지가 생겨요.

• 직접 구현하는 범위가 토크나이저에서 샘플링까지 이어지는 점도 중요해요. 실무에서는 대부분 라이브러리가 감춰주는 부분이지만, 손실 함수와 옵티마이저, 학습률 스케줄, 그래디언트 클리핑을 한 번 연결해봐야 학습이 왜 흔들리는지 설명할 수 있어요.

• 이 프로젝트는 거대한 모델을 만드는 법보다, 모델 학습 파이프라인을 한 번 끝까지 통과하는 경험을 주려는 쪽이에요. 그래서 애플 실리콘, 쿠다, 중앙처리장치, 코랩을 모두 지원하고, 워크숍 시간 안에 결과를 보도록 크기를 제한한 거예요.