본문으로 건너뛰기
J
0
r/jeffnews • HN • • 약 4분

PyTorch 2.11 릴리스

ai-ml

요약

PyTorch 2.11이 2,723개 커밋, 432명 기여자 규모로 릴리스됨. FlashAttention-4 백엔드로 Hopper/Blackwell GPU에서 최대 3.2배 속도 향상, 분산 학습용 Differentiable Collectives, CUDA 13 기본 전환, TorchScript 공식 deprecated 등이 주요 변경사항임.

기사 전체 정리

PyTorch 2.11 릴리스

PyTorch 2.11이 나옴. 커밋 2,723개, 기여자 432명 규모의 릴리스임.

FlexAttention + FlashAttention-4

  • Hopper/Blackwell GPU에서 FlashAttention-4 백엔드가 추가됨. CuTeDSL 함수를 자동 생성해서 기존 Triton 구현 대비 compute-bound 워크로드에서 1.2x~3.2x 속도 향상을 보여줌
  • 아직 활발히 개발 중이라 API 변경 가능성이 있음

Differentiable Collectives

  • 분산 학습에서 collective 연산(all-reduce, all-gather 등)을 통한 역전파가 가능해짐
  • 커스텀 autograd 함수 없이도 분산 학습 연구/고급 학습 기법 구현이 됨

MPS (Apple Silicon) 확장

  • log_normal, cauchy, geometric 등 새로운 분포 함수 지원
  • 비동기 에러 리포팅 추가로 GPU 인덱싱 중 out-of-bounds 접근 감지가 가능해짐
  • erfcx, grid_sampler_2d 등 연산자 마이그레이션 진행

RNN/LSTM GPU Export

  • torch.export로 RNN 모듈(LSTM, GRU 등)의 GPU 내보내기가 지원됨
  • 동적 shape 트레이싱도 되므로 프로덕션 추론 배포 시 모델 타입 제약이 크게 줄어듦

ROCm 개선

  • AMD GPU에서 device-side assertion 지원으로 디버깅이 편해짐
  • TopK 연산자가 shared memory 캐싱으로 최적화됨

XPUGraph (Intel GPU)

  • Intel GPU에서 XPU 연산 시퀀스를 캡처/리플레이하는 실행 그래프 지원
  • 커널 런치와 Python 런타임 오버헤드를 줄여주는 방식임

기타 변경사항

  • CUDA 13이 기본 버전으로 변경됨 (기존 12.x에서 업그레이드). CPU 전용 및 CUDA 12.8 빌드는 별도 제공
  • OpenBLAS를 통한 CPU FP16 GEMM 지원 추가. 엣지 디바이스나 CPU 전용 추론 시나리오에서 유용함
  • TorchScript 공식 deprecated. torch.export + ExecuTorch로 전환해야 함

핵심 포인트

  • FlexAttention에 FlashAttention-4 백엔드 추가로 Hopper/Blackwell GPU에서 Triton 대비 1.2x~3.2x 속도 향상
  • Differentiable Collectives로 collective 연산을 통한 역전파가 가능해져 분산 학습 연구가 쉬워짐
  • CUDA 13이 기본 버전으로 변경되고, TorchScript는 공식 deprecated되어 torch.export + ExecuTorch로 전환 필요
  • MPS(Apple Silicon), ROCm(AMD), XPUGraph(Intel) 등 멀티플랫폼 지원이 확대됨
  • CPU에서 OpenBLAS를 통한 FP16 GEMM 지원으로 엣지/CPU 전용 추론 성능 개선

인사이트

TorchScript deprecated와 torch.export 강화 방향이 뚜렷함. 아직 TorchScript 기반 배포 파이프라인을 쓰고 있다면 마이그레이션 계획을 세워야 할 시점임. FlashAttention-4 백엔드는 아직 API-UNSTABLE이라 프로덕션 적용은 좀 더 지켜볼 필요가 있음.

#pytorch#deep-learning#gpu#distributed-training
원문 보기
댓글 뒤로가기
이전 기사 (p) 다음 기사 (n)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

ARC-AGI-3 등장: AI가 진짜 AGI인지 측정하는 새 벤치마크 나왔다

ARC Prize 팀이 ARC-AGI-3를 공개했는데, 기존 정적 퍼즐 풀기가 아니라 AI가 새로운 환경을 탐색하고 즉석에서 목표를 파악하는 '적응형 추론' 능력을 측정함. 인간 수준으로 게임을 클리어하면 100점인데, 아직 AI와 인간 사이에 격차가 있는 한 AGI가 아니라는 기준을 제시하는 거임.

ai-ml

구글 TurboQuant: AI 모델 압축의 판도를 바꾸는 기술 등장 (ICLR 2026)

구글 리서치가 AI 모델의 핵심 병목인 키-값 캐시(KV Cache) 문제를 해결하는 압축 알고리즘 TurboQuant를 공개했음. 학습 없이 KV 캐시를 3비트까지 줄이면서도 모델 정확도 손실 제로, H100 GPU에서 최대 8배 속도 향상이라는 미친 성능을 보여줌. PolarQuant, QJL과 함께 ICLR 2026에서 발표 예정.

ai-ml

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

Ruby 커미터가 Claude Code로 간이 Git 구현을 15개 언어로 시켜본 벤치마크. Ruby, Python, JavaScript가 가장 빠르고 저렴하며 안정적이었고, 정적 타입 언어는 1.4~2.6배 느리고 비쌌다. 600회 실행 중 실패는 Rust 2건, Haskell 1건뿐.

ai-ml

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

llama.cpp가 리눅스 커널 업데이트, NVIDIA 오픈 드라이버, CUDA 13의 조합으로 리눅스에서도 macOS 수준의 통합 메모리 관리를 지원하게 됐다. 게이밍 PC급 하드웨어로 로컬 AI 추론이 가능해진 셈.

ai-ml

Claude Code한테 내 옛날 연구 코드 맡겨봤는데 하루만에 54% 성능 향상시킴 ㄷㄷ

Karpathy의 Autoresearch 방법론에서 영감 받아서, 저자가 자기 옛날 연구 코드(eCLIP)를 Claude Code한테 던져주고 빨래/장보기 하러 갔음. 돌아왔더니 42번 실험 돌리고 Mean Rank를 344→157로 54% 줄여놨다는 레전드 썰. 근데 버그 하나 고친 게 모든 아키텍처 개선 합친 것보다 효과가 컸다는 게 포인트 ㅋㅋ