본문으로 건너뛰기
0
r/jeffnews HN 약 5분

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

ai-ml

요약

Ruby 커미터가 Claude Code로 간이 Git 구현을 15개 언어로 시켜본 벤치마크. Ruby, Python, JavaScript가 가장 빠르고 저렴하며 안정적이었고, 정적 타입 언어는 1.4~2.6배 느리고 비쌌다. 600회 실행 중 실패는 Rust 2건, Haskell 1건뿐.

기사 전체 정리

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

  • Ruby 커미터인 저자가 Claude Code(Opus 4.6, high effort)로 간이 Git 구현을 15개 언어로 시켜보고, 시간과 비용을 측정한 실험. 각 언어당 20회 반복, 총 600회 실행

  • 작업은 두 단계로 나뉨:

    • v1 (빈 프로젝트): init, add, commit, log 구현
    • v2 (기능 확장): status, diff, checkout, reset 추가

결과: Ruby, Python, JavaScript가 압도적

  • Top 3: Ruby(73초/$0.36), Python(78초/$0.37), JavaScript(81초/$0.39) — 빠르고 저렴하고 편차도 작음
  • 4위부터(Go, Rust, Java) 편차가 급격히 증가. Go는 평균 102초인데 ±37초 흔들림
  • 정적 타입 언어는 동적 타입 대비 1.4~2.6배 느리고 비쌈
  • 600회 중 실패(테스트 미통과)는 딱 3건: Rust 2건, Haskell 1건. Rust 실패 로그 중 하나에서 에이전트가 "테스트가 틀렸다"고 주장한 건 환각(hallucination)으로 보임

흥미로운 세부 발견

  • 코드 길이: OCaml(216줄), Ruby(219줄), Haskell(224줄)이 가장 짧고, C가 517줄로 가장 길었음. 그런데 짧은 코드 ≠ 빠른 생성. OCaml과 Haskell은 compact하지만 thinking 토큰을 많이 써서 느림

  • 타입체커 오버헤드: Python/mypy는 순수 Python 대비 1.61.7배, Ruby/Steep는 순수 Ruby 대비 **2.03.2배** 느림. Steep의 AI 친숙도가 mypy보다 낮은 게 원인으로 추정

  • v1 vs v2 차이: v1(빈 프로젝트)에서 언어 간 격차가 가장 큼. Python(32.9초) vs Lua(96.4초)가 3배 차이. v2(기능 확장)에서는 격차가 줄어들어 OCaml이 47.1초로 JavaScript(45.1초)에 근접

중요

> 30초 vs 60초 대기 차이가 별거 아닌 것 같지만, 프롬프트 → 대기 → 다음 작업 생각 → 다시 프롬프트하는 반복 개발에서는 집중력과 흐름에 직접적으로 영향을 준다는 저자의 지적이 핵심.

저자의 해석 (Ruby 커미터 바이어스 감안)

  • 동적 언어가 빠른 이유 추정: 타입 시스템 부재 + 간결한 코드 + 프로젝트 설정 파일 불필요(Python/Ruby/JS는 파일 하나만 생성하면 됨) + AI 학습 데이터 양
  • "타입 없으면 버그 더 많지 않냐?"에 대해: 타입 에러는 가장 발견하기 쉬운 버그이고, 유일하게 실패한 3건이 Rust와 Haskell(정적 타입)이었다는 점을 지적
  • 전략적 시사점: 동적 언어로 시작해서 프로젝트가 성숙하면 정적 언어로 마이그레이션하는 고전적 전략이 AI 코딩 에이전트 시대에도 여전히 유효할 수 있음. 코딩 에이전트가 언어 간 마이그레이션을 잘한다면 더더욱

핵심 포인트

  • Ruby/Python/JS가 73-81초, $0.36-0.39로 Top 3
  • 정적 타입 언어는 1.4-2.6배 느리고 비쌈
  • 코드가 짧아도 thinking 토큰 많으면 느림 (OCaml, Haskell)
  • Python/mypy는 1.6-1.7배, Ruby/Steep는 2.0-3.2배 오버헤드
  • 600회 중 실패 3건 모두 정적 타입 언어(Rust, Haskell)

인사이트

동적 언어로 시작 → 정적 언어로 마이그레이션하는 전략이 AI 코딩 에이전트 시대에도 유효하다는 결론. 30초 vs 60초 차이가 반복 개발 흐름에서는 크다는 점이 설득력 있음.

댓글

댓글

댓글을 불러오는 중...

ai-ml

ARC-AGI-3 등장: AI가 진짜 AGI인지 측정하는 새 벤치마크 나왔다

ARC Prize 팀이 ARC-AGI-3를 공개했는데, 기존 정적 퍼즐 풀기가 아니라 AI가 새로운 환경을 탐색하고 즉석에서 목표를 파악하는 '적응형 추론' 능력을 측정함. 인간 수준으로 게임을 클리어하면 100점인데, 아직 AI와 인간 사이에 격차가 있는 한 AGI가 아니라는 기준을 제시하는 거임.

ai-ml

구글 TurboQuant: AI 모델 압축의 판도를 바꾸는 기술 등장 (ICLR 2026)

구글 리서치가 AI 모델의 핵심 병목인 키-값 캐시(KV Cache) 문제를 해결하는 압축 알고리즘 TurboQuant를 공개했음. 학습 없이 KV 캐시를 3비트까지 줄이면서도 모델 정확도 손실 제로, H100 GPU에서 최대 8배 속도 향상이라는 미친 성능을 보여줌. PolarQuant, QJL과 함께 ICLR 2026에서 발표 예정.

ai-ml

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

llama.cpp가 리눅스 커널 업데이트, NVIDIA 오픈 드라이버, CUDA 13의 조합으로 리눅스에서도 macOS 수준의 통합 메모리 관리를 지원하게 됐다. 게이밍 PC급 하드웨어로 로컬 AI 추론이 가능해진 셈.

ai-ml

PyTorch 2.11 릴리스

PyTorch 2.11이 2,723개 커밋, 432명 기여자 규모로 릴리스됨. FlashAttention-4 백엔드로 Hopper/Blackwell GPU에서 최대 3.2배 속도 향상, 분산 학습용 Differentiable Collectives, CUDA 13 기본 전환, TorchScript 공식 deprecated 등이 주요 변경사항임.

ai-ml

Claude Code한테 내 옛날 연구 코드 맡겨봤는데 하루만에 54% 성능 향상시킴 ㄷㄷ

Karpathy의 Autoresearch 방법론에서 영감 받아서, 저자가 자기 옛날 연구 코드(eCLIP)를 Claude Code한테 던져주고 빨래/장보기 하러 갔음. 돌아왔더니 42번 실험 돌리고 Mean Rank를 344→157로 54% 줄여놨다는 레전드 썰. 근데 버그 하나 고친 게 모든 아키텍처 개선 합친 것보다 효과가 컸다는 게 포인트 ㅋㅋ