본문으로 건너뛰기
피드

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

ai-ml 약 4분

Ruby 커미터가 Claude Code로 간이 Git 구현을 15개 언어로 시켜본 벤치마크. Ruby, Python, JavaScript가 가장 빠르고 저렴하며 안정적이었고, 정적 타입 언어는 1.4~2.6배 느리고 비쌌다. 600회 실행 중 실패는 Rust 2건, Haskell 1건뿐.

  • 1

    Ruby/Python/JS가 73-81초, $0.36-0.39로 Top 3

  • 2

    정적 타입 언어는 1.4-2.6배 느리고 비쌈

  • 3

    코드가 짧아도 thinking 토큰 많으면 느림 (OCaml, Haskell)

  • 4

    Python/mypy는 1.6-1.7배, Ruby/Steep는 2.0-3.2배 오버헤드

  • 5

    600회 중 실패 3건 모두 정적 타입 언어(Rust, Haskell)

  • Ruby 커미터인 저자가 Claude Code(Opus 4.6, high effort)로 간이 Git 구현을 15개 언어로 시켜보고, 시간과 비용을 측정한 실험. 각 언어당 20회 반복, 총 600회 실행

  • 작업은 두 단계로 나뉨:

    • v1 (빈 프로젝트): init, add, commit, log 구현
    • v2 (기능 확장): status, diff, checkout, reset 추가

결과: Ruby, Python, JavaScript가 압도적

  • Top 3: Ruby(73초/$0.36), Python(78초/$0.37), JavaScript(81초/$0.39) — 빠르고 저렴하고 편차도 작음
  • 4위부터(Go, Rust, Java) 편차가 급격히 증가. Go는 평균 102초인데 ±37초 흔들림
  • 정적 타입 언어는 동적 타입 대비 1.4~2.6배 느리고 비쌈
  • 600회 중 실패(테스트 미통과)는 딱 3건: Rust 2건, Haskell 1건. Rust 실패 로그 중 하나에서 에이전트가 "테스트가 틀렸다"고 주장한 건 환각(hallucination)으로 보임

흥미로운 세부 발견

  • 코드 길이: OCaml(216줄), Ruby(219줄), Haskell(224줄)이 가장 짧고, C가 517줄로 가장 길었음. 그런데 짧은 코드 ≠ 빠른 생성. OCaml과 Haskell은 compact하지만 thinking 토큰을 많이 써서 느림

  • 타입체커 오버헤드: Python/mypy는 순수 Python 대비 1.61.7배, Ruby/Steep는 순수 Ruby 대비 **2.03.2배** 느림. Steep의 AI 친숙도가 mypy보다 낮은 게 원인으로 추정

  • v1 vs v2 차이: v1(빈 프로젝트)에서 언어 간 격차가 가장 큼. Python(32.9초) vs Lua(96.4초)가 3배 차이. v2(기능 확장)에서는 격차가 줄어들어 OCaml이 47.1초로 JavaScript(45.1초)에 근접

중요

> 30초 vs 60초 대기 차이가 별거 아닌 것 같지만, 프롬프트 → 대기 → 다음 작업 생각 → 다시 프롬프트하는 반복 개발에서는 집중력과 흐름에 직접적으로 영향을 준다는 저자의 지적이 핵심.

저자의 해석 (Ruby 커미터 바이어스 감안)

  • 동적 언어가 빠른 이유 추정: 타입 시스템 부재 + 간결한 코드 + 프로젝트 설정 파일 불필요(Python/Ruby/JS는 파일 하나만 생성하면 됨) + AI 학습 데이터 양
  • "타입 없으면 버그 더 많지 않냐?"에 대해: 타입 에러는 가장 발견하기 쉬운 버그이고, 유일하게 실패한 3건이 Rust와 Haskell(정적 타입)이었다는 점을 지적
  • 전략적 시사점: 동적 언어로 시작해서 프로젝트가 성숙하면 정적 언어로 마이그레이션하는 고전적 전략이 AI 코딩 에이전트 시대에도 여전히 유효할 수 있음. 코딩 에이전트가 언어 간 마이그레이션을 잘한다면 더더욱

동적 언어로 시작 → 정적 언어로 마이그레이션하는 전략이 AI 코딩 에이전트 시대에도 유효하다는 결론. 30초 vs 60초 차이가 반복 개발 흐름에서는 크다는 점이 설득력 있음.

댓글

댓글

댓글을 불러오는 중...

ai-ml

제미나이 도구 호출 능력을 2,600만 파라미터 모델로 증류한 니들 공개

Cactus Compute가 Gemini 3.1의 도구 호출 능력을 2,600만 파라미터짜리 초소형 모델 Needle로 증류해 공개했다. 맥이나 PC에서 로컬 파인튜닝까지 가능하고, 프로덕션 환경에서는 프리필 6,000 토큰/초, 디코드 1,200 토큰/초를 낸다고 주장한다. 개인용 AI 기기에서 함수 호출만 빠르게 처리하는 작은 모델 실험으로 보면 꽤 흥미로운 공개다.

ai-ml

딥시크 V4 인덱서, 6기가바이트 메모리로 백만 토큰까지 밀어붙인 논문

딥시크 V3.2와 V4의 압축 희소 어텐션에서 병목이 되는 인덱서 단계를 스트리밍 방식으로 바꿔, 기존 구현이 6만5536 토큰에서 메모리 부족으로 죽던 문제를 104만8576 토큰까지 확장했다. 핵심은 전체 점수 텐서를 만들지 않고 청크 단위로 top-k를 나눠 계산한 뒤 병합하는 방식이며, 단일 엔비디아 H200에서 피크 메모리 6.21기가바이트를 기록했다. 다만 논문은 인덱서 단계만 다루며, 실제 체크포인트 기반 종단간 성능이나 더 빠른 어텐션 커널을 주장하진 않는다.

ai-ml

챗지피티가 학습에 좋다던 유명 논문, 결국 철회됨

챗지피티가 학생 학습 성과에 큰 도움이 된다고 주장했던 논문이 출판 약 1년 만에 철회됐어. 스프링거 네이처는 분석의 불일치와 결론 신뢰 부족을 이유로 들었고, 문제의 논문은 이미 500회 넘게 인용된 뒤였어.

ai-ml

샘 올트먼, 법정에서 “머스크가 오픈AI 지배권을 자녀에게 넘기려 했다”고 증언

샘 올트먼이 캘리포니아 오클랜드 연방법원 배심원 앞에서 일론 머스크가 오픈AI의 장기 지배권을 원했고, 사망 후엔 자녀에게 넘기는 방안까지 언급했다고 증언했다. 머스크는 오픈AI가 비영리로 출발했는데도 영리화됐다고 소송을 제기했지만, 올트먼은 오히려 머스크가 영리 전환과 테슬라 편입을 밀었다는 취지로 반박했다.

ai-ml

혜전대, AI로 스마트팜 생산·가공·유통 교육 모델 만든다

혜전대가 2026년 교육부·한국연구재단의 AID 전환 중점 전문대학 지원사업에 충남 지역 연합형 사업단으로 선정됐다. 연암대와 역할을 나눠 스마트팜 생산부터 가공·유통까지 전주기를 디지털화하는 교육 모델을 만들겠다는 내용이다.