본문으로 건너뛰기
피드

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

ai-ml 약 4분
vote
0
댓글
북마크

Ruby 커미터가 Claude Code로 간이 Git 구현을 15개 언어로 시켜본 벤치마크. Ruby, Python, JavaScript가 가장 빠르고 저렴하며 안정적이었고, 정적 타입 언어는 1.4~2.6배 느리고 비쌌다. 600회 실행 중 실패는 Rust 2건, Haskell 1건뿐.

  • 1

    Ruby/Python/JS가 73-81초, $0.36-0.39로 Top 3

  • 2

    정적 타입 언어는 1.4-2.6배 느리고 비쌈

  • 3

    코드가 짧아도 thinking 토큰 많으면 느림 (OCaml, Haskell)

  • 4

    Python/mypy는 1.6-1.7배, Ruby/Steep는 2.0-3.2배 오버헤드

  • 5

    600회 중 실패 3건 모두 정적 타입 언어(Rust, Haskell)

  • Ruby 커미터인 저자가 Claude Code(Opus 4.6, high effort)로 간이 Git 구현을 15개 언어로 시켜보고, 시간과 비용을 측정한 실험. 각 언어당 20회 반복, 총 600회 실행

  • 작업은 두 단계로 나뉨:

    • v1 (빈 프로젝트): init, add, commit, log 구현
    • v2 (기능 확장): status, diff, checkout, reset 추가

결과: Ruby, Python, JavaScript가 압도적

  • Top 3: Ruby(73초/$0.36), Python(78초/$0.37), JavaScript(81초/$0.39) — 빠르고 저렴하고 편차도 작음
  • 4위부터(Go, Rust, Java) 편차가 급격히 증가. Go는 평균 102초인데 ±37초 흔들림
  • 정적 타입 언어는 동적 타입 대비 1.4~2.6배 느리고 비쌈
  • 600회 중 실패(테스트 미통과)는 딱 3건: Rust 2건, Haskell 1건. Rust 실패 로그 중 하나에서 에이전트가 "테스트가 틀렸다"고 주장한 건 환각(hallucination)으로 보임

흥미로운 세부 발견

  • 코드 길이: OCaml(216줄), Ruby(219줄), Haskell(224줄)이 가장 짧고, C가 517줄로 가장 길었음. 그런데 짧은 코드 ≠ 빠른 생성. OCaml과 Haskell은 compact하지만 thinking 토큰을 많이 써서 느림

  • 타입체커 오버헤드: Python/mypy는 순수 Python 대비 1.61.7배, Ruby/Steep는 순수 Ruby 대비 **2.03.2배** 느림. Steep의 AI 친숙도가 mypy보다 낮은 게 원인으로 추정

  • v1 vs v2 차이: v1(빈 프로젝트)에서 언어 간 격차가 가장 큼. Python(32.9초) vs Lua(96.4초)가 3배 차이. v2(기능 확장)에서는 격차가 줄어들어 OCaml이 47.1초로 JavaScript(45.1초)에 근접

중요

> 30초 vs 60초 대기 차이가 별거 아닌 것 같지만, 프롬프트 → 대기 → 다음 작업 생각 → 다시 프롬프트하는 반복 개발에서는 집중력과 흐름에 직접적으로 영향을 준다는 저자의 지적이 핵심.

저자의 해석 (Ruby 커미터 바이어스 감안)

  • 동적 언어가 빠른 이유 추정: 타입 시스템 부재 + 간결한 코드 + 프로젝트 설정 파일 불필요(Python/Ruby/JS는 파일 하나만 생성하면 됨) + AI 학습 데이터 양
  • "타입 없으면 버그 더 많지 않냐?"에 대해: 타입 에러는 가장 발견하기 쉬운 버그이고, 유일하게 실패한 3건이 Rust와 Haskell(정적 타입)이었다는 점을 지적
  • 전략적 시사점: 동적 언어로 시작해서 프로젝트가 성숙하면 정적 언어로 마이그레이션하는 고전적 전략이 AI 코딩 에이전트 시대에도 여전히 유효할 수 있음. 코딩 에이전트가 언어 간 마이그레이션을 잘한다면 더더욱

동적 언어로 시작 → 정적 언어로 마이그레이션하는 전략이 AI 코딩 에이전트 시대에도 유효하다는 결론. 30초 vs 60초 차이가 반복 개발 흐름에서는 크다는 점이 설득력 있음.

댓글

댓글

댓글을 불러오는 중...

ai-ml

오픈AI, 브로드컴과 만든 첫 자체 추론 칩 ‘할라페뇨’ 공개

오픈AI가 브로드컴과 함께 만든 첫 자체 추론 프로세서 ‘할라페뇨’를 공개했다. 아직 테스트 단계지만, 실시간 코딩 모델 같은 추론 워크로드에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 좋다는 초기 결과를 내세웠다.

ai-ml

가트너 “네오클라우드, 2030년 AI 클라우드 시장 20% 먹는다”

생성형 AI 확산으로 GPU 기반 고성능 컴퓨팅 수요가 폭증하면서 AI 전용 클라우드 사업자인 네오클라우드가 커지고 있다는 분석이 나왔어. 가트너는 2030년 약 2,670억 달러 규모 AI 클라우드 시장에서 네오클라우드가 20%를 차지할 수 있다고 봤어. GPU 확보, 가격 경쟁력, 데이터 주권 대응이 핵심 포인트야.

ai-ml

스페이스X, 오픈소스 AI 스타트업에 초대형 컴퓨팅 파워 판다

리플렉션 AI가 스페이스X의 대형 데이터센터 인프라를 쓰기 위해 2029년까지 최대 63억달러 규모 계약을 맺었다는 내용이다. 월 1억5000만달러를 내고 엔비디아 GB300 기반 컴퓨팅 자원을 확보하는 구조이며, 스페이스X는 남는 AI 인프라를 외부 고객에게 파는 플랫폼 사업으로 확장하려는 흐름을 보인다. 오픈소스 AI 모델을 내세우는 리플렉션 AI가 정부·안보 시장에서 빠르게 커지고 있다는 점도 포인트다.

ai-ml

AI가 청소년의 ‘생각 훈련’을 건너뛰게 만든다는 경고

이 글은 생성형 AI가 청소년과 주니어에게 편리한 도구를 넘어 사고력 발달을 약화시킬 수 있다는 우려를 다뤄. 핵심은 AI 사용 자체가 문제라기보다, AI가 단일한 관계와 정보 통로가 되고 글쓰기·판단·고민의 과정을 대신해버릴 때 인지 훈련 기회가 사라진다는 점이야.

ai-ml

성남시, AI로 고독사 위험과 고령자 주차 문제를 같이 실증한다

성남시니어산업혁신센터가 AI 돌봄 자동화 플랫폼과 AI 스마트 주차관리 시스템의 실증기관으로 선정됐어. 각각 14억2500만 원, 30억 원 규모 사업이고, 고령자 돌봄과 교통약자 주차 편의라는 생활밀착형 문제를 AI로 풀어보겠다는 내용이야.