안드레이 카파시가 앤트로픽 프리트레이닝 팀에 합류

안드레이 카파시(Andrej Karpathy)가 앤트로픽(Anthropic)에 합류함

• 카파시는 오픈AI 공동창업자 출신이고, 테슬라에서 AI를 이끌며 FSD와 오토파일럿 프로그램을 맡았던 인물임
• 본인은 X에 “프런티어 대규모 언어 모델(LLM)의 다음 몇 년이 특히 중요한 시기가 될 것 같고, 다시 연구개발로 돌아가게 돼 기대된다”고 올림

카파시의 역할은 클로드(Claude)의 프리트레이닝(pre-training) 쪽임

• 앤트로픽에 따르면 프리트레이닝은 클로드의 핵심 지식과 능력을 만드는 대규모 학습 단계임
• 동시에 프런티어 모델을 만드는 과정에서 가장 비싸고 컴퓨트가 많이 드는 단계 중 하나임
• 카파시는 닉 조셉이 이끄는 프리트레이닝 조직 아래에서 이번 주부터 일하기 시작함

흥미로운 건, 앤트로픽이 카파시에게 “클로드로 프리트레이닝 연구를 가속하는 팀”을 맡긴다는 점임

• 그냥 더 큰 학습을 돌리는 게 아니라, AI를 연구 도구로 써서 모델 훈련 연구 자체를 빠르게 하겠다는 방향임
• 기사 해석대로라면 앤트로픽은 순수 컴퓨트 싸움만으로 오픈AI와 구글을 따라잡기보다, AI 보조 연구를 경쟁력으로 보려는 분위기임

카파시의 이력도 꽤 굵직함

• 오픈AI에서는 딥러닝과 컴퓨터 비전 연구를 하다가 2017년에 테슬라로 이동함
• 테슬라에서는 완전 자율주행(FSD)과 오토파일럿 프로그램을 이끌었고, 2022년에 떠남
• 이후 오픈AI로 1년 복귀했다가 2024년에 교육용 AI 스타트업 유레카 랩스(Eureka Labs)를 시작함

유레카 랩스가 앞으로 어떻게 되는지는 아직 불명확함

• 카파시는 유레카 랩스 출시 이후 많은 업데이트를 공유하지 않았음
• 다만 “교육에 대한 열정은 여전하고, 시간이 되면 다시 그 일을 이어갈 계획”이라고 말함
• 그는 신경망을 코드로 처음부터 만드는 온라인 강의 Neural Networks: Zero to Hero와 LLM 강의 유튜브로도 개발자들에게 꽤 익숙한 인물임

앤트로픽은 보안 쪽 인력도 같이 보강함

• 크리스 롤프(Chris Rohlf)가 프런티어 레드팀에 합류함
• 롤프는 20년 이상 경력의 사이버보안 베테랑이고, 야후의 보안팀 The Paranoids, 메타, 조지타운 CSET의 CyberAI 프로젝트를 거침
• 프런티어 레드팀은 고급 AI 모델을 심각한 위협 시나리오에 맞춰 스트레스 테스트하는 조직임

정리하면, 앤트로픽은 모델 훈련과 모델 안전성 양쪽에 동시에 무게를 싣는 중임

• 한쪽에서는 카파시로 프리트레이닝 연구 속도를 끌어올리려 하고
• 다른 한쪽에서는 보안 레드팀을 강화해 고성능 모델의 위험한 행동을 더 세게 검증하려는 그림임