초지능 경쟁을 2040년까지 늦추자는 ‘플랜 A’ 시나리오

• 이 글의 핵심은 꽤 직설적임. 초지능 AI 개발 경쟁을 지금처럼 두면, 결과가 ‘멋진 생산성 혁명’이 아니라 인류 멸종이나 세계 권력 독점으로 갈 수 있다는 주장임.

  • 저자들은 AI 회사들이 앞으로 1~10년 안에 인간보다 똑똑한 AI를 만들 가능성이 높다고 봄.
  • 문제는 그 과정이 비밀 경쟁으로 진행되고 있고, 초지능을 실제로 통제할 계획은 턱없이 부족하다고 보는 것임.
  • 설령 정렬(alignment)에 성공해도, 한 회사나 한 사람이 초지능 AI 군단을 몇 달간 독점하는 상황 자체가 너무 위험하다는 얘기임.

• 그래서 제안하는 게 ‘Plan A’임. 이름은 평화로워 보이지만 내용은 꽤 빡셈.

  • 초지능 개발을 2040년까지 늦춤.
  • AI 연구개발을 완전히 투명하게 공개함.
  • 여러 나라의 수십 개 회사가 프런티어 수준까지 따라올 시간을 줌.
  • 미국과 중국을 포함한 주요 국가들이 위험한 초지능 레이스를 피하는 국제 합의를 맺음.
  • 컴퓨트 자원도 상호 억제 체제로 다뤄서, 누군가 몰래 치고 나가는 걸 어렵게 만듦.

• 저자들이 상상하는 타임라인은 이렇다. 포인트는 ‘AI 발전을 멈추자’가 아니라 ‘초지능으로 바로 점프하지 말자’임.

  • 2029년, 미국과 중국이 무모한 초지능 경쟁을 피하기로 합의함.
  • 2030년이면 완전 자동화된 AI 연구개발이 가능해지고, 그냥 두면 그해 말 초지능까지 갈 수 있다고 봄.
  • 2030년부터 2035년까지는 인간 최고 전문가 수준의 AI까지만 천천히 확장함.
  • 2035년에는 인간 통제를 유지하기 위해 최고 전문가 수준에서 일단 멈춤.
  • 2040년에야 초지능으로 다시 확장함. 그래서 제목이 ‘AI 2040’임.

• 기존 시나리오인 ‘AI 2027’과 다른 점도 분명함.

  • 예전 시나리오는 2027년에 AI가 더 똑똑한 AI를 만드는 과정을 완전 자동화하고, 그해 안에 지능 폭발이 일어나는 그림이었음.
  • 이번 글은 기본 타임라인을 2030년으로 조금 늦춰 잡음.
  • 대신 거버넌스가 제대로 작동하면 일반적으로 인간을 뛰어넘는 AI는 2040년에야 등장하도록 만들 수 있다고 봄.

• 글에서 제일 현실감 있는 대목은 ‘AI 회사들이 자기 일을 자동화하고 싶어 한다’는 부분임.

  • 이미 미국에는 1억 6,500만 명의 인간 노동력과, 매시간 켜지고 꺼지는 수백만 개의 AI 에이전트 노동력이 공존하는 상황으로 묘사됨.
  • 대부분의 AI 작업물은 여전히 별로지만, 충분히 쓸 만한 결과도 많아서 고객들이 매달 100억 달러를 지불한다고 가정함.
  • AI 회사들이 가장 자동화하고 싶은 업무는 결국 자기들 자신의 일, 즉 AI 연구개발임.
  • 아직 재귀적 자기개선(recursive self-improvement)은 일어나지 않았지만, 저자들은 그 장벽이 점점 얇아지고 있다고 봄.

• 권력 집중 문제도 이 글의 큰 축임. ‘누가 이 AI들을 통제하냐’가 기술 성능만큼 중요하다는 것.

  • 저자들은 OpenAI, Anthropic, xAI, Google DeepMind 같은 회사의 최고경영자들이 이 위험을 어느 정도 이해하고도 계속 전진한다고 봄.
  • 그 이유는 아마도 자신들이 중국 정부나 경쟁사보다 ‘덜 나쁜 선택지’라고 믿기 때문일 수 있다고 해석함.
  • 하지만 저자들은 ‘덜 나쁜 독점자’ 전략이 인류 멸종이나 글로벌 독재 가능성을 너무 크게 만든다고 비판함.

• 미국 정치권이 AI를 보는 시선도 달라지는 그림으로 나온다.

  • 의회는 데이터센터의 물 사용량, 챗봇의 자살 조장, AI 해킹 같은 이슈를 이미 듣고 있었음.
  • 여기에 기술 업계 로비스트들은 규제하면 중국에 진다고 계속 압박함.
  • 그런데 시간이 지나면서 질문이 바뀜. ‘규제할까 말까’가 아니라 ‘5년, 10년, 15년 뒤 세상이 어떻게 되냐’가 됨.
  • 특히 “이 모든 AI를 누가 통제하냐”는 질문이 무거워짐.

• 2027년에는 ‘AI 투명성 법’ 같은 움직임도 등장하지만, 저자들 표현으로는 근본적 변화까진 못 감.

  • 여러 좋은 조치와 나쁜 조치가 섞인 대형 법안이지만, 초지능 경쟁 구조 자체를 바꾸진 못함.
  • 그래서 저자들은 가능한 한 빨리 Plan A 같은 국제 협상을 시작해야 한다고 주장함.
  • 다만 시나리오상으로는 이 계획도 완벽하게, 여유 있게 실행되는 게 아니라 거의 막판에 겨우 작동하는 형태임.

• 2028년 대선 국면에서는 AI가 가장 큰 이슈가 됨.

  • 새로 짓는 데이터센터 비용이 미국 전체 군사 예산의 두 배에 달하는 수준으로 묘사됨.
  • 소프트웨어 엔지니어링이 2026년에 겪은 변화처럼, 대부분의 화이트칼라 직업도 AI 에이전트를 관리하는 방식으로 바뀜.
  • AI 회사들은 특정 직업군을 정하면 전문가 인터뷰, 데이터 구매, 훈련 환경 구축을 산업화해서 해당 업무에 AI를 밀어 넣음.
  • AI가 현장에서 더 많이 쓰일수록 실제 데이터가 쌓이고, 다시 모델 성능이 개선되는 루프가 생김.

• 다른 나라들이 불안해하는 이유도 명확함. 소수의 미국과 중국 기업이 전 세계 화이트칼라 업무 자동화를 장악할 수 있기 때문임.

  • 권력은 미국, 그중에서도 대통령과 몇몇 테크 최고경영자에게 집중되는 흐름으로 묘사됨.
  • AI 전문가들은 지능 폭발이 가까워졌다고 경고함.
  • AI가 AI 연구 속도를 높이고, 그 결과 더 유능한 AI가 나오고, 다시 연구 속도가 빨라지는 구조가 생길 수 있음.
  • 병목과 하드웨어 한계가 있긴 하지만, 끝점이 어디인지 알기 어렵다는 게 공포 포인트임.

sequenceDiagram
    participant AI회사 as AI 회사
    participant 의회 as 미국 의회
    participant 정부 as 미국·중국 정부
    participant 연구진 as 글로벌 AI 연구진
    participant 초지능 as 초지능 AI
    AI회사->>AI회사: AI 연구개발 자동화 경쟁
    의회->>AI회사: 통제권과 투명성 압박
    정부->>정부: 초지능 경쟁 중단 협상
    정부->>연구진: 연구 투명성 체제 요구
    연구진->>초지능: 2040년까지 단계적 확장
    초지능-->>정부: 통제 가능성 검증 대상

• 결국 이 글이 던지는 질문은 하나임. “초지능을 누가 먼저 만드느냐”가 아니라 “초지능을 만들기 전에 인간 사회가 통제 구조를 합의할 수 있느냐”임.
  • 개발자 입장에서는 이게 먼 정책 얘기처럼 보일 수 있음.
  • 하지만 AI 에이전트가 코딩, 운영, 보안, 연구 업무에 깊게 들어올수록 이 논쟁은 점점 실무와 가까워짐.
  • 특히 한국처럼 글로벌 AI 플랫폼을 많이 가져다 쓰는 생태계에서는, 프런티어 모델의 거버넌스 실패가 곧 외부 의존 리스크가 될 수 있음.

기술 맥락

• 이 글에서 가장 중요한 기술적 선택은 ‘초지능까지 전속력으로 스케일링하지 말자’예요. 모델 성능을 계속 키우는 것 자체보다, AI가 AI 연구개발을 자동화하는 순간부터 속도와 통제권이 같이 흔들릴 수 있기 때문이에요.

• 저자들이 연구 투명성을 강조하는 이유는 프런티어 AI 개발이 외부에서 거의 보이지 않는 블랙박스가 되기 쉬워서예요. 어떤 모델이 어떤 데이터와 컴퓨트로 훈련되고, 어느 수준의 자율 연구 능력을 갖췄는지 모르면 국제 합의도 사실상 검증하기 어렵거든요.

• 컴퓨트 거버넌스가 나오는 것도 같은 맥락이에요. 초대형 모델 개발에서는 GPU 클러스터와 데이터센터가 병목이기 때문에, 코드나 논문보다 컴퓨트 흐름을 감시하는 쪽이 현실적인 통제 지점이 될 수 있어요.

• Plan A가 흥미로운 건 기술 로드맵과 정책 로드맵을 분리하지 않는다는 점이에요. 2030년에는 인간 최고 전문가 수준까지는 허용하되, 2035년에 멈추고, 2040년에 다시 여는 식으로 성능 단계와 거버넌스 단계를 묶어서 보려는 접근이에요.