AI 회의론자가 말하는 재귀적 자기개선의 가능성

AI 회의론자가 재귀적 자기개선(recursive self-improvement)의 가능성을 인정하면서도, 왜 여전히 회의적인지를 4단계 논증으로 풀어낸 에세이임.

I. 기본 논증: AI → AI 연구 가속 → 지능 폭발?

• 핵심 논리는 단순함: AI가 코드를 잘 짬 → ML 연구에 도움이 되는 작업이 있음 → AI가 AI 연구에 투입됨 → 더 나은 AI가 더 많은 연구를 도움 → 지능 폭발
• 1번(AI가 코드를 잘 짠다)과 2번(그 중 일부가 ML 연구에 유용하다)은 반박 불가능한 사실로 봄. Andrej Karpathy가 언급한 "반복적 최적화(iterative optimization)" 작업이 대표적 사례임
• 3번(AI가 AI 연구에 활용되어 진보를 가속한다)도 거의 확실하다고 판단함
• 문제는 4번: 재귀적 자기개선이 시작되더라도, 그것이 얼마나 멀리, 얼마나 빠르게 갈 수 있는지는 전혀 알 수 없음

II. 현재 패러다임으로 AGI에 도달할 수 있는가?

• AGI 자체는 원리적으로 가능함 — 인간이 곧 AGI의 존재 증명이기 때문
• 하지만 인간 뉴런과 인공 뉴런은 근본적으로 다름. Mike X Cohen 박사의 분석에 따르면, 둘을 같은 이름으로 부르는 것 자체가 모욕적일 정도로 상이함
• 이 사실은 양쪽 모두의 근거가 될 수 있음:
  • 종말론자(doomer) 측: LLM이 인간과 공통점이 거의 없는데도 이 정도까지 왔다는 건, 인간의 작동 원리를 이해하지 않고도 AGI를 "조립(kludge)"할 수 있다는 뜻일 수 있음
  • 부정론자(denier) 측: 현재 AI 시스템이 유일하게 알려진 AGI(인간)와 완전히 다르다는 건, 근본적으로 잘못된 방향이라는 뜻일 수 있음. AI는 입출력이 단순하고 보상 신호가 명확한 과제(체스, 수학, 코딩)에서만 잘 작동하며, 훈련 분포 밖으로 일반화하지 못함
• 저자는 부정론자 쪽에 기울어 있음. 하지만 여기서 끝이 아님

III. 핵심 통찰: LLM이 AGI가 못 되더라도, 다른 패러다임의 연구를 가속할 수 있음

• 이것이 이 에세이의 가장 중요한 논점임
• Gary Marcus는 LLM이 상징적 논리(symbolic logic), 세계 모델(world model), 형식적 추론이 없어서 AGI에 도달할 수 없다고 주장함. 그가 선호하는 대안은 뉴로심볼릭 AI(neurosymbolic AI)
• Marcus가 옳다고 가정해도, LLM이 다른 AI 패러다임의 연구 속도를 높일 수 있다는 점은 변하지 않음
  • AI 연구는 손실 함수(loss function)로 최적화할 수 있는 분야이고, LLM은 수학과 코딩에 특히 강함
  • 뉴로심볼릭 AI 연구자가 LLM 어시스턴트를 활용해 연구를 가속하는 시나리오는 충분히 현실적임
• 즉, LLM 코딩이 AGI 개발의 원인이 될 수 있음 — LLM 자체가 AGI가 되지 않더라도, 올바른 패러다임을 발견하는 시간을 단축시킬 수 있기 때문
• 모든 AI 연구자가 LLM 어시스턴트로 연구를 가속할 수 있고, AGI에 도달하려면 누군가 테크 트리에서 올바른 경로를 찾기만 하면 됨

IV. 답할 수 없는 6가지 질문

저자는 이 시나리오의 실현 여부를 판단하기 극히 어렵게 만드는 미해결 질문 6가지를 제시함:

1. 컴퓨팅 한계: 인간 수준의 알고리즘이 시뮬레이션하기에 너무 복잡해서 막대한 컴퓨팅 증가가 필요하면? 스케일링 법칙은 로그 축에서는 무섭게 보이지만, 일반 축에서는 훨씬 약함
2. 스케일링 법칙의 멱법칙 분포: 일정한 속도로 개선하려면 지수적 자원 증가가 필요함. 재귀적 자기개선이 이 비용 증가를 앞지르지 못하면 자연히 소멸됨
3. 모라벡의 역설(Moravec's Paradox): 컴퓨터는 30년 전부터 체스에서 인간을 이겼지만, 눈 위 운전 같은 인지 과제는 아직 대체 못 함. 이 불균형(jaggedness)이 영원히 계속되면?
4. 지능의 이론적 상한선: 라마누잔과 보통 사람의 지능 차이는 크지만, 라마누잔이 가능한 한계치라면? 지능이 우리가 생각하는 것만큼 무한히 확장 가능하지 않을 수 있음
5. 동적 장기 기억의 트레이드오프: 장기 기억이나 지속적 학습이 단기 기억(작업 기억) 악화라는 본질적 트레이드오프를 수반하면? 인간의 작업 기억 용량이 3~5개 객체로 제한되는 것이 관련 있을 수 있음
6. AGI가 현재 테크 트리에 없으면?: 인간이 유일하게 가능한 AGI 시스템이거나, 인간 유전학과 신경과학을 완전히 이해해야만 AGI/ASI에 접근할 수 있다면?

저자의 결론

• 여전히 AGI 회의론자임. LLM 브랜치에서 AGI가 나올 것이라고 보지 않음
• 인간은 개별적으로도 복잡하고, 과학·제도 같은 사회적 기술(social technologies) 위에서 발전해왔기에 단순히 이기기 어려움
• "AI as Normal Technology" 논문의 예측(AI가 전기·인터넷처럼 점진적으로 확산)이 AI 2027의 예측보다 더 가까울 것으로 봄
• 다만 솔직하게 인정함: 이것이 자신이 믿고 싶은 이야기에 대한 사후 합리화일 수 있다고
• 향후 5년은 몰라도, 10년, 20년, 50년 뒤에 대해서는 아무도 모름. 유일하게 진실한 답은 "모른다"뿐임