---
title: "AI 회의론자가 말하는 재귀적 자기개선의 가능성"
published: 2026-03-14T21:42:12.000Z
canonical: https://jeff.news/article/566
---
# AI 회의론자가 말하는 재귀적 자기개선의 가능성

AI 회의론자가 재귀적 자기개선이 왜 무시할 수 없는지를 4단계 논증으로 설명하는 에세이. LLM이 AGI가 되지 못하더라도 다른 AI 패러다임의 연구를 가속할 수 있다는 점이 핵심 통찰이며, 6가지 미해결 질문을 통해 불확실성을 솔직하게 인정함.

AI 회의론자가 재귀적 자기개선(recursive self-improvement)의 가능성을 인정하면서도, 왜 여전히 회의적인지를 4단계 논증으로 풀어낸 에세이임.

## I. 기본 논증: AI → AI 연구 가속 → 지능 폭발?

- 핵심 논리는 단순함: **AI가 코드를 잘 짬 → ML 연구에 도움이 되는 작업이 있음 → AI가 AI 연구에 투입됨 → 더 나은 AI가 더 많은 연구를 도움 → 지능 폭발**
- 1번(AI가 코드를 잘 짠다)과 2번(그 중 일부가 ML 연구에 유용하다)은 반박 불가능한 사실로 봄. Andrej Karpathy가 언급한 "반복적 최적화(iterative optimization)" 작업이 대표적 사례임
- 3번(AI가 AI 연구에 활용되어 진보를 가속한다)도 거의 확실하다고 판단함
- **문제는 4번**: 재귀적 자기개선이 시작되더라도, 그것이 **얼마나 멀리, 얼마나 빠르게** 갈 수 있는지는 전혀 알 수 없음

> [!note] 단기 vs 장기
> 단기적으로 재귀적 자기개선은 이미 시작된 것이나 다름없음. 현재 수준의 모델만으로도 프로그래밍 방식 일부가 바뀌고 있고, 데이터센터 용량이 수년 내 2배로 늘어나면 더 긴 컨텍스트 윈도우에서의 운용이 가능해짐. 하지만 장기적 궤적은 완전히 다른 문제임.

## II. 현재 패러다임으로 AGI에 도달할 수 있는가?

- **AGI 자체는 원리적으로 가능함** — 인간이 곧 AGI의 존재 증명이기 때문
- 하지만 인간 뉴런과 인공 뉴런은 근본적으로 다름. Mike X Cohen 박사의 분석에 따르면, 둘을 같은 이름으로 부르는 것 자체가 모욕적일 정도로 상이함
- 이 사실은 **양쪽 모두의 근거**가 될 수 있음:
  - **종말론자(doomer) 측**: LLM이 인간과 공통점이 거의 없는데도 이 정도까지 왔다는 건, 인간의 작동 원리를 이해하지 않고도 AGI를 "조립(kludge)"할 수 있다는 뜻일 수 있음
  - **부정론자(denier) 측**: 현재 AI 시스템이 유일하게 알려진 AGI(인간)와 완전히 다르다는 건, 근본적으로 잘못된 방향이라는 뜻일 수 있음. AI는 입출력이 단순하고 보상 신호가 명확한 과제(체스, 수학, 코딩)에서만 잘 작동하며, 훈련 분포 밖으로 일반화하지 못함
- 저자는 **부정론자 쪽에 기울어 있음**. 하지만 여기서 끝이 아님

## III. 핵심 통찰: LLM이 AGI가 못 되더라도, 다른 패러다임의 연구를 가속할 수 있음

- 이것이 이 에세이의 가장 중요한 논점임
- Gary Marcus는 LLM이 상징적 논리(symbolic logic), 세계 모델(world model), 형식적 추론이 없어서 AGI에 도달할 수 없다고 주장함. 그가 선호하는 대안은 **뉴로심볼릭 AI(neurosymbolic AI)**
- **Marcus가 옳다고 가정해도**, LLM이 다른 AI 패러다임의 연구 속도를 높일 수 있다는 점은 변하지 않음
  - AI 연구는 손실 함수(loss function)로 최적화할 수 있는 분야이고, LLM은 수학과 코딩에 특히 강함
  - 뉴로심볼릭 AI 연구자가 LLM 어시스턴트를 활용해 연구를 가속하는 시나리오는 충분히 현실적임
- 즉, **LLM 코딩이 AGI 개발의 원인이 될 수 있음** — LLM 자체가 AGI가 되지 않더라도, 올바른 패러다임을 발견하는 시간을 단축시킬 수 있기 때문
- 모든 AI 연구자가 LLM 어시스턴트로 연구를 가속할 수 있고, AGI에 도달하려면 **누군가 테크 트리에서 올바른 경로를 찾기만 하면 됨**

> [!important] 회의론자의 지능 폭발 논거
> LLM 코더가 AI 연구를 가속할 수 있다면, AI 타임라인은 단축되어야 함. AGI가 현재 테크 트리 어딘가에 있고, 현재의 기술적·컴퓨팅 한계를 넘지 않고 발견 가능하다면, LLM 자체가 AGI가 되느냐는 사실상 중요하지 않음.

## IV. 답할 수 없는 6가지 질문

저자는 이 시나리오의 실현 여부를 판단하기 극히 어렵게 만드는 미해결 질문 6가지를 제시함:

1. **컴퓨팅 한계**: 인간 수준의 알고리즘이 시뮬레이션하기에 너무 복잡해서 막대한 컴퓨팅 증가가 필요하면? 스케일링 법칙은 로그 축에서는 무섭게 보이지만, 일반 축에서는 훨씬 약함
2. **스케일링 법칙의 멱법칙 분포**: 일정한 속도로 개선하려면 지수적 자원 증가가 필요함. 재귀적 자기개선이 이 비용 증가를 앞지르지 못하면 자연히 소멸됨
3. **모라벡의 역설(Moravec's Paradox)**: 컴퓨터는 30년 전부터 체스에서 인간을 이겼지만, 눈 위 운전 같은 인지 과제는 아직 대체 못 함. 이 불균형(jaggedness)이 영원히 계속되면?
4. **지능의 이론적 상한선**: 라마누잔과 보통 사람의 지능 차이는 크지만, 라마누잔이 가능한 한계치라면? 지능이 우리가 생각하는 것만큼 무한히 확장 가능하지 않을 수 있음
5. **동적 장기 기억의 트레이드오프**: 장기 기억이나 지속적 학습이 단기 기억(작업 기억) 악화라는 본질적 트레이드오프를 수반하면? 인간의 작업 기억 용량이 3~5개 객체로 제한되는 것이 관련 있을 수 있음
6. **AGI가 현재 테크 트리에 없으면?**: 인간이 유일하게 가능한 AGI 시스템이거나, 인간 유전학과 신경과학을 완전히 이해해야만 AGI/ASI에 접근할 수 있다면?

## 저자의 결론

- 여전히 AGI 회의론자임. LLM 브랜치에서 AGI가 나올 것이라고 보지 않음
- 인간은 개별적으로도 복잡하고, 과학·제도 같은 **사회적 기술(social technologies)** 위에서 발전해왔기에 단순히 이기기 어려움
- **"AI as Normal Technology"** 논문의 예측(AI가 전기·인터넷처럼 점진적으로 확산)이 **AI 2027**의 예측보다 더 가까울 것으로 봄
- 다만 솔직하게 인정함: 이것이 **자신이 믿고 싶은 이야기에 대한 사후 합리화**일 수 있다고
- 향후 5년은 몰라도, **10년, 20년, 50년** 뒤에 대해서는 아무도 모름. 유일하게 진실한 답은 "**모른다**"뿐임

## 핵심 포인트

- AI가 코드를 작성하고 ML 연구에 활용되는 재귀적 루프는 이미 시작되었으나, 그 범위와 속도는 알 수 없음
- 인간 뉴런과 인공 뉴런의 근본적 차이가 AGI 낙관론과 비관론 모두의 근거가 될 수 있음
- LLM이 AGI가 못 되더라도 뉴로심볼릭 AI 등 다른 패러다임의 연구를 가속할 수 있다는 것이 핵심 논점
- 스케일링 법칙의 멱법칙 분포, 모라벡의 역설, 지능의 상한선 등 6가지 미해결 질문이 시나리오의 실현 여부를 판단하기 어렵게 만듦

## 인사이트

LLM 자체의 AGI 도달 여부보다, LLM이 다른 AI 패러다임 연구를 가속하여 간접적으로 AGI에 기여할 가능성이 더 중요한 변수일 수 있음.