본문으로 건너뛰기
피드

AI 회의론자가 말하는 재귀적 자기개선의 가능성

ai-ml 약 7분
vote
0
댓글
북마크

AI 회의론자가 재귀적 자기개선이 왜 무시할 수 없는지를 4단계 논증으로 설명하는 에세이. LLM이 AGI가 되지 못하더라도 다른 AI 패러다임의 연구를 가속할 수 있다는 점이 핵심 통찰이며, 6가지 미해결 질문을 통해 불확실성을 솔직하게 인정함.

  • 1

    AI가 코드를 작성하고 ML 연구에 활용되는 재귀적 루프는 이미 시작되었으나, 그 범위와 속도는 알 수 없음

  • 2

    인간 뉴런과 인공 뉴런의 근본적 차이가 AGI 낙관론과 비관론 모두의 근거가 될 수 있음

  • 3

    LLM이 AGI가 못 되더라도 뉴로심볼릭 AI 등 다른 패러다임의 연구를 가속할 수 있다는 것이 핵심 논점

  • 4

    스케일링 법칙의 멱법칙 분포, 모라벡의 역설, 지능의 상한선 등 6가지 미해결 질문이 시나리오의 실현 여부를 판단하기 어렵게 만듦

AI 회의론자가 재귀적 자기개선(recursive self-improvement)의 가능성을 인정하면서도, 왜 여전히 회의적인지를 4단계 논증으로 풀어낸 에세이임.

I. 기본 논증: AI → AI 연구 가속 → 지능 폭발?

  • 핵심 논리는 단순함: AI가 코드를 잘 짬 → ML 연구에 도움이 되는 작업이 있음 → AI가 AI 연구에 투입됨 → 더 나은 AI가 더 많은 연구를 도움 → 지능 폭발
  • 1번(AI가 코드를 잘 짠다)과 2번(그 중 일부가 ML 연구에 유용하다)은 반박 불가능한 사실로 봄. Andrej Karpathy가 언급한 "반복적 최적화(iterative optimization)" 작업이 대표적 사례임
  • 3번(AI가 AI 연구에 활용되어 진보를 가속한다)도 거의 확실하다고 판단함
  • 문제는 4번: 재귀적 자기개선이 시작되더라도, 그것이 얼마나 멀리, 얼마나 빠르게 갈 수 있는지는 전혀 알 수 없음

ℹ️참고

단기 vs 장기 단기적으로 재귀적 자기개선은 이미 시작된 것이나 다름없음. 현재 수준의 모델만으로도 프로그래밍 방식 일부가 바뀌고 있고, 데이터센터 용량이 수년 내 2배로 늘어나면 더 긴 컨텍스트 윈도우에서의 운용이 가능해짐. 하지만 장기적 궤적은 완전히 다른 문제임.

II. 현재 패러다임으로 AGI에 도달할 수 있는가?

  • AGI 자체는 원리적으로 가능함 — 인간이 곧 AGI의 존재 증명이기 때문
  • 하지만 인간 뉴런과 인공 뉴런은 근본적으로 다름. Mike X Cohen 박사의 분석에 따르면, 둘을 같은 이름으로 부르는 것 자체가 모욕적일 정도로 상이함
  • 이 사실은 양쪽 모두의 근거가 될 수 있음:
    • 종말론자(doomer) 측: LLM이 인간과 공통점이 거의 없는데도 이 정도까지 왔다는 건, 인간의 작동 원리를 이해하지 않고도 AGI를 "조립(kludge)"할 수 있다는 뜻일 수 있음
    • 부정론자(denier) 측: 현재 AI 시스템이 유일하게 알려진 AGI(인간)와 완전히 다르다는 건, 근본적으로 잘못된 방향이라는 뜻일 수 있음. AI는 입출력이 단순하고 보상 신호가 명확한 과제(체스, 수학, 코딩)에서만 잘 작동하며, 훈련 분포 밖으로 일반화하지 못함
  • 저자는 부정론자 쪽에 기울어 있음. 하지만 여기서 끝이 아님

III. 핵심 통찰: LLM이 AGI가 못 되더라도, 다른 패러다임의 연구를 가속할 수 있음

  • 이것이 이 에세이의 가장 중요한 논점임
  • Gary Marcus는 LLM이 상징적 논리(symbolic logic), 세계 모델(world model), 형식적 추론이 없어서 AGI에 도달할 수 없다고 주장함. 그가 선호하는 대안은 뉴로심볼릭 AI(neurosymbolic AI)
  • Marcus가 옳다고 가정해도, LLM이 다른 AI 패러다임의 연구 속도를 높일 수 있다는 점은 변하지 않음
    • AI 연구는 손실 함수(loss function)로 최적화할 수 있는 분야이고, LLM은 수학과 코딩에 특히 강함
    • 뉴로심볼릭 AI 연구자가 LLM 어시스턴트를 활용해 연구를 가속하는 시나리오는 충분히 현실적임
  • 즉, LLM 코딩이 AGI 개발의 원인이 될 수 있음 — LLM 자체가 AGI가 되지 않더라도, 올바른 패러다임을 발견하는 시간을 단축시킬 수 있기 때문
  • 모든 AI 연구자가 LLM 어시스턴트로 연구를 가속할 수 있고, AGI에 도달하려면 누군가 테크 트리에서 올바른 경로를 찾기만 하면 됨

중요

회의론자의 지능 폭발 논거 LLM 코더가 AI 연구를 가속할 수 있다면, AI 타임라인은 단축되어야 함. AGI가 현재 테크 트리 어딘가에 있고, 현재의 기술적·컴퓨팅 한계를 넘지 않고 발견 가능하다면, LLM 자체가 AGI가 되느냐는 사실상 중요하지 않음.

IV. 답할 수 없는 6가지 질문

저자는 이 시나리오의 실현 여부를 판단하기 극히 어렵게 만드는 미해결 질문 6가지를 제시함:

  1. 컴퓨팅 한계: 인간 수준의 알고리즘이 시뮬레이션하기에 너무 복잡해서 막대한 컴퓨팅 증가가 필요하면? 스케일링 법칙은 로그 축에서는 무섭게 보이지만, 일반 축에서는 훨씬 약함
  2. 스케일링 법칙의 멱법칙 분포: 일정한 속도로 개선하려면 지수적 자원 증가가 필요함. 재귀적 자기개선이 이 비용 증가를 앞지르지 못하면 자연히 소멸됨
  3. 모라벡의 역설(Moravec's Paradox): 컴퓨터는 30년 전부터 체스에서 인간을 이겼지만, 눈 위 운전 같은 인지 과제는 아직 대체 못 함. 이 불균형(jaggedness)이 영원히 계속되면?
  4. 지능의 이론적 상한선: 라마누잔과 보통 사람의 지능 차이는 크지만, 라마누잔이 가능한 한계치라면? 지능이 우리가 생각하는 것만큼 무한히 확장 가능하지 않을 수 있음
  5. 동적 장기 기억의 트레이드오프: 장기 기억이나 지속적 학습이 단기 기억(작업 기억) 악화라는 본질적 트레이드오프를 수반하면? 인간의 작업 기억 용량이 3~5개 객체로 제한되는 것이 관련 있을 수 있음
  6. AGI가 현재 테크 트리에 없으면?: 인간이 유일하게 가능한 AGI 시스템이거나, 인간 유전학과 신경과학을 완전히 이해해야만 AGI/ASI에 접근할 수 있다면?

저자의 결론

  • 여전히 AGI 회의론자임. LLM 브랜치에서 AGI가 나올 것이라고 보지 않음
  • 인간은 개별적으로도 복잡하고, 과학·제도 같은 사회적 기술(social technologies) 위에서 발전해왔기에 단순히 이기기 어려움
  • "AI as Normal Technology" 논문의 예측(AI가 전기·인터넷처럼 점진적으로 확산)이 AI 2027의 예측보다 더 가까울 것으로 봄
  • 다만 솔직하게 인정함: 이것이 자신이 믿고 싶은 이야기에 대한 사후 합리화일 수 있다고
  • 향후 5년은 몰라도, 10년, 20년, 50년 뒤에 대해서는 아무도 모름. 유일하게 진실한 답은 "모른다"뿐임

LLM 자체의 AGI 도달 여부보다, LLM이 다른 AI 패러다임 연구를 가속하여 간접적으로 AGI에 기여할 가능성이 더 중요한 변수일 수 있음.

댓글

댓글

댓글을 불러오는 중...

ai-ml

오픈AI, 브로드컴과 만든 첫 자체 추론 칩 ‘할라페뇨’ 공개

오픈AI가 브로드컴과 함께 만든 첫 자체 추론 프로세서 ‘할라페뇨’를 공개했다. 아직 테스트 단계지만, 실시간 코딩 모델 같은 추론 워크로드에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 좋다는 초기 결과를 내세웠다.

ai-ml

가트너 “네오클라우드, 2030년 AI 클라우드 시장 20% 먹는다”

생성형 AI 확산으로 GPU 기반 고성능 컴퓨팅 수요가 폭증하면서 AI 전용 클라우드 사업자인 네오클라우드가 커지고 있다는 분석이 나왔어. 가트너는 2030년 약 2,670억 달러 규모 AI 클라우드 시장에서 네오클라우드가 20%를 차지할 수 있다고 봤어. GPU 확보, 가격 경쟁력, 데이터 주권 대응이 핵심 포인트야.

ai-ml

스페이스X, 오픈소스 AI 스타트업에 초대형 컴퓨팅 파워 판다

리플렉션 AI가 스페이스X의 대형 데이터센터 인프라를 쓰기 위해 2029년까지 최대 63억달러 규모 계약을 맺었다는 내용이다. 월 1억5000만달러를 내고 엔비디아 GB300 기반 컴퓨팅 자원을 확보하는 구조이며, 스페이스X는 남는 AI 인프라를 외부 고객에게 파는 플랫폼 사업으로 확장하려는 흐름을 보인다. 오픈소스 AI 모델을 내세우는 리플렉션 AI가 정부·안보 시장에서 빠르게 커지고 있다는 점도 포인트다.

ai-ml

AI가 청소년의 ‘생각 훈련’을 건너뛰게 만든다는 경고

이 글은 생성형 AI가 청소년과 주니어에게 편리한 도구를 넘어 사고력 발달을 약화시킬 수 있다는 우려를 다뤄. 핵심은 AI 사용 자체가 문제라기보다, AI가 단일한 관계와 정보 통로가 되고 글쓰기·판단·고민의 과정을 대신해버릴 때 인지 훈련 기회가 사라진다는 점이야.

ai-ml

성남시, AI로 고독사 위험과 고령자 주차 문제를 같이 실증한다

성남시니어산업혁신센터가 AI 돌봄 자동화 플랫폼과 AI 스마트 주차관리 시스템의 실증기관으로 선정됐어. 각각 14억2500만 원, 30억 원 규모 사업이고, 고령자 돌봄과 교통약자 주차 편의라는 생활밀착형 문제를 AI로 풀어보겠다는 내용이야.