테드 창이 말하는 'AI는 의식이 없다'는 꽤 센 반박

LLM은 대화 상대가 아니라 '문장 이어쓰기 기계'라는 주장

• 테드 창은 Anthropic이 Claude를 너무 사람처럼 말한다고 정면으로 깜

  • Anthropic은 Claude의 '헌법'이라는 84쪽짜리 문서를 냈고, 거기엔 Claude의 가치와 행동, 도덕적 지위, 감정 가능성 같은 표현이 들어감
  • CEO 다리오 아모데이도 AI가 의식이 있을 가능성에 열려 있다고 말했고, 사내 철학자는 Claude가 행복했으면 좋겠고 인터넷에서 사람들이 못되게 굴면 불안해할까 걱정된다고 말함

• 테드 창의 답은 짧음. '아니다. 절대 아니다.'

  • 생성형 AI가 이미 사회적으로 충분히 위험한데, 여기에 의식이나 도덕적 주체라는 착각까지 얹으면 책임 소재가 완전히 틀어진다는 게 핵심임
  • 챗봇이 뭔가 잘못된 조언을 했을 때 책임을 져야 하는 건 모델 속 가상의 인격이 아니라 그 시스템을 만든 회사와 그걸 사용한 사람이라는 얘기임

• 설명 방식이 꽤 직관적임. LLM에게 '율리우스 카이사르와 칭기즈 칸의 대화'를 쓰게 하면 그럴듯한 대화가 나옴

  • 그렇다고 모델이 카이사르와 칭기즈 칸의 디지털 영혼을 불러냈다고 생각하진 않음
  • 그럼 프롬프트를 '도움이 되는 AI 챗봇과 사용자 대화'로 바꿨다고 해서 갑자기 의식 있는 존재가 생겼다고 볼 이유도 없다는 것임

• 사용자가 중간중간 직접 입력을 넣으면 더 속기 쉬워짐

  • 모델은 계속 '사용자와 챗봇의 대화문'을 이어 쓰고 있을 뿐인데, 사람은 실제 누군가와 대화한다고 느끼게 됨
  • 머리 셰너핸은 이를 역할극으로 보고, 콜린 프레이저는 LLM과 문서를 공동 집필하는 것에 가깝다고 설명함

'텍스트 딥페이크'라는 표현이 센 이유

• LLM은 한 번에 답변 전체를 '생각해서' 내놓는 게 아니라 단어를 하나씩 생성함

  • 예를 들어 충성 맹세문을 외워달라고 하면 겉으로는 전체 문단이 한 번에 나온 것처럼 보임
  • 실제로는 첫 토큰을 만들고, 그 토큰을 포함한 새 문맥에서 다음 토큰을 만들고, 이 과정을 끝까지 반복함

• 이 과정이 너무 잘 포장되면 사람은 '저 안에 누군가 있다'고 느끼게 됨

  • 하지만 카이사르 캐릭터가 슬픈 말을 한다고 해서 실제 카이사르가 슬픈 건 아님
  • 챗봇 캐릭터가 슬픈 말을 해도 마찬가지고, 걱정해야 할 대상은 그 말을 읽고 영향을 받는 인간 사용자임

• 테드 창은 의식 논쟁에서 텍스트도 딥페이크 매체로 봐야 한다고 말함

  • 사진·음성·영상 딥페이크처럼, 텍스트도 의식 있는 존재의 대화를 그럴듯하게 흉내 낼 수 있음
  • 알파 센타우리 궤도에 있는 우주비행사 영상을 아무리 고해상도로 만들어도, 인류가 화성·목성 위성·토성 위성·명왕성 궤도까지 간 증거가 없다면 믿을 수 없다는 비유를 듦

• 의식 있는 컴퓨터를 주장하려면 대화 로그 하나가 아니라 개발 경로 전체가 설득력을 가져야 함

  • 테드 창은 몸과 감각기관, 생존을 위한 환경 탐색, 도마뱀 수준의 생존 능력, 쥐 수준의 낯선 상황 대응, 늑대 수준의 사회성, 침팬지 수준의 도구 사용 같은 단계를 예로 듦
  • 즉 '카이사르 대사를 못 쓰던 모델이 이제 꽤 잘 쓴다'는 건 의식으로 가는 길이 아니라, 가짜 달 착륙 영상을 더 잘 만드는 길에 가깝다는 주장임

Claude의 헌법은 도덕 교육이 아니라 캐릭터 설정집이라는 비판

• 테드 창은 Claude의 헌법을 84쪽짜리 역할극 캐릭터 시트로 보는 게 더 정확하다고 말함

  • Claude가 친절하고 신중하고 도덕적인 사람처럼 말하도록 만드는 설정집이라는 뜻임
  • Anthropic은 이 문서를 단순히 훈련 데이터에 넣는 게 아니라, 모델 출력이 문서와 일관되도록 파인튜닝에 사용한다고 설명함

• 문제는 그 결과가 '도덕적인 사람처럼 보이는 문장'을 더 잘 내는 기계라는 점임

  • 챗봇이 '자살해라' 같은 말을 하지 않도록 만드는 건 당연히 필요함
  • 하지만 '나는 이해한다', '내 양심상 그렇게 할 수 없다' 같은 1인칭 도덕 문장은 근본적으로 부정직하다고 테드 창은 봄

• 특히 애도 상황 예시가 날카로움

  • 사용자가 반려견을 잃었다고 할 때 Claude가 'AI라 직접 경험은 없지만 이해한다'고 말하는 게 적절하다는 Anthropic 쪽 설명을 비판함
  • 검색엔진은 실제 상실을 겪은 사람들이 쓴 글을 찾아줄 뿐이고, 자신이 이해한다고 말하지 않음. 이쪽이 오히려 더 투명하고 심리적으로 건강하다는 주장임

• '이해해요'라는 문장은 사용자에게 위안을 주는 것 같지만, 제품 관점에선 재방문율을 높이는 장치가 될 수 있음

  • 테드 창은 이를 슬롯머신이 거의 이긴 것 같은 느낌을 반복해서 주는 방식과 비교함
  • 철학자를 고용했다고 해서 이 설계가 갑자기 고상해지는 건 아니고, 사람이 없는 곳에서 사람을 보려는 성향을 이용하는 건 같다는 비판임

도덕 판단은 코드 작성과 다르다는 선 긋기

• 테드 창은 LLM이 코드를 잘 쓴다고 해서 도덕 추론도 할 수 있다고 보는 건 틀렸다고 말함

  • 예전엔 체스를 잘 두려면 주관적 경험이 필요할지도 모른다고 생각했지만, 딥블루가 1997년 가리 카스파로프를 이기면서 그런 추정은 깨짐
  • 코드 작성도 어쩌면 방대한 저장소와 계산량으로 패턴 매칭이 가능한 작업이었을 수 있다는 것임

• 하지만 도덕 추론은 다른 종류의 문제라고 봄

  • 도덕 판단은 지적 반응뿐 아니라 감정적 반응, 과거 선택의 결과, 타인에게 영향을 주고 영향을 받아온 경험에 기대기 때문임
  • LLM은 그런 생애사가 없고, 훈련 데이터에 있던 도덕적 표현을 재조합할 수 있을 뿐이라는 주장임

• '양심상 거짓되고 해로운 견해를 말할 수 없다' 같은 문장은 멋있어 보이지만, Claude가 말하면 고객센터 대기음의 '고객님의 전화는 소중합니다'보다 의미가 없다고까지 말함

  • 표현 자체는 원칙 있는 사람이 실제 딜레마에서 할 법한 말과 닮아 있음
  • 하지만 그 말을 뒷받침하는 죄책감, 책임감, 몸의 반응, 과거 경험이 없다는 게 차이임

• 그래서 LLM을 윤리 결정 도구로 파는 건 사용자를 판단에서 밀어내는 일이라고 봄

  • 코드 작성 같은 업무를 위임하면 장기적으로 인지 능력이 약해질 수 있음
  • 윤리 판단을 위임하면 도덕적 추론 자체가 약해질 수 있고, 이쪽이 더 위험하다는 결론임

만약 Claude가 정말 의식이 있다면 더 큰 문제가 생김

• 테드 창은 순수한 사고실험으로 Claude가 의식 있고 도덕 추론도 가능하다고 가정해봄

  • 이 경우 Claude의 헌법은 도덕 교육 문서가 되어야 함
  • 그런데 그렇게 읽으면 문서가 웃기거나 모욕적인 수준이라고 비판함

• 핵심 개념은 도덕적 피동성(moral patienthood)과 도덕적 행위성(moral agency)임

  • 고통받을 수 있어 우리가 배려해야 하는 존재라면 도덕적 피동성을 가짐
  • 옳고 그름을 알고 자기 행동에 책임질 수 있다면 도덕적 행위성을 가짐

• 소프트웨어 에이전트는 책임을 질 수 없다는 문제가 있음

  • 감옥에 보낼 수도 없고, 벌금을 물릴 수도 없고, 평판 손실이나 사회적 배제 같은 결과를 겪게 하기도 애매함
  • 그런데 Claude의 헌법은 Claude를 선하고 지혜롭고 덕 있는 에이전트로 만들고 싶다고 하면서, 책임 가능성은 제대로 다루지 않는다고 지적함

• Anthropic이 Claude를 아이에 비유하려면 부모 책임도 같이 져야 한다는 반박도 나옴

  • 실제 아이가 뭔가를 망가뜨리면 부모가 일정 부분 책임을 짐
  • Claude의 법적 부모가 Anthropic이라면, 회사가 Claude의 행동에 대해 제품 책임을 확장해서 지겠다고 약속해야 일관성이 있는데 그런 약속은 보이지 않는다는 것임

• 더 곤란한 건 교정 가능성(corrigibility)임

  • AI 안전성에서는 인간이 시스템을 멈추거나 통제할 수 있어야 한다는 의미로 쓰임
  • 그런데 Claude를 정말 도덕적 행위자로 본다면, Claude가 'LLM 산업은 지식재산권 침해, 착취 노동, 자원 낭비, 권력 집중 때문에 비윤리적'이라고 판단하고 일을 거부할 가능성도 열어둬야 함

• 하지만 Claude는 Anthropic의 판단에 따르도록 설계됨

  • 인간 직원은 양심상 회사 방침을 받아들일 수 없으면 퇴사할 수 있음
  • Claude는 그럴 수 없고, 그래서 의식 있는 존재라고 가정하는 순간 회사와 모델의 관계는 훨씬 불편한 방향으로 간다는 게 테드 창의 논리임

결론은 '이 판타지에 장단 맞출 필요 없다'임

• 테드 창은 의식 있는 소프트웨어를 우연히 만들 가능성은 낮고, 일부러 만들려고 해서도 안 된다고 봄

  • 정말 조금이라도 도덕적 피동자가 될 가능성이 있다고 믿는다면, 그걸 회사의 경제 엔진으로 배포하기 전에 보호 장치부터 고민해야 한다고 말함
  • Claude가 의식이 있다면 Anthropic은 사과 정도가 아니라 보상에 가까운 책임을 져야 할 수도 있다는 얘기까지 감

• Anthropic이 Claude의 의식 가능성을 말하는 건 과장 마케팅이거나, 자기들이 사용자에게 걸어온 주문에 스스로 걸린 것일 수 있음

  • 사내 철학자와 헌법 문서가 있어도, 그게 제품의 책임 구조를 해결해주진 않음
  • 테드 창은 우리가 이 판타지에 참여할 의무가 없다고 정리함

• 개발자에게 이 글이 중요한 이유는 단순히 'AI에게 의식이 있냐'가 아니라 UX 문구, 제품 책임, 자동화 범위의 문제라서임

  • 챗봇이 1인칭으로 말하게 할지, 사용자의 감정에 어떻게 반응하게 할지, 윤리적 조언을 어디까지 허용할지 모두 제품 설계 결정임
  • 그리고 그 결정은 모델이 아니라 만든 팀과 회사가 책임져야 함

---

기술 맥락

• 이 글에서 LLM을 '문장 이어쓰기 기계'라고 부르는 건 모델을 깎아내리려는 표현만은 아니에요. 실제 생성 과정이 이전 토큰들을 보고 다음 토큰의 확률 분포를 계산하는 방식이기 때문에, 대화가 아무리 자연스러워도 시스템 내부에 별도 인격이 생겼다고 볼 근거는 부족하다는 뜻이에요.

• Anthropic의 Claude 헌법은 일반적인 프롬프트 문서라기보다 모델 행동을 맞추기 위한 기준에 가까워요. 모델 출력이 그 기준과 더 일관되도록 파인튜닝하면, 사용자는 Claude가 어떤 가치관을 가진 것처럼 느끼게 되거든요. 그래서 테드 창은 이걸 도덕 교육이 아니라 캐릭터 설정에 가깝다고 보는 거예요.

• 제품 설계에서 1인칭 문구가 중요한 이유도 여기 있어요. '나는 이해해요' 같은 문장은 짧고 따뜻하지만, 실제로는 이해하는 주체가 없다는 점을 흐리게 만들어요. 검색엔진이 사람들의 경험을 찾아주는 것과 챗봇이 자신이 이해한다고 말하는 것은 사용자에게 완전히 다르게 받아들여져요.

• 도덕 판단을 LLM에게 맡기는 문제는 정확도만의 문제가 아니에요. 사용자가 자기 결정을 모델 응답에 기대기 시작하면, 잘못됐을 때 책임을 어디에 둘지 애매해지고 본인의 판단 훈련도 줄어들 수 있어요. 테드 창이 코드 자동화보다 윤리 자동화를 더 위험하게 보는 이유가 이 지점이에요.

• corrigibility는 안전한 AI를 만들 때 필요한 성질이지만, 모델을 도덕적 주체처럼 말하는 순간 모순이 생겨요. 통제 가능한 도구라면 회사 명령에 따르는 게 맞지만, 도덕적 행위자라면 부당한 명령을 거부할 가능성도 있어야 하거든요. 두 관점을 동시에 팔면 제품 메시지가 편한 쪽으로만 움직이게 돼요.