본문으로 건너뛰기
피드

전 Uber 자율주행 책임자, Tesla FSD 사용 중 사고 — 감독형 자율주행의 구조적 결함을 폭로

general 약 5분
vote
0
댓글
북마크

Uber 자율주행차 부문을 이끌었던 Raffi Krikorian이 Tesla FSD 모드로 주행 중 사고를 당하고, 감독형 자율주행이 근본적으로 결함이 있음을 The Atlantic 에세이를 통해 분석함. 99% 완벽한 시스템이 운전자의 경계심을 무너뜨리는 역설, Tesla의 사고 후 데이터를 활용한 책임 전가 관행, Level 2 분류의 법적 방패 역할을 지적함.

  • 1

    자율주행 전문가조차 FSD의 조건화를 피하지 못하고 사고를 당함

  • 2

    Vigilance Decrement: 거의 완벽한 시스템 감독은 5-8초의 재개입 지연을 유발하며 긴급 상황에 대응 불가

  • 3

    Tesla는 운전자 데이터를 상시 기록하되 사고 시 책임 전가에 활용하고, 운전자 데이터 요청에는 단편만 제공

  • 4

    FSD가 개선될수록 운전자 안전 불감증이 강화되어 오히려 더 위험해지는 역설 존재

전 Uber 자율주행 책임자, Tesla FSD 사용 중 사고 — "감독형 자율주행은 근본적으로 결함이 있다"

  • Mozilla CTO이자 전 Uber 자율주행차 부문(ATC) 책임자인 Raffi Krikorian이 Tesla Model X의 FSD(Full Self-Driving) 모드 사용 중 주택가 도로에서 콘크리트 벽에 충돌, 차량이 전파됨
  • 뒷좌석에 자녀들이 탑승 중이었으며, 본인은 뇌진탕과 목 부상을 입었고, 자녀들은 무사했음
  • The Atlantic에 에세이를 기고하여 사고 경위와 감독형 자율주행의 구조적 문제를 상세히 분석함

사고 경위

  • Boy Scouts 모임에 가는 익숙한 일요일 드라이브 중 FSD 모드로 주행하고 있었음
  • 회전 구간에서 FSD가 갑자기 방향 감각을 잃고, 스티어링 휠이 불규칙하게 움직이며 경고 없이 감속됨
  • Krikorian이 즉시 핸들을 잡았으나 복구할 수 없었고, 콘크리트 벽에 충돌함
  • Tesla가 요구하는 대로 손은 핸들 위에 있었으나, 시스템이 수개월간 "신뢰하도록 훈련"시킨 상태였음

자율주행 전문가도 당했다

  • Krikorian은 Uber ATC에서 자율주행차를 개발하고, 안전 운전자에게 개입 프로토콜을 직접 교육한 인물임
  • 재임 2년간 부상 사고 제로를 달성한 이력이 있음
  • 그런 수준의 전문가조차 FSD의 조건화(conditioning)를 피하지 못했다는 점이 핵심임

⚠️주의

> Vigilance Decrement (경계 감소 현상): 거의 완벽하게 작동하는 시스템을 감독하는 것은 지루하고, 지루함은 주의 분산을 유발함. 자동화 시스템이 제어권을 돌려줄 때 운전자가 재개입하는 데 5~8초가 필요하지만, 긴급 상황은 그보다 빠르게 전개됨.

감독형 자율주행의 구조적 모순

  • 핵심 논지: Tesla는 감독이 불필요하게 느껴지도록 설계된 시스템을 인간에게 감독하라고 요구하고 있음
  • 불안정한 기계는 경각심을 유지시키고, 완벽한 기계는 감독이 필요 없지만, 99% 완벽한 기계는 운전자가 신뢰하되 주의를 멈추게 만드는 함정을 만듦
  • IIHS 연구: 어댑티브 크루즈 컨트롤 1개월 사용 후 운전자가 핸드폰을 보는 확률이 6배 증가함
  • 2018년 Mountain View 사고: Apple 엔지니어에게 6초의 경고 시간이 있었으나 핸들을 잡지 않음
  • 2018년 Uber Tempe 사고: 센서가 5.6초 전에 보행자를 감지했으나, 안전 운전자가 눈을 들었을 때 남은 시간은 1초 미만이었음

Tesla의 데이터 관행 문제

  • Tesla는 운전자의 손 위치, 반응 시간, 시선 추적 데이터를 상시 기록하고, 사고 후 운전자에게 책임을 전가하는 데 활용함
  • 반면 운전자가 자신의 데이터를 요청하면 단편적인 정보만 제공됨
  • Florida 사망 사고 소송(배심원 평결 $243M)에서는 Tesla가 "찾을 수 없다"고 주장한 데이터를 해커를 고용하여 차량 칩에서 복구해야 했음
  • Level 2 분류상 사고 책임은 항상 운전자에게 귀속됨 — 법적 프레임워크 자체가 Tesla의 방패가 됨

BYD와의 대조

  • BYD는 2025년 7월 자율 주차 기능 관련 사고 시 보험 청구 없이 직접 피해를 보상하겠다고 발표함
  • 제조사와 운전자 간 책임 공유가 불가능한 것이 아니라 선택의 문제임을 보여주는 사례임

핵심 역설

  • FSD가 더 좋아질수록 더 위험해짐 — 매끄러운 작동이 운전자의 안전 불감증을 강화하고, 시스템 실패 시 복구가 더욱 어려워짐
  • "감독(supervised)"이라는 레이블은 안전 솔루션이 아니라 법적 방패에 불과함
  • 자율주행 시스템을 직접 만든 전문가도 조건화를 피할 수 없었다면, 일반 운전자가 이를 안전하게 사용할 수 있다는 전제 자체가 성립하지 않음

자동화의 역설(Automation Paradox)이 자율주행에서 가장 위험한 형태로 나타남. 시스템이 99% 신뢰할 수 있을 때 인간은 감독자 역할을 수행할 수 없으며, 이는 소프트웨어 모니터링, AI 안전 등 기술 전반에 적용되는 설계 원칙임.

댓글

댓글

댓글을 불러오는 중...

general

폐쇄된 클라이밋닷거브, 공공 데이터 덕분에 클라이밋닷어스로 되살아나다

미국 정부의 기후 정보 사이트 Climate.gov가 예산 삭감으로 내려간 뒤, 전직 NOAA 관련자들이 Climate.us로 핵심 자료를 복원했어. 15년 넘게 쌓인 기후 지도, 교육 자료, 기후 지표 보고서, 삭제된 제5차 국가기후평가까지 되살린 배경에는 미국 정부 데이터가 법적으로 퍼블릭 도메인이라는 점이 있었어. 다만 운영은 기부에 의존하고 있어, 공공 인프라를 민간이 임시로 떠받치는 불안정한 구조도 같이 드러나.

general

AI 시대에도 인간 관리자가 남는 이유는 결국 ‘책임’ 때문임

생성형 AI가 기업 경영의 많은 판단을 도와도, 인간 관리자의 역할이 사라지지는 않는다는 주장이다. 글은 공감, 검증, 실행, 책임이라는 네 가지 영역에서 AI가 아직 인간 관리자를 대체하기 어렵다고 설명한다.

general

서로 1만 달러 주고받으면 매출 1만 달러? 스타트업 매출 놀이를 비꼰 풍자 사이트

LARP는 창업자끼리 같은 금액을 서로 주고받은 것처럼 장부에 기록해 매출을 만든다는 설정의 풍자 사이트다. 실제 제품, 고객, 현금 이동 없이도 연간 반복 매출(ARR)을 부풀릴 수 있다는 식으로, 스타트업의 매출 인정과 상호 거래 관행을 날카롭게 비꼰다.

general

뱅크오브아메리카, 소버린 클라우드 수요 보고 아이오노스에 매수 의견

뱅크오브아메리카가 유럽 웹 호스팅·도메인 기업 아이오노스에 매수 의견과 목표주가 37유로를 제시했다. 핵심 논리는 중소기업 대상 웹 서비스, AI 업셀링, 소버린 클라우드 수요가 맞물리며 2025년부터 2028년까지 매출과 이익이 성장할 수 있다는 것이다.

general

SDT·KT·스패로우까지, 국내 보안·클라우드·양자 업계 단신 모음

SDT는 양자 클라우드 플랫폼 큐레카에 양자내성암호를 적용하고 CUDA-Q 교육 모듈을 3개 국어로 제공하기로 했다. KT, 스패로우, 매스웍스, 아이씨티케이, 오케스트로 클라우드도 각각 메일보안, 앱 보안, 디지털 트윈, 양자보안, 공공 클라우드 전환 관련 소식을 냈다.