본문으로 건너뛰기
피드

전 Uber 자율주행 책임자, Tesla FSD 사용 중 사고 — 감독형 자율주행의 구조적 결함을 폭로

general 약 5분
vote
0
댓글
북마크

Uber 자율주행차 부문을 이끌었던 Raffi Krikorian이 Tesla FSD 모드로 주행 중 사고를 당하고, 감독형 자율주행이 근본적으로 결함이 있음을 The Atlantic 에세이를 통해 분석함. 99% 완벽한 시스템이 운전자의 경계심을 무너뜨리는 역설, Tesla의 사고 후 데이터를 활용한 책임 전가 관행, Level 2 분류의 법적 방패 역할을 지적함.

  • 1

    자율주행 전문가조차 FSD의 조건화를 피하지 못하고 사고를 당함

  • 2

    Vigilance Decrement: 거의 완벽한 시스템 감독은 5-8초의 재개입 지연을 유발하며 긴급 상황에 대응 불가

  • 3

    Tesla는 운전자 데이터를 상시 기록하되 사고 시 책임 전가에 활용하고, 운전자 데이터 요청에는 단편만 제공

  • 4

    FSD가 개선될수록 운전자 안전 불감증이 강화되어 오히려 더 위험해지는 역설 존재

전 Uber 자율주행 책임자, Tesla FSD 사용 중 사고 — "감독형 자율주행은 근본적으로 결함이 있다"

  • Mozilla CTO이자 전 Uber 자율주행차 부문(ATC) 책임자인 Raffi Krikorian이 Tesla Model X의 FSD(Full Self-Driving) 모드 사용 중 주택가 도로에서 콘크리트 벽에 충돌, 차량이 전파됨
  • 뒷좌석에 자녀들이 탑승 중이었으며, 본인은 뇌진탕과 목 부상을 입었고, 자녀들은 무사했음
  • The Atlantic에 에세이를 기고하여 사고 경위와 감독형 자율주행의 구조적 문제를 상세히 분석함

사고 경위

  • Boy Scouts 모임에 가는 익숙한 일요일 드라이브 중 FSD 모드로 주행하고 있었음
  • 회전 구간에서 FSD가 갑자기 방향 감각을 잃고, 스티어링 휠이 불규칙하게 움직이며 경고 없이 감속됨
  • Krikorian이 즉시 핸들을 잡았으나 복구할 수 없었고, 콘크리트 벽에 충돌함
  • Tesla가 요구하는 대로 손은 핸들 위에 있었으나, 시스템이 수개월간 "신뢰하도록 훈련"시킨 상태였음

자율주행 전문가도 당했다

  • Krikorian은 Uber ATC에서 자율주행차를 개발하고, 안전 운전자에게 개입 프로토콜을 직접 교육한 인물임
  • 재임 2년간 부상 사고 제로를 달성한 이력이 있음
  • 그런 수준의 전문가조차 FSD의 조건화(conditioning)를 피하지 못했다는 점이 핵심임

⚠️주의

> Vigilance Decrement (경계 감소 현상): 거의 완벽하게 작동하는 시스템을 감독하는 것은 지루하고, 지루함은 주의 분산을 유발함. 자동화 시스템이 제어권을 돌려줄 때 운전자가 재개입하는 데 5~8초가 필요하지만, 긴급 상황은 그보다 빠르게 전개됨.

감독형 자율주행의 구조적 모순

  • 핵심 논지: Tesla는 감독이 불필요하게 느껴지도록 설계된 시스템을 인간에게 감독하라고 요구하고 있음
  • 불안정한 기계는 경각심을 유지시키고, 완벽한 기계는 감독이 필요 없지만, 99% 완벽한 기계는 운전자가 신뢰하되 주의를 멈추게 만드는 함정을 만듦
  • IIHS 연구: 어댑티브 크루즈 컨트롤 1개월 사용 후 운전자가 핸드폰을 보는 확률이 6배 증가함
  • 2018년 Mountain View 사고: Apple 엔지니어에게 6초의 경고 시간이 있었으나 핸들을 잡지 않음
  • 2018년 Uber Tempe 사고: 센서가 5.6초 전에 보행자를 감지했으나, 안전 운전자가 눈을 들었을 때 남은 시간은 1초 미만이었음

Tesla의 데이터 관행 문제

  • Tesla는 운전자의 손 위치, 반응 시간, 시선 추적 데이터를 상시 기록하고, 사고 후 운전자에게 책임을 전가하는 데 활용함
  • 반면 운전자가 자신의 데이터를 요청하면 단편적인 정보만 제공됨
  • Florida 사망 사고 소송(배심원 평결 $243M)에서는 Tesla가 "찾을 수 없다"고 주장한 데이터를 해커를 고용하여 차량 칩에서 복구해야 했음
  • Level 2 분류상 사고 책임은 항상 운전자에게 귀속됨 — 법적 프레임워크 자체가 Tesla의 방패가 됨

BYD와의 대조

  • BYD는 2025년 7월 자율 주차 기능 관련 사고 시 보험 청구 없이 직접 피해를 보상하겠다고 발표함
  • 제조사와 운전자 간 책임 공유가 불가능한 것이 아니라 선택의 문제임을 보여주는 사례임

핵심 역설

  • FSD가 더 좋아질수록 더 위험해짐 — 매끄러운 작동이 운전자의 안전 불감증을 강화하고, 시스템 실패 시 복구가 더욱 어려워짐
  • "감독(supervised)"이라는 레이블은 안전 솔루션이 아니라 법적 방패에 불과함
  • 자율주행 시스템을 직접 만든 전문가도 조건화를 피할 수 없었다면, 일반 운전자가 이를 안전하게 사용할 수 있다는 전제 자체가 성립하지 않음

자동화의 역설(Automation Paradox)이 자율주행에서 가장 위험한 형태로 나타남. 시스템이 99% 신뢰할 수 있을 때 인간은 감독자 역할을 수행할 수 없으며, 이는 소프트웨어 모니터링, AI 안전 등 기술 전반에 적용되는 설계 원칙임.

댓글

댓글

댓글을 불러오는 중...

general

Last.fm, 소유권 바뀌고 독립 회사로 새 출발

Last.fm이 소유권 변경을 거쳐 독립 회사로 운영된다고 밝혔다. 계정, 청취 기록, 스크로블, Pro 구독, API 기능은 그대로 유지되며 사용자 데이터 처리 방식도 바뀌지 않는다고 안내했다.

general

구글이 “사람들은 AI 모드를 좋아한다”고 하자 덕덕고 방문이 28% 가까이 늘어남

구글 검색이 AI 모드와 AI 개요를 전면에 밀어붙이는 사이, AI 없는 검색을 내세운 덕덕고 쪽 트래픽이 눈에 띄게 뛰었다. 덕덕고는 “사람들이 원하는 건 AI 자체의 찬반이 아니라 선택권”이라고 보고 있다.

general

경기도, 도민 15만 명 대상 AI·디지털 교육 시작

경기도가 2026년 AI디지털배움터를 열고 약 15만 명을 대상으로 스마트폰, 키오스크, 생성형 AI, 업무 자동화 교육을 운영해. 고령층과 정보취약지역 주민을 위한 찾아가는 교육, 청년·소상공인 대상 AI 활용 교육까지 범위를 넓힌 게 특징이야.

general

NIA “공공 AX 표준 만들고, 정책부터 현장 구현까지 직접 잇겠다”

한국지능정보사회진흥원(NIA)이 AI 기본법에 따른 인공지능정책센터로 지정되며 공공 부문의 AI 전환을 지원하겠다는 방향을 밝혔다. 핵심은 부처·지자체가 각자 따로 AI를 도입하다 생기는 중복 투자와 표준 부재를 줄이고, 일부 유스케이스는 정책 설계에서 구현까지 직접 밀어붙이겠다는 것.

general

최악의 면접은 코딩 테스트가 아니라 ‘무단 심리평가’였다

한 엔지니어가 정신건강 스타트업의 창업 엔지니어 면접에서 겪은 일을 공유했다. 기술 평가도 하기 전에 90분짜리 컬처핏 인터뷰에서 인생의 가장 힘든 날, 가족 문제, 실패한 관계 같은 사적인 이야기를 끌어냈고, 다음 날 한 줄짜리 탈락 메일을 받았다는 내용이다.