직원 감정까지 점수 매기는 ‘감정 AI’가 사무실로 들어오고 있다

• 회사들이 이제 직원의 ‘일을 잘하냐’만 보는 게 아니라 ‘느낌이 괜찮은 사람처럼 보이냐’까지 보려는 쪽으로 가고 있음

  • 기사에 나온 MorphCast는 화상회의에서 사용자의 감정을 분석해 ‘재미있어함’, ‘단호함’, ‘관심 있음’, ‘조급함’ 같은 식으로 라벨을 붙임
  • 이 분야 이름은 감정 AI(Emotion AI), 또는 정서 컴퓨팅(Affective Computing)이고, 표정·목소리·채팅·이메일을 분석해 감정 상태를 추정한다고 주장함

• 이미 적용 사례가 꽤 많음. 이게 무서운 포인트임

  • MorphCast는 정신건강 앱, 학생 집중도 모니터링 프로그램, 맥도날드 포르투갈 프로모션에 기술을 라이선스함
  • 맥도날드 사례는 앱 사용자의 얼굴을 스캔해서 ‘기분’에 맞춘 쿠폰을 주는 식이었음
  • 콜센터에서는 보험사 MetLife 같은 회사가 상담원의 목소리 높낮이와 톤을 분석하고, 운송업체는 눈 추적기·고감도 녹음 장비·뇌파 스캐너로 운전자의 피로와 스트레스를 보려 함
  • Burger King은 직원 헤드셋에 AI 챗봇을 넣어 친절도를 평가하는 파일럿을 돌리고 있는데, 이름이 Patty임. 너무 노골적이라 오히려 농담 같음

• 처음엔 저임금·현장직에 들어가고, 그다음 사무직으로 올라오는 전형적인 패턴을 타고 있음

  • Cory Doctorow가 말한 ‘Shitty Technology Adoption Curve’가 딱 이 얘기임. 착취적인 기술은 먼저 취약한 노동자에게 적용되고, 정교해진 뒤 더 높은 직급으로 올라감
  • 지금은 슬랙 메시지를 계속 감시해서 감정과 독성을 분석한다는 Aware, 직원 채팅을 일괄 분석할 수 있는 Azure 기능, 줌 회의 참가자의 집중도·흥분도·긍정성을 실시간 추적하는 MorphCast 확장 같은 사례가 나옴
  • 채용 쪽에서는 Imentiv 같은 회사가 후보자의 감정 몰입도, 강도, 정서 방향, 성격 유형까지 분석해준다고 홍보함

• 법보다 현실이 먼저 바뀐 것도 큼

  • 미국에서는 회사 장비·회사 시간·회사 공간에서 벌어지는 직원 활동을 감시할 수 있는 권한이 꽤 넓게 인정됨
  • 예전엔 데이터를 모아도 너무 많아서 분석이 어려웠는데, 이제 AI가 통화·채팅·영상·키 입력을 대량으로 훑어 ‘이 직원은 어떤 사람인가’라는 이야기로 바꿔줌
  • 한 콜센터 모니터링 업체는 기존 방식이 상호작용의 1~3%만 샘플링했다면, AI는 100%를 분석할 수 있다고 홍보함. 말 그대로 빠지는 게 없다는 뜻임

• 생산성 감시도 이미 문제가 많았는데, 감정 분석은 훨씬 더 불안정함

  • 키 입력 추적기는 ‘멍하니 타이핑하는 사람’과 ‘깊게 생각하는 지식 노동자’를 구분하지 못함
  • UnitedHealth Group 사례에서는 사회복지사가 환자 상담 중이라 키보드를 못 쳤는데, 모니터링 프로그램은 그걸 비활동으로 처리해 성과와 보상에 영향을 줬음
  • 감정은 이보다 더 복잡함. 표정 하나, 말투 하나가 문화·상황·개인 습관·대화 맥락에 따라 완전히 다르게 해석될 수 있음

• 감정 AI의 과학적 기반도 꽤 흔들림

  • 많은 제품이 Paul Ekman의 ‘기본 감정 6가지’ 이론, 즉 분노·혐오·공포·행복·슬픔·놀람이 보편적으로 표정에 드러난다는 전제를 깔고 있음
  • 하지만 이 이론은 수십 년 동안 지나치게 단순하고 방법론적으로 문제가 있다는 비판을 받아왔음
  • 2018년 Lauren Rhue의 연구에서는 NBA 선수 사진을 감정 인식 AI에 넣었더니, 흑인 선수를 백인 동료보다 더 화난 것으로 판단하는 경향이 나왔음. 심지어 웃고 있는 경우에도 그랬음

• Lisa Feldman Barrett의 설명이 이 기사에서 제일 핵심임. 몸짓과 표정에는 고정된 감정 의미가 없다는 것

  • 미국에서 사람들은 화났을 때 약 35% 정도만 찡그린다고 함
  • 반대로 말하면 찡그림만 찾으면 분노 사례의 65%를 놓침
  • 더 골치 아픈 건, 사람들이 찡그릴 때 절반은 화난 게 아니라는 점임
  • 면접에서 정말 집중해서 듣느라 얼굴을 찡그리고 있는데 AI가 ‘분노’로 라벨링하면? 그 후보자는 그냥 떨어질 수 있음

• 실제로 채용 AI 쪽 문제도 이미 나옴

  • HireVue는 Ikea, Regeneron, 필라델피아 아동병원 같은 고객사를 둔 채용·평가 플랫폼임
  • 2025년 ACLU는 Intuit의 청각장애 접근성 팀원이 승진 인터뷰에서 충분한 자막을 제공받지 못했고, 이후 승진에서 탈락했다는 법적 문제를 제기함
  • 탈락 안내 메일에는 ‘적극적 경청을 연습하라’는 조언이 있었다고 함. 당사자 입장에서는 진짜 어이없는 문장임

• 기술이 틀려서 문제라는 비판만으로는 부족함. 맞아도 문제임

  • AI가 감정을 잘못 읽으면 당연히 억울한 평가가 생김
  • 그런데 반대로 AI가 정말 내 감정 상태를 꽤 정확히 읽는다면, 회사는 내 업무뿐 아니라 내 기분까지 관리하려 들 수 있음
  • 그러면 직원은 일을 하는 것과 별개로 ‘AI가 보기에 충분히 긍정적이고 협조적인 사람처럼 보이는 노동’을 추가로 해야 함

• 운송업 사례는 감시가 안전을 자동으로 보장하지 않는다는 걸 보여줌

  • 미국에서는 2016년 과로와 사고를 줄이려는 목적으로 전자 운행 기록이 의무화됐음
  • 하지만 Cornell의 Karen Levy가 연구한 바에 따르면, 지속적 감시는 트럭 운전자에게 별도의 스트레스를 만들었고 실제 사고 감소로 이어지지도 않았음
  • 운전자들이 갖고 있던 자율성과 직업적 자부심도 컴퓨터가 계속 지켜보는 구조 속에서 깎여나갔다는 설명이 나옴

• 결국 이 기사의 결론은 꽤 선명함. 회사가 나를 ‘알아주는’ 게 아니라 ‘측정 가능한 대상으로 바꾸는’ 순간 문제가 시작됨

  • 생산성 감시가 분 단위 업무 평가로 갔다면, 감정 AI는 표정·목소리·채팅 톤까지 업무 평가 재료로 만들려 함
  • 개발자도 예외가 아님. 원격근무, 슬랙, 줌, 코드 리뷰, 사내 설문이 전부 분석 가능한 데이터가 되는 순간, ‘일을 잘하는가’와 ‘기계가 보기에 괜찮은 태도인가’가 섞이기 시작함

---

기술 맥락

• 감정 AI가 위험한 이유는 단순히 모델 정확도가 낮아서만은 아니에요. 회사가 표정, 음성, 채팅 같은 애매한 신호를 정량 점수로 바꾸면, 그 점수가 채용이나 성과 평가 같은 강한 의사결정에 붙을 수 있거든요.

• 이 기술은 보통 컴퓨터 비전, 음성 분석, 자연어 처리(NLP)를 섞어서 돌아가요. 문제는 입력 신호가 많아질수록 더 객관적으로 보이지만, 실제로는 맥락을 잃은 추정치가 더 그럴듯하게 포장될 수 있다는 점이에요.

• 기사에서 중요한 선택지는 ‘직원 안전과 번아웃 감지를 위해 쓸 것인가’와 ‘생산성·친절도·협조성을 평가하는 데 쓸 것인가’예요. 전자는 제한된 상황에서 논의 여지가 있지만, 후자는 직원이 감정 표현까지 최적화해야 하는 구조를 만들어요.

• 개발 조직에서도 이 흐름은 남의 일이 아니에요. 슬랙 메시지, 줌 회의, 코드 리뷰 코멘트는 이미 디지털 데이터라 분석하기 쉽고, 원격근무 환경에서는 관리자가 이런 도구에 기대고 싶은 유인이 커지거든요.