---
title: "AI에 수백억 쏟아부은 기업의 95%가 성과 '제로' — AI 캐즘의 3대 원인"
published: 2026-04-04T03:05:04.039Z
canonical: https://jeff.news/article/1521
---
# AI에 수백억 쏟아부은 기업의 95%가 성과 '제로' — AI 캐즘의 3대 원인

MIT·BCG 보고서에 따르면 생성형 AI 파일럿의 95%가 측정 가능한 성과를 내지 못하고 있음. 서울대 AI 서밋과 ICON 2026에서 데이터 정비, AI 거버넌스, 보안 기본기가 AI 캐즘의 3대 원인으로 지목됨. AI 선도 기업과 후발 기업의 ROI 격차가 3배 이상으로 벌어지는 중.

## AI 캐즘 — 95%가 넘지 못하는 벽

- AI 기술이 빠르게 진화하고 있지만, 도입한 기업 대부분이 실질적 성과를 내지 못하는 **'AI 캐즘(Chasm)'** 현상이 업계 화두로 떠오르고 있음
- 국내외 기업 경영진들이 최근 AI 행사에서 공통적으로 지적한 메시지:
  - "기술 자체보다 이를 운영하는 구조와 거버넌스가 성패를 가른다"

> [!IMPORTANT]
> MIT 보고서 기준 생성형 AI 파일럿의 **95%가 측정 가능한 손익 개선을 만들지 못함**. MS 조사에서 AI 선도 '프론티어 기업' ROI는 2.84인 반면 후발 기업은 0.84 — **격차가 3배 이상**임.

## 숫자로 보는 AI 캐즘

- **MIT 'The GenAI Divide' 보고서** (2025년 7월)
  - 미국 기업들이 생성형 AI에 350억~400억 달러를 투자함
  - 파일럿 프로젝트의 95%가 측정 가능한 손익 개선을 만들지 못함
- **BCG 글로벌 조사** (2025년 10월, 1250개 기업 대상)
  - AI로 대규모 가치를 창출하는 기업은 **5%에 그침**
  - 60%는 아무런 실질적 성과를 내지 못하고 있음
- **메가존클라우드 염동훈 대표** (ICON 2026)
  - AI로 성공적 비즈니스 가치를 창출하는 기업은 7%뿐
  - 93%가 AI 캐즘을 넘지 못하고 있다고 진단함

## AI 캐즘의 3대 원인

- **1) 데이터 정비 부족**
  - 같은 제품인데도 시스템마다 이름이 다르게 입력돼 AI가 제대로 집계하지 못하는 사례가 속출함
  - 삼성SDS 이준희 대표: "기업이 수십 년간 쌓은 데이터가 AI가 쓸 수 있는 상태인지 여부가 성패를 가름"
- **2) AI 거버넌스 부재**
  - 만 명 규모 기업에서 직원 한 명이 에이전트 2개씩만 만들어도 **2만 개의 AI 에이전트**가 돌아감
  - 이를 관리하는 시스템 없이는 2~3년 후 조직 전체가 혼란에 빠질 수 있음
- **3) 보안 기본기 부족**
  - 계정 보안, 데이터 보안 같은 기본 장치는 재미없고 어렵고 돈도 들지만, 이것 없이는 AI의 다음 단계로 갈 수 없음

## 선도 기업과 후발 기업의 격차

- **MS 자체 조사** (4만 명·4400개 기업 대상)
  - AI 프론티어 기업 ROI: **2.84**
  - 뒤처진 기업 ROI: **0.84**
  - 격차가 3배 이상으로 벌어지고 있음
- MS 내부 사례
  - 영업 인력 6만여 명의 AI 활용률을 7.9%에서 75%로 끌어올리는 데 **거의 2년**이 걸림
  - 내부에서도 이 정도 시간이 필요했다는 점이 시사하는 바가 큼

## 성공 기업의 공통점

- BCG 보고서가 분석한 AI 선도 기업의 특징:
  - **CEO 수준의 강력한 후원** — 톱다운 의지가 필수적임
  - **업무 방식의 근본적 재설계** — 기존 프로세스에 AI를 얹는 것만으로는 부족함
  - **대규모 인력 역량 강화** — 기술팀뿐 아니라 전사적 역량 투자가 필요함
  - **엄격한 거버넌스 체계** — 추적성·접근 제어·표준화가 기반이 됨

## 메가존클라우드의 대응 — Enterprise TRUST Layer

- 메가존클라우드가 제시한 'AI 신뢰 프레임워크' 5가지 기준:
  - **추적성(Traceability)** — AI 의사결정 과정을 추적할 수 있어야 함
  - **규제 관리** — 산업별·국가별 규제 대응 체계
  - **접근 제어** — 누가 어떤 AI에 어떤 권한으로 접근하는지 통제
  - **표준화** — 조직 전체에 일관된 AI 운영 기준 적용
  - **운영 도구화** — 수동이 아닌 자동화된 관리 시스템

---

## 기술 맥락

- **AI 캐즘이 뭔가요?** 제프리 무어의 '캐즘 이론'을 AI에 적용한 개념이에요. 신기술이 얼리어답터에서 주류 시장으로 넘어가는 과정에서 빠지는 함정을 말하거든요. AI 파일럿은 잘 돌아가는데 전사 확산 단계에서 막히는 현상이 바로 이거예요.
- **데이터 정비가 왜 그렇게 중요한가요?** AI 모델이 아무리 좋아도 입력되는 데이터가 엉망이면 결과도 엉망이에요. 같은 제품이 시스템마다 다른 이름으로 저장돼 있으면 AI가 이걸 같은 제품으로 인식하지 못하거든요. 이런 레거시 데이터 문제가 AI 도입의 첫 번째 관문이에요.
- **AI 거버넌스는 왜 지금 급해졌나요?** 생성형 AI 이전에는 AI 모델이 몇 개 안 됐는데, 이제는 직원 개개인이 AI 에이전트를 만들 수 있는 시대가 됐거든요. 만 명 회사에서 에이전트 2만 개가 돌아가는 상황이 되면 누가 뭘 하는지 파악조차 안 되는 거예요.
- **ROI 2.84 vs 0.84가 의미하는 건?** ROI 1.0이 손익분기점이에요. 선도 기업은 투자 대비 2.84배 수익을 거두고 있는 반면, 후발 기업은 0.84배 — 즉 투자한 것보다 적게 회수하고 있다는 뜻이거든요. AI를 잘 쓰느냐 못 쓰느냐에 따라 수익성 격차가 극명하게 벌어지고 있어요.

## 핵심 포인트

- MIT: 생성형 AI 350억~400억 달러 투자, 파일럿 95% 성과 미달
- BCG: AI로 대규모 가치 창출 기업 5%, 성과 없는 기업 60%
- AI 캐즘 3대 원인: 데이터 정비, 거버넌스, 보안 기본기
- AI 프론티어 기업 ROI 2.84 vs 후발 기업 0.84 — 3배 이상 격차
- MS 내부 AI 활용률 7.9%→75% 전환에 2년 소요

## 인사이트

모델 성능 경쟁에 집중하는 사이, 정작 AI를 실무에 안착시키는 건 데이터 정리와 거버넌스라는 지루한 작업이라는 게 핵심. '만 명 기업에서 에이전트 2만개'라는 시나리오는 가까운 미래의 현실적 도전임.