본문으로 건너뛰기
피드

구글, 위험한 AI 건강 정보 요약 기능 일부 삭제 — 가디언 조사 이후

ai-ml 약 4분
vote
0
댓글
북마크

가디언 조사에서 구글 AI Overviews의 건강 정보가 위험하다는 사실이 드러난 뒤, 구글이 간 검사 관련 쿼리 등 일부 AI 요약을 삭제함. 그러나 쿼리 변형으로 우회 가능하고 다른 문제 사례들은 여전히 활성 상태임.

  • 1

    간 혈액 검사 정상 범위 쿼리에서 맥락 없는 원시 데이터만 제공하여 거짓 안심 유발

  • 2

    췌장암 관련 AI 권고가 표준 의료 지침과 정반대

  • 3

    근본 원인은 SEO 조작에 취약한 페이지 랭킹을 AI가 권위 있게 요약하는 구조적 결함

  • 4

    쿼리 약간 변형하면 삭제된 AI Overviews가 다시 표시됨

가디언 조사가 밝힌 문제

  • 구글이 AI Overviews의 건강 관련 요약 일부를 삭제함 — 가디언(The Guardian) 조사에서 잘못된 정보로 환자에게 위험을 줄 수 있다는 사실이 드러난 뒤의 조치임
  • "간 혈액 검사 정상 범위(what is the normal range for liver blood tests)" 같은 특정 검색어에 대해 전문가들이 위험하다고 지적하자 해당 쿼리를 비활성화함
  • 췌장암 관련해서도 심각한 오류가 발견됨 — AI가 환자에게 고지방 식품을 피하라고 권고했는데, 이는 체중 유지를 권장하는 표준 의료 지침과 정반대임

⚠️주의

> AI 검색 결과를 의료 정보로 신뢰하면 안 됨. 간 기능 검사에서 정상 수치가 나와도 실제로는 심각한 간 질환이 있을 수 있고, AI는 이런 맥락을 전혀 설명하지 않음.

전문가들의 경고

  • 간 검사 결과로 ALT, AST, 알칼리성 포스파타제 등 원시 데이터 표를 보여줬는데, 필수적인 맥락 설명이 전혀 없었음
  • 나이, 성별, 인종 같은 인구통계학적 요인에 따른 수치 보정도 안 됨
  • 영국간재단(British Liver Trust)의 바네사 헵디치(Vanessa Hebditch)는 간 기능 검사가 여러 혈액 검사의 조합이라 단순 숫자 비교로는 해석이 불가능하다고 경고함
  • "정상 결과가 나와도 심각한 간 질환이 있을 수 있는데, AI가 이런 점을 알려주지 않아 거짓 안심을 줄 수 있다"고 지적함

구글의 대응과 구조적 문제

  • 구글 대변인은 "대다수의 AI Overviews가 정확한 정보를 제공한다"고 주장함
  • 내부 임상의 팀이 검토한 결과 "많은 경우 정보가 부정확하지 않았고 고품질 웹사이트에서 뒷받침된다"고 밝힘
  • 근본 원인은 설계 결함에 있음 — AI Overviews가 구글 페이지 랭킹 상위 결과를 기반으로 정보를 보여주는 구조인데, 구글 랭킹 알고리즘이 SEO 조작 콘텐츠와 스팸에 취약함
  • 신뢰할 수 없는 검색 결과를 AI가 권위 있는 어조로 요약해버려서 오류가 더 신뢰감 있게 보이는 문제가 생김

여전히 남아있는 허점들

  • 원래 쿼리를 약간만 변형해도("lft reference range", "lft test reference range" 등) AI Overviews가 여전히 표시됨
  • 가디언이 지적한 다른 문제 사례들도 아직 활성 상태임
  • 과거에도 AI Overviews가 피자에 접착제를 바르라거나 돌을 먹으라는 답변을 한 적이 있음
  • 사용자들이 검색어에 욕설을 넣으면 AI Overviews가 비활성화된다는 꼼수를 발견하기도 함

AI 검색 요약의 근본 문제는 모델 자체가 아니라 SEO 오염된 웹 결과를 권위 있는 톤으로 재포장하는 시스템 설계에 있음. 건강 같은 고위험 도메인에서는 소스 품질 검증 없는 AI 요약이 단순 오류를 넘어 실질적 위험을 만들어냄.

댓글

댓글

댓글을 불러오는 중...

ai-ml

애플 새 음성 인식 API, 온디바이스 영어 전사에서 위스퍼 스몰까지 이겼다

애플의 새 음성 인식 API인 스피치애널라이저가 리브리스피치 벤치마크에서 기존 SFSpeechRecognizer는 물론 위스퍼 스몰보다도 낮은 단어 오류율을 기록했어. 깨끗한 음성에서는 2.12%, noisy 음성에서는 4.56%로, 기존 애플 API 대비 오류율을 3.5~4배 줄였고 위스퍼 스몰보다 약 3배 빠르게 돌았어. 다만 영어·애플 플랫폼·OS 26 조건의 결과라, 다국어와 크로스플랫폼에서는 여전히 위스퍼의 장점이 남아 있어.

ai-ml

AI를 진짜 잘 쓰는 기업, 미국 증시에서 연 30% 프리미엄 받는다는 연구

예일대와 로체스터대 연구진이 기업의 실제 대형 언어 모델 사용 데이터를 분석했더니, AI 활용도가 높은 상위 20% 기업이 하위 20%보다 주당 평균 0.64% 높은 초과수익률을 냈다. 단순히 AI 기업이냐가 아니라, 업무에 AI를 얼마나 깊게 쓰는지가 시장 가치에 반영되고 있다는 얘기다.

ai-ml

ZTE, AI 에이전트폰으로 스마트폰 재도전…진짜 승부처는 앱 생태계

ZTE가 바이트댄스의 더우바오를 탑재한 AI 에이전트 스마트폰으로 시장 재진입을 노린다. 핵심은 사용자가 명령하면 AI가 여러 앱을 직접 열고 조작하는 방식인데, 위챗·타오바오·알리페이 같은 플랫폼과 충돌하면서 생태계 문제가 가장 큰 변수로 떠올랐다.

ai-ml

노벨상 학자들까지 “AI 경제 충격, 지금 제도 안 만들면 늦다”

노벨 경제학상 수상자 15명을 포함한 학자와 기술 업계 인사 약 200명이 AI가 향후 10년 안에 경제를 급격히 바꿀 수 있다며 정책 대응을 촉구했다. 이들은 산업혁명보다 큰 변화가 훨씬 짧은 시간에 올 수 있고, 대규모 일자리 대체와 생활 수준 향상이라는 양면성이 동시에 존재한다고 봤다.

ai-ml

NHN, AI 데이터센터 매출 기대감에 목표주가 5만6000원으로 상향

한국투자증권이 NHN의 목표주가를 4만5000원에서 5만6000원으로 올리고 투자의견 매수를 유지했다. 핵심 근거는 양평 AI 데이터센터 가동, 공공·민간 GPU 클러스터 수주 확대, 클라우드 사업부 신규 매출 반영이다.