오픈AI, 동시에 듣고 말하는 새 음성 모델 GPT-라이브 공개

음성 AI의 병목을 ‘대화 타이밍’에서 다시 잡음

• 오픈AI가 GPT-라이브(GPT-Live)를 공개함. 목표는 “AI와 말하는 느낌”을 사람과 대화하는 쪽에 훨씬 가깝게 만드는 것임

  • GPT-라이브-1과 GPT-라이브-1 미니가 전 세계 챗GPT 사용자에게 순차 배포됨
  • API 제공도 예정돼 있고, 개발자와 기업은 알림 신청을 할 수 있음
  • 출시 시점의 백그라운드 모델은 GPT-5.5를 사용한다고 밝힘

• 핵심 변화는 풀듀플렉스(full-duplex) 구조임

  • 모델이 사용자의 말을 들으면서 동시에 말할 수 있음
  • “음”, “맞아”, “계속해” 같은 짧은 반응을 넣거나, 사용자가 생각할 때 조용히 기다리는 식의 타이밍 조절이 가능해짐
  • 사용자가 끼어들거나, 말을 잠깐 멈추거나, 천천히 말해달라고 요청하는 상황을 더 자연스럽게 처리하는 게 목표임

• 기존 음성 AI는 크게 두 단계의 한계가 있었음

  • 초기 챗GPT 음성은 음성 인식(STT), 대규모 언어 모델(LLM), 음성 합성(TTS)을 줄줄이 연결한 캐스케이드 방식이었음
  • 이 방식은 프런티어 모델과 음성 대화를 가능하게 했지만, 모델 사이를 오가며 정보가 손실되고 응답이 느리고 뚝뚝 끊겼음
  • 이후 어드밴스드 보이스 모드는 오디오를 한 모델에서 처리해 지연을 줄였지만, 여전히 사용자가 말을 멈춘 뒤 답하는 턴 기반 구조였음

말은 GPT-라이브가, 깊은 일은 GPT-5.5가

• GPT-라이브는 빠른 대화 흐름과 깊은 작업을 분리함

  • 자연스러운 응답과 대화 타이밍은 GPT-라이브가 맡음
  • 웹 검색, 깊은 추론, 복잡한 작업은 GPT-5.5 같은 최신 프런티어 모델에 위임함
  • 백그라운드 작업이 도는 동안에도 GPT-라이브는 사용자와 계속 대화할 수 있음

• 이 구조는 음성 에이전트 관점에서 꽤 큼

  • 사용자가 “찾아봐”, “비교해줘”, “예약해줘” 같은 요청을 해도 침묵으로 기다리게 하지 않는 방향임
  • 오픈AI는 앞으로 더 긴 작업, 더 에이전트적인 작업을 음성으로 처리하는 기반이 될 거라고 설명함

sequenceDiagram
    participant 사용자
    participant 지피티라이브
    participant 지피티오점오
    participant 검색도구
    사용자->>지피티라이브: 음성으로 질문
    지피티라이브->>사용자: 짧게 반응하며 대화 유지
    지피티라이브->>지피티오점오: 검색과 추론 위임
    지피티오점오->>검색도구: 필요한 정보 탐색
    검색도구-->>지피티오점오: 검색 결과 반환
    지피티오점오-->>지피티라이브: 정리된 답변 전달
    지피티라이브-->>사용자: 자연스러운 음성 답변

평가와 실제 배포 포인트

• 오픈AI는 5~10분짜리 매칭 대화 평가에서 GPT-라이브-1과 미니가 어드밴스드 보이스 모드보다 강하게 선호됐다고 밝힘

  • 평가 항목은 전체 선호도, 턴 주고받기, 끼어들기, 대화 흐름, 자연스러움임
  • GPQA에서는 과학 분야 전문가 수준 추론에서 어드밴스드 보이스 모드보다 크게 앞섰다고 함
  • BrowseComp에서는 찾기 어려운 정보를 검색하는 에이전트형 웹 탐색 능력에서 개선을 보였다고 함
  • 내부 변형인 τ³-Voice Telecom에서는 다중 턴 통신사 고객지원 과제에서 더 나은 성능을 냈다고 설명함

• 사용량 규모도 이미 엄청남

  • 오픈AI에 따르면 매주 1억 5천만 명 이상이 챗GPT의 보이스와 받아쓰기 기능을 사용함
  • 용도는 핸즈프리 도움, 언어 연습, 잠자리 이야기, 출퇴근길 대화 등으로 소개됨
  • 이 정도면 새 음성 모델은 연구 데모가 아니라 바로 대규모 제품 변경임

• 챗GPT 보이스에서는 시각 카드도 같이 보여줄 수 있음

  • 날씨, 주식, 스포츠 같은 답변은 음성으로만 말하지 않고 카드 형태로 보여줄 수 있음
  • 검색, 메모리, 이미지, 파일 업로드 지원도 유지됨

안전장치도 음성 실시간성에 맞춰 바꿈

• 오픈AI는 GPT-라이브에 음성 전용 안전 평가와 보호장치를 넣었다고 설명함

  • 자해, 정신증·조증, AI에 대한 정서적 의존, 폭력, 성적 콘텐츠 같은 영역을 별도로 평가함
  • 내부 전문가가 음성 특유의 위험을 레드팀 방식으로 테스트함
  • 대부분 평가 영역에서 어드밴스드 보이스 모드와 비슷하거나 더 나은 결과를 냈다고 밝힘

• 음성 대화는 실시간이라, 말하는 도중에 개입하는 안전장치가 필요함

  • 위험한 출력이 감지되면 더 안전한 응답으로 유도할 수 있음
  • 필요한 경우 안전 메시지나 도움 리소스를 보여주거나, 고위험 상황에서는 음성 대화를 종료할 수 있음
  • 자해 관련 대화에서는 전문가 검토를 거친 위기 지원 흐름을 음성에 맞게 적용함

아직 빠진 것도 있음

• 출시 시점에는 일부 언어에서 억양이 비원어민처럼 들리거나 유창성이 부족할 수 있음

  • 오픈AI는 인기 언어를 우선 최적화했고, 다른 언어도 개선 중이라고 설명함

• 챗GPT에서 GPT-라이브는 아직 비디오나 화면 공유 음성을 지원하지 않음

  • 이 기능은 추후 도입 예정임
  • 레거시 스탠다드·어드밴스드 보이스 모드에서는 해당 기능을 계속 사용할 수 있음

기술 맥락

• GPT-라이브의 핵심 선택은 음성 대화 모델과 깊은 추론 모델을 분리한 거예요. 한 모델이 모든 걸 하게 만들면 대화 반응성이 느려질 수 있으니, 앞단은 빠르게 듣고 말하고 뒤쪽은 GPT-5.5가 검색과 추론을 처리하게 만든 셈이에요.

• 풀듀플렉스가 중요한 이유는 사람 대화가 사실 턴 기반이 아니기 때문이에요. 우리는 상대가 말하는 중에도 고개를 끄덕이고, 중간에 질문하고, 잠깐 멈춘 걸 발화 종료로 보지 않거든요. GPT-라이브는 이 타이밍 판단을 모델의 핵심 기능으로 끌어올렸어요.

• 캐스케이드 방식은 STT, LLM, TTS를 각각 잘 만들 수 있다는 장점이 있었지만, 단계가 늘수록 지연과 정보 손실이 생겨요. GPT-라이브는 오디오 상호작용을 더 직접적으로 다루면서 이런 비용을 줄이려는 방향이에요.

• 안전장치도 텍스트 챗봇과 다르게 봐야 해요. 음성은 실시간으로 흘러가고 사용자가 정서적으로 더 강하게 반응할 수 있어서, 답변이 끝난 뒤 필터링하는 방식만으로는 부족하거든요. 그래서 말하는 도중에 방향을 바꾸거나 대화를 끝내는 장치가 들어간 거예요.