--- title: "오픈AI, 동시에 듣고 말하는 새 음성 모델 GPT-라이브 공개" published: 2026-07-08T17:03:19.000Z canonical: https://jeff.news/article/4809 --- # 오픈AI, 동시에 듣고 말하는 새 음성 모델 GPT-라이브 공개 오픈AI가 새 음성 모델 GPT-라이브를 공개했다. 핵심은 사용자가 말을 끝낼 때까지 기다리는 턴 기반 구조를 넘어, 모델이 계속 듣고 말하면서 필요하면 GPT-5.5 같은 백그라운드 모델에 검색·추론 작업을 맡기는 아키텍처다. ## 음성 AI의 병목을 ‘대화 타이밍’에서 다시 잡음 - 오픈AI가 GPT-라이브(GPT-Live)를 공개함. 목표는 “AI와 말하는 느낌”을 사람과 대화하는 쪽에 훨씬 가깝게 만드는 것임 - GPT-라이브-1과 GPT-라이브-1 미니가 전 세계 챗GPT 사용자에게 순차 배포됨 - API 제공도 예정돼 있고, 개발자와 기업은 알림 신청을 할 수 있음 - 출시 시점의 백그라운드 모델은 GPT-5.5를 사용한다고 밝힘 - 핵심 변화는 풀듀플렉스(full-duplex) 구조임 - 모델이 사용자의 말을 들으면서 동시에 말할 수 있음 - “음”, “맞아”, “계속해” 같은 짧은 반응을 넣거나, 사용자가 생각할 때 조용히 기다리는 식의 타이밍 조절이 가능해짐 - 사용자가 끼어들거나, 말을 잠깐 멈추거나, 천천히 말해달라고 요청하는 상황을 더 자연스럽게 처리하는 게 목표임 - 기존 음성 AI는 크게 두 단계의 한계가 있었음 - 초기 챗GPT 음성은 음성 인식(STT), 대규모 언어 모델(LLM), 음성 합성(TTS)을 줄줄이 연결한 캐스케이드 방식이었음 - 이 방식은 프런티어 모델과 음성 대화를 가능하게 했지만, 모델 사이를 오가며 정보가 손실되고 응답이 느리고 뚝뚝 끊겼음 - 이후 어드밴스드 보이스 모드는 오디오를 한 모델에서 처리해 지연을 줄였지만, 여전히 사용자가 말을 멈춘 뒤 답하는 턴 기반 구조였음 > [!IMPORTANT] > GPT-라이브의 포인트는 “더 예쁜 목소리”가 아니라 “사용자가 아직 말하는 중인지, 끼어들어도 되는지, 뒤에서 검색을 돌려야 하는지”를 실시간으로 판단하는 대화 제어 능력임. ## 말은 GPT-라이브가, 깊은 일은 GPT-5.5가 - GPT-라이브는 빠른 대화 흐름과 깊은 작업을 분리함 - 자연스러운 응답과 대화 타이밍은 GPT-라이브가 맡음 - 웹 검색, 깊은 추론, 복잡한 작업은 GPT-5.5 같은 최신 프런티어 모델에 위임함 - 백그라운드 작업이 도는 동안에도 GPT-라이브는 사용자와 계속 대화할 수 있음 - 이 구조는 음성 에이전트 관점에서 꽤 큼 - 사용자가 “찾아봐”, “비교해줘”, “예약해줘” 같은 요청을 해도 침묵으로 기다리게 하지 않는 방향임 - 오픈AI는 앞으로 더 긴 작업, 더 에이전트적인 작업을 음성으로 처리하는 기반이 될 거라고 설명함 ```mermaid sequenceDiagram participant 사용자 participant 지피티라이브 participant 지피티오점오 participant 검색도구 사용자->>지피티라이브: 음성으로 질문 지피티라이브->>사용자: 짧게 반응하며 대화 유지 지피티라이브->>지피티오점오: 검색과 추론 위임 지피티오점오->>검색도구: 필요한 정보 탐색 검색도구-->>지피티오점오: 검색 결과 반환 지피티오점오-->>지피티라이브: 정리된 답변 전달 지피티라이브-->>사용자: 자연스러운 음성 답변 ``` ## 평가와 실제 배포 포인트 - 오픈AI는 5~10분짜리 매칭 대화 평가에서 GPT-라이브-1과 미니가 어드밴스드 보이스 모드보다 강하게 선호됐다고 밝힘 - 평가 항목은 전체 선호도, 턴 주고받기, 끼어들기, 대화 흐름, 자연스러움임 - GPQA에서는 과학 분야 전문가 수준 추론에서 어드밴스드 보이스 모드보다 크게 앞섰다고 함 - BrowseComp에서는 찾기 어려운 정보를 검색하는 에이전트형 웹 탐색 능력에서 개선을 보였다고 함 - 내부 변형인 τ³-Voice Telecom에서는 다중 턴 통신사 고객지원 과제에서 더 나은 성능을 냈다고 설명함 - 사용량 규모도 이미 엄청남 - 오픈AI에 따르면 매주 1억 5천만 명 이상이 챗GPT의 보이스와 받아쓰기 기능을 사용함 - 용도는 핸즈프리 도움, 언어 연습, 잠자리 이야기, 출퇴근길 대화 등으로 소개됨 - 이 정도면 새 음성 모델은 연구 데모가 아니라 바로 대규모 제품 변경임 - 챗GPT 보이스에서는 시각 카드도 같이 보여줄 수 있음 - 날씨, 주식, 스포츠 같은 답변은 음성으로만 말하지 않고 카드 형태로 보여줄 수 있음 - 검색, 메모리, 이미지, 파일 업로드 지원도 유지됨 ## 안전장치도 음성 실시간성에 맞춰 바꿈 - 오픈AI는 GPT-라이브에 음성 전용 안전 평가와 보호장치를 넣었다고 설명함 - 자해, 정신증·조증, AI에 대한 정서적 의존, 폭력, 성적 콘텐츠 같은 영역을 별도로 평가함 - 내부 전문가가 음성 특유의 위험을 레드팀 방식으로 테스트함 - 대부분 평가 영역에서 어드밴스드 보이스 모드와 비슷하거나 더 나은 결과를 냈다고 밝힘 - 음성 대화는 실시간이라, 말하는 도중에 개입하는 안전장치가 필요함 - 위험한 출력이 감지되면 더 안전한 응답으로 유도할 수 있음 - 필요한 경우 안전 메시지나 도움 리소스를 보여주거나, 고위험 상황에서는 음성 대화를 종료할 수 있음 - 자해 관련 대화에서는 전문가 검토를 거친 위기 지원 흐름을 음성에 맞게 적용함 > [!WARNING] > 음성 AI는 텍스트보다 정서적 몰입이 강해질 수 있음. 오픈AI가 ‘정서적 의존’을 장기 측정 대상으로 따로 잡은 건 이 기술이 단순 UX 개선을 넘어선다는 신호임. ## 아직 빠진 것도 있음 - 출시 시점에는 일부 언어에서 억양이 비원어민처럼 들리거나 유창성이 부족할 수 있음 - 오픈AI는 인기 언어를 우선 최적화했고, 다른 언어도 개선 중이라고 설명함 - 챗GPT에서 GPT-라이브는 아직 비디오나 화면 공유 음성을 지원하지 않음 - 이 기능은 추후 도입 예정임 - 레거시 스탠다드·어드밴스드 보이스 모드에서는 해당 기능을 계속 사용할 수 있음 --- ## 기술 맥락 - GPT-라이브의 핵심 선택은 음성 대화 모델과 깊은 추론 모델을 분리한 거예요. 한 모델이 모든 걸 하게 만들면 대화 반응성이 느려질 수 있으니, 앞단은 빠르게 듣고 말하고 뒤쪽은 GPT-5.5가 검색과 추론을 처리하게 만든 셈이에요. - 풀듀플렉스가 중요한 이유는 사람 대화가 사실 턴 기반이 아니기 때문이에요. 우리는 상대가 말하는 중에도 고개를 끄덕이고, 중간에 질문하고, 잠깐 멈춘 걸 발화 종료로 보지 않거든요. GPT-라이브는 이 타이밍 판단을 모델의 핵심 기능으로 끌어올렸어요. - 캐스케이드 방식은 STT, LLM, TTS를 각각 잘 만들 수 있다는 장점이 있었지만, 단계가 늘수록 지연과 정보 손실이 생겨요. GPT-라이브는 오디오 상호작용을 더 직접적으로 다루면서 이런 비용을 줄이려는 방향이에요. - 안전장치도 텍스트 챗봇과 다르게 봐야 해요. 음성은 실시간으로 흘러가고 사용자가 정서적으로 더 강하게 반응할 수 있어서, 답변이 끝난 뒤 필터링하는 방식만으로는 부족하거든요. 그래서 말하는 도중에 방향을 바꾸거나 대화를 끝내는 장치가 들어간 거예요. ## 핵심 포인트 - GPT-라이브는 풀듀플렉스 구조로 듣기와 말하기를 동시에 처리한다. - 복잡한 질문은 GPT-5.5에 위임하면서 대화 흐름은 GPT-라이브가 유지한다. - GPT-라이브-1과 GPT-라이브-1 미니가 전 세계 챗GPT 사용자에게 순차 배포된다. - 오픈AI는 주당 1억 5천만 명 이상이 챗GPT 음성·받아쓰기 기능을 쓴다고 밝혔다. - API 제공도 예정돼 있어 음성 에이전트 개발에 직접 영향이 크다. ## 인사이트 음성 AI의 핵심 병목은 ‘똑똑한 답’만이 아니라 대화 타이밍이었다. GPT-라이브는 음성 인터페이스를 단순 입력 방식이 아니라, 백그라운드 에이전트 작업의 실시간 프론트엔드로 만들려는 시도다.