구글, 맥북에서 200밀리초 안에 반응하는 인공지능 악기 공개

• 구글이 공개한 ‘마젠타 리얼타임 2’는 그냥 음악을 만들어주는 모델이 아니라, 연주자가 직접 다룰 수 있는 인공지능 악기에 가까움

  • 기존 생성 음악 모델은 텍스트 프롬프트를 넣고 완성된 곡을 받는 쪽에 가까웠음
  • 이번 모델은 미디, 오디오, 텍스트 입력을 동시에 받아 연주 흐름에 실시간으로 반응함

• 핵심 숫자는 꽤 세다. 24억 매개변수 모델인데 애플 맥북에서 200밀리초 이하 지연 시간으로 돈다는 점이 포인트임

  • 이전 세대 마젠타 리얼타임보다 지연 시간이 15배 낮아졌다고 구글은 설명함
  • 고성능 서버나 전용 가속기 없이 노트북에서 직접 실시간 음악 생성이 가능하다는 얘기라, 데모 장난감보다 실제 창작 도구에 가까워짐

• 공개 방식도 개발자 친화적으로 잡았다. 모델만 던진 게 아니라 주변 도구까지 한 번에 풀었음

  • 오픈 웨이트 형태로 공개했고, 오픈소스 추론 엔진도 제공함
  • 독립 실행형 앱, 디지털 오디오 워크스테이션 플러그인, 확장 프로그램 예제까지 같이 배포함
  • 파이썬 라이브러리 magenta-rt는 잭스와 엠엘엑스 기반 추론을 지원함

• 음악가 입장에서는 ‘새로운 소리 생성기’보다 ‘반응하는 파트너’에 가까운 사용성을 노린 것으로 보임

  • 특정 악기 소리를 복제하거나, 서로 다른 음악 스타일을 섞거나, 실시간 반주를 만드는 식의 응용을 상정함
  • 앞으로는 사용자 데이터로 미세조정해서 개인 연주 스타일과 음색을 반영한 맞춤형 인공지능 악기도 만들 수 있게 할 예정임

• 기술적으로는 오디오를 토큰으로 바꿔 생성하는 코덱 언어 모델 구조를 썼음

  • 오디오를 스펙트로스트림 코덱으로 변환한 뒤, 그 토큰을 생성하는 방식임
  • 프레임 단위 자기회귀와 프레임 정렬 조건부 생성을 써서 입력에 맞춘 빠른 반응을 구현함
  • 장시간 스트리밍 생성을 위해 인과적 슬라이딩 윈도우 어텐션도 적용해 메모리 사용량을 제한함

• 구글은 실행 환경까지 새로 팠다. 씨플러스플러스 기반 추론 엔진을 만들고 애플 엠엘엑스로 애플 실리콘 그래픽처리장치에서 모델을 돌리게 했음

  • 이 엔진은 모델 상태 관리, 오디오 버퍼링, 리샘플링, 미디 입력 처리까지 담당함
  • 음악 생성 모델이 실제 제작 환경에 들어가려면 모델 품질만큼 지연 시간, 버퍼링, 플러그인 통합이 중요하다는 걸 보여주는 대목임

• 이 흐름이 재밌는 이유는 생성 인공지능이 ‘결과물 자동 생성’에서 ‘창작 과정 안으로 들어오는 도구’로 이동하고 있어서임

  • 2017년 엔신스부터 디디에스피, 피아노 지니, 1세대 마젠타 리얼타임으로 이어진 구글 음악 인공지능 연구의 연장선임
  • 음악가를 대체한다는 메시지보다, 연주자 입력을 받아 함께 반응하는 도구라는 포지셔닝을 계속 밀고 있음

---

기술 맥락

• 이번 선택의 핵심은 텍스트 생성 모델처럼 ‘완성본을 한 번에 뽑는 구조’가 아니라, 연주 입력에 맞춰 계속 반응하는 스트리밍 구조를 택했다는 점이에요. 음악가가 실제 악기처럼 쓰려면 좋은 샘플보다 입력 지연이 더 치명적이거든요.

• 그래서 구글은 오디오를 그대로 처리하기보다 스펙트로스트림 코덱으로 토큰화하고, 프레임 단위로 다음 출력을 생성하는 방식을 썼어요. 이렇게 하면 오디오 품질과 계산량 사이에서 타협점을 만들 수 있고, 실시간 반응에도 유리해요.

• 인과적 슬라이딩 윈도우 어텐션도 같은 맥락이에요. 긴 음악을 만들 때 모든 과거 프레임을 계속 보면 메모리가 터지기 쉬우니, 최근 문맥을 중심으로 보면서 스트리밍을 유지하는 쪽을 고른 거예요.

• 또 하나 중요한 건 애플 실리콘 로컬 실행이에요. 서버 왕복 없이 맥북에서 200밀리초 이하로 도는 구조라면, 디지털 오디오 워크스테이션 플러그인이나 라이브 퍼포먼스 도구로 붙일 여지가 훨씬 커져요.