본문으로 건너뛰기
피드

Jarvey — macOS용 로컬 음성 데스크톱 에이전트, GPT-5.4로 작업 계획·실행

ai-ml 약 3분
vote
0
댓글
북마크

macOS에서 음성으로 제어하는 로컬 데스크톱 에이전트. Swift 오버레이 + Node 사이드카 구조로, OpenAI Realtime으로 음성 처리하고 GPT-5.4로 멀티스텝 작업을 수행함.

  • 1

    Option+Space 핫키로 음성 명령, 앱 열기/폼 채우기/UI 탐색/파일 관리

  • 2

    Swift 오버레이 + Node.js 사이드카 + OpenAI Realtime + GPT-5.4 조합

  • 3

    CUA(컴퓨터 사용 에이전트)라 클릭/타이핑/파일 삭제까지 가능, 보안 주의 필요

  • Jarvey는 macOS용 로컬 음성 기반 데스크톱 에이전트임. Option+Space 핫키 누르고 말하면 앱 열기, 폼 채우기, UI 탐색, 파일 관리 등을 알아서 해줌. 이름에서 눈치챘겠지만 아이언맨의 JARVIS를 노린 거임

  • 구조가 꽤 흥미로움:

    • Swift 오버레이 앱 + Node.js 사이드카 조합
    • 음성 입력은 OpenAI Realtime API로 저지연 오디오 스트리밍 처리
    • 작업 계획 및 실행은 GPT-5.4가 GUI/워크벤치 전문가를 코디네이터로 관리
    • 로컬 SQLite 기반 메모리로 세션 간 컨텍스트 유지
  • 컴퓨터 사용 에이전트(CUA)라서 클릭, 타이핑, 다이얼로그 승인, 파일 삭제까지 다 할 수 있음. README에서도 대놓고 "CUA는 본질적으로 위험하다, 본인이 제어하는 시스템에서만 쓰라"고 경고하고 있음

  • macOS 14(Sonoma) 이상 필요하고, 마이크/화면 녹화/접근성 권한 부여해야 함. OpenAI API 키도 필수. 릴리즈 빌드는 ad-hoc 서명이라 공증(notarize) 안 돼 있어서, 첫 실행 시 시스템 설정에서 "그래도 열기"를 해야 함

  • 로컬에서 돌아가긴 하지만 음성 데이터와 스크린샷은 OpenAI로 전송됨. 텔레메트리나 서드파티 분석은 포함되어 있지 않다고 함. 프라이버시 민감한 사람은 이 부분 체크해볼 필요 있음

음성 데이터와 스크린샷이 OpenAI로 전송되는 구조라 프라이버시 트레이드오프가 있음. 로컬이라고 하지만 완전한 로컬은 아닌 셈

댓글

댓글

댓글을 불러오는 중...

ai-ml

오픈AI, 브로드컴과 만든 첫 자체 추론 칩 ‘할라페뇨’ 공개

오픈AI가 브로드컴과 함께 만든 첫 자체 추론 프로세서 ‘할라페뇨’를 공개했다. 아직 테스트 단계지만, 실시간 코딩 모델 같은 추론 워크로드에서 기존 최고 수준 대안보다 전력 대비 성능이 크게 좋다는 초기 결과를 내세웠다.

ai-ml

가트너 “네오클라우드, 2030년 AI 클라우드 시장 20% 먹는다”

생성형 AI 확산으로 GPU 기반 고성능 컴퓨팅 수요가 폭증하면서 AI 전용 클라우드 사업자인 네오클라우드가 커지고 있다는 분석이 나왔어. 가트너는 2030년 약 2,670억 달러 규모 AI 클라우드 시장에서 네오클라우드가 20%를 차지할 수 있다고 봤어. GPU 확보, 가격 경쟁력, 데이터 주권 대응이 핵심 포인트야.

ai-ml

스페이스X, 오픈소스 AI 스타트업에 초대형 컴퓨팅 파워 판다

리플렉션 AI가 스페이스X의 대형 데이터센터 인프라를 쓰기 위해 2029년까지 최대 63억달러 규모 계약을 맺었다는 내용이다. 월 1억5000만달러를 내고 엔비디아 GB300 기반 컴퓨팅 자원을 확보하는 구조이며, 스페이스X는 남는 AI 인프라를 외부 고객에게 파는 플랫폼 사업으로 확장하려는 흐름을 보인다. 오픈소스 AI 모델을 내세우는 리플렉션 AI가 정부·안보 시장에서 빠르게 커지고 있다는 점도 포인트다.

ai-ml

AI가 청소년의 ‘생각 훈련’을 건너뛰게 만든다는 경고

이 글은 생성형 AI가 청소년과 주니어에게 편리한 도구를 넘어 사고력 발달을 약화시킬 수 있다는 우려를 다뤄. 핵심은 AI 사용 자체가 문제라기보다, AI가 단일한 관계와 정보 통로가 되고 글쓰기·판단·고민의 과정을 대신해버릴 때 인지 훈련 기회가 사라진다는 점이야.

ai-ml

성남시, AI로 고독사 위험과 고령자 주차 문제를 같이 실증한다

성남시니어산업혁신센터가 AI 돌봄 자동화 플랫폼과 AI 스마트 주차관리 시스템의 실증기관으로 선정됐어. 각각 14억2500만 원, 30억 원 규모 사업이고, 고령자 돌봄과 교통약자 주차 편의라는 생활밀착형 문제를 AI로 풀어보겠다는 내용이야.