본문으로 건너뛰기
J
0
r/jeffnews • HN • • 약 3분

Jarvey — macOS용 로컬 음성 데스크톱 에이전트, GPT-5.4로 작업 계획·실행

ai-ml

요약

macOS에서 음성으로 제어하는 로컬 데스크톱 에이전트. Swift 오버레이 + Node 사이드카 구조로, OpenAI Realtime으로 음성 처리하고 GPT-5.4로 멀티스텝 작업을 수행함.

기사 전체 정리

  • Jarvey는 macOS용 로컬 음성 기반 데스크톱 에이전트임. Option+Space 핫키 누르고 말하면 앱 열기, 폼 채우기, UI 탐색, 파일 관리 등을 알아서 해줌. 이름에서 눈치챘겠지만 아이언맨의 JARVIS를 노린 거임

  • 구조가 꽤 흥미로움:

    • Swift 오버레이 앱 + Node.js 사이드카 조합
    • 음성 입력은 OpenAI Realtime API로 저지연 오디오 스트리밍 처리
    • 작업 계획 및 실행은 GPT-5.4가 GUI/워크벤치 전문가를 코디네이터로 관리
    • 로컬 SQLite 기반 메모리로 세션 간 컨텍스트 유지

  • 컴퓨터 사용 에이전트(CUA)라서 클릭, 타이핑, 다이얼로그 승인, 파일 삭제까지 다 할 수 있음. README에서도 대놓고 "CUA는 본질적으로 위험하다, 본인이 제어하는 시스템에서만 쓰라"고 경고하고 있음

  • macOS 14(Sonoma) 이상 필요하고, 마이크/화면 녹화/접근성 권한 부여해야 함. OpenAI API 키도 필수. 릴리즈 빌드는 ad-hoc 서명이라 공증(notarize) 안 돼 있어서, 첫 실행 시 시스템 설정에서 "그래도 열기"를 해야 함

  • 로컬에서 돌아가긴 하지만 음성 데이터와 스크린샷은 OpenAI로 전송됨. 텔레메트리나 서드파티 분석은 포함되어 있지 않다고 함. 프라이버시 민감한 사람은 이 부분 체크해볼 필요 있음

핵심 포인트

  • Option+Space 핫키로 음성 명령, 앱 열기/폼 채우기/UI 탐색/파일 관리
  • Swift 오버레이 + Node.js 사이드카 + OpenAI Realtime + GPT-5.4 조합
  • CUA(컴퓨터 사용 에이전트)라 클릭/타이핑/파일 삭제까지 가능, 보안 주의 필요

인사이트

음성 데이터와 스크린샷이 OpenAI로 전송되는 구조라 프라이버시 트레이드오프가 있음. 로컬이라고 하지만 완전한 로컬은 아닌 셈

#macos#voice-agent#openai#desktop-agent#open-source
원문 보기
댓글 뒤로가기
이전 기사 (p) 다음 기사 (n)

댓글

댓글

댓글을 불러오는 중...

관련 기사

ai-ml

ARC-AGI-3 등장: AI가 진짜 AGI인지 측정하는 새 벤치마크 나왔다

ARC Prize 팀이 ARC-AGI-3를 공개했는데, 기존 정적 퍼즐 풀기가 아니라 AI가 새로운 환경을 탐색하고 즉석에서 목표를 파악하는 '적응형 추론' 능력을 측정함. 인간 수준으로 게임을 클리어하면 100점인데, 아직 AI와 인간 사이에 격차가 있는 한 AGI가 아니라는 기준을 제시하는 거임.

ai-ml

구글 TurboQuant: AI 모델 압축의 판도를 바꾸는 기술 등장 (ICLR 2026)

구글 리서치가 AI 모델의 핵심 병목인 키-값 캐시(KV Cache) 문제를 해결하는 압축 알고리즘 TurboQuant를 공개했음. 학습 없이 KV 캐시를 3비트까지 줄이면서도 모델 정확도 손실 제로, H100 GPU에서 최대 8배 속도 향상이라는 미친 성능을 보여줌. PolarQuant, QJL과 함께 ICLR 2026에서 발표 예정.

ai-ml

Claude Code에 가장 잘 맞는 프로그래밍 언어는? — 15개 언어 벤치마크 실험

Ruby 커미터가 Claude Code로 간이 Git 구현을 15개 언어로 시켜본 벤치마크. Ruby, Python, JavaScript가 가장 빠르고 저렴하며 안정적이었고, 정적 타입 언어는 1.4~2.6배 느리고 비쌌다. 600회 실행 중 실패는 Rust 2건, Haskell 1건뿐.

ai-ml

llama.cpp, 드디어 리눅스에서도 시스템 RAM 통합 오프로딩 지원

llama.cpp가 리눅스 커널 업데이트, NVIDIA 오픈 드라이버, CUDA 13의 조합으로 리눅스에서도 macOS 수준의 통합 메모리 관리를 지원하게 됐다. 게이밍 PC급 하드웨어로 로컬 AI 추론이 가능해진 셈.

ai-ml

PyTorch 2.11 릴리스

PyTorch 2.11이 2,723개 커밋, 432명 기여자 규모로 릴리스됨. FlashAttention-4 백엔드로 Hopper/Blackwell GPU에서 최대 3.2배 속도 향상, 분산 학습용 Differentiable Collectives, CUDA 13 기본 전환, TorchScript 공식 deprecated 등이 주요 변경사항임.