본문으로 건너뛰기
J
피드

애플 비디오 배경화면을 리버스 엔지니어링한 맥용 오픈소스 앱

open-source 약 9분
tags
#macos#swift#wallpaper#avfoundation#xpc
vote
0
댓글
북마크

Phosphene은 macOS Tahoe에서 사용자가 가진 동영상을 데스크톱과 잠금화면 배경화면으로 재생하게 해주는 메뉴바 앱이자 배경화면 확장이다. 애플의 비공개 WallpaperExtensionKit을 dlopen과 Mirror 기반 런타임 인트로스펙션으로 붙였고, AVSampleBufferDisplayLayer를 직접 구동해 끊김 없는 루프와 전원 상태별 재생 정책까지 구현했다.

  • 1

    Phosphene은 macOS 기본 배경화면 선택기에 사용자 동영상을 노출시키는 앱

  • 2

    애플의 비공개 WallpaperExtensionKit을 런타임 로딩해 시스템 WallpaperAgent와 통합

  • 3

    AVPlayerLayer 대신 AVSampleBufferDisplayLayer를 직접 구동해 원격 CAContext 안에서 프레임을 렌더링

  • 4

    PTS/DTS를 루프 경계마다 보정해 플러시 없는 갭리스 루프를 구현

  • 5

    배터리, 발열, 잠금화면, 창 가림 상태에 따라 재생 품질을 낮추거나 일시정지

그냥 동영상 배경화면 앱이 아님

  • Phosphene은 macOS Tahoe용 비디오 배경화면 엔진임. 메뉴바 앱과 배경화면 확장으로 구성돼 있고, 사용자가 가진 MP4, MOV, AVFoundation이 읽을 수 있는 파일을 데스크톱과 잠금화면 배경화면으로 쓸 수 있게 해줌

    • 동영상은 macOS 시스템 설정의 Wallpaper 화면에 애플 기본 Aerials 옆에 같이 나타남
    • 사용자가 별도 플레이어를 띄우는 게 아니라, macOS가 실제 배경화면 배정을 처리하고 Phosphene 확장이 프레임을 공급하는 구조임

  • 핵심은 애플의 비공개 WallpaperExtensionKit을 쓴다는 점임. 공개 API로 예쁘게 붙인 게 아니라, 시스템 내부 구조를 꽤 세게 건드림

    • Phosphene은 WallpaperExtensionKit을 dlopen으로 로드함
    • 애플의 XPC 요청 타입은 공개 SDK 헤더에 없어서 Mirror 기반 런타임 인트로스펙션으로 필드를 읽음
    • 원문도 대놓고 경고함. 애플이 macOS 메이저 릴리스에서 내부 필드 이름이나 타입을 바꾸면 외과수술급으로 깨질 수 있음

⚠️주의

> 이 프로젝트는 비공개 프레임워크에 기대고 있어서, macOS 업데이트 한 번에 동작이 깨질 수 있음. 실사용 앱이라기보다 “애플 배경화면 시스템이 내부적으로 이렇게 돌아가는구나”를 보는 재미가 큼.

구조가 꽤 본격적임

  • 앱 쪽은 Phosphene.app이고, 실제 배경화면 렌더링은 PhospheneExtension.appex가 맡음

    • 앱은 SwiftUI 메뉴바 UI, 비디오 라이브러리 관리, 비디오 메타데이터, HEVC 최적화, 환경설정, 라이브러리 변경 알림을 담당함
    • 확장은 시스템 WallpaperAgent 프로세스 안에서 실행되고, XPC 요청을 받아 AVSampleBufferDisplayLayer로 프레임을 렌더링함
    • 둘은 공유 App Group 컨테이너를 통해 비디오 라이브러리, 변형 파일, WallpaperPrefs.plist, BMP 스냅샷 캐시를 공유함

  • 원문에서 제일 맛있는 부분은 AVPlayerLayer를 안 쓴 이유임. 원격 CAContext 안에서는 AVPlayerLayer가 조용히 실패해서, 프로젝트가 AVSampleBufferDisplayLayer를 직접 구동함

    • 현재 루프용 AVAssetReader 하나, 다음 루프를 미리 준비하는 AVAssetReader 하나를 둠
    • 루프 경계마다 PTS/DTS 오프셋을 누적해서 타임라인이 계속 증가하도록 만듦
    • 덕분에 렌더러를 플러시하지 않고도 프레임 정확도 있는 갭리스 루프를 구현함. 배경화면에서 루프마다 툭 끊기면 바로 티 나니까 이 디테일이 꽤 중요함

  • 잠금화면 전환도 애플 Aerials처럼 맞추려고 했음

    • “Only on Lock Screen” 모드에서는 잠금과 해제 시점에 cubic curve로 영상이 부드럽게 들어오고 빠짐
    • 스냅샷 처리도 그냥 안 됐음. 시스템 스냅샷 인코더가 type(of: coder) == NSXPCCoder.self를 체크하는데 실제 coder는 서브클래스라서, 런타임 스위즐 없이는 회색 잠금화면이 나온다고 함

배터리와 발열까지 신경 씀

  • Phosphene은 PlaybackPolicy를 재생 동작의 단일 기준으로 둠

    • 입력값은 발열 상태, 배터리 잔량, 배터리 사용 여부, AC 전원, Game Mode, 프레젠테이션 모드, 사용자 일시정지, 창 가림 상태 등임
    • 결과는 full, reduced, minimal, paused 중 하나로 떨어지고, 렌더러는 상태가 바뀔 때마다 이 정책을 적용함

  • 창이 모든 디스플레이를 완전히 덮고 있으면 렌더링을 멈춤. 데스크톱이 안 보이는데 GPU와 배터리를 태우는 걸 피하려는 설계임

    • 멀티 디스플레이와 Space별 선택도 지원하고, 이 선택은 macOS 쪽에서 유지됨
    • 저해상도나 저프레임레이트 변형을 미리 만들어둘 수 있고, 렌더러는 루프 경계에서 현재 정책에 맞는 가장 싼 변형으로 갈아탐

❗중요

> “1080p@30” 변형이 있어도 무조건 그걸 쓰는 게 아님. PlaybackPolicy가 현재 전원, 발열, 유휴 상태를 보고 허용되는 가장 높은 티어를 고르는 구조임.

빌드 조건도 최신 맥 개발 환경에 맞춰져 있음

  • 타깃은 macOS Tahoe 26.0 이상, Apple Silicon, arm64-apple-macos26.0임

    • macOS 14에서 들어온 Wallpaper extension point에 의존하지만, Tahoe 전용 SwiftUI와 glassEffect() API도 사용함
    • Xcode 17 이상이 필요하고, Swift 6 strict concurrency가 켜져 있음

  • 설치 흐름은 일반적인 Xcode 프로젝트에 가까움

    • 저장소를 클론하고 Phosphene.xcodeproj를 열어 Phosphene scheme을 실행함
    • 코드 서명을 위해 development team 설정이 필요함
    • 앱을 실행하면 배경화면 확장이 앱 번들에 포함된 상태로 시스템에 등록됨
    • 이후 메뉴바에서 비디오를 추가하고, System Settings → Wallpaper에서 Phosphene 컬렉션을 골라 쓰면 됨

기술 맥락

  • 이 프로젝트가 고른 선택은 “공개 API로 가능한 만큼만 한다”가 아니라, 애플 내부 배경화면 확장 구조에 직접 올라타는 방식이에요. 그래야 사용자가 고른 영상이 macOS 기본 Wallpaper UI 안에 자연스럽게 들어가거든요. 대신 WallpaperExtensionKit이 비공개라서, macOS 업데이트에 깨질 위험을 그대로 떠안는 선택이에요.

  • 렌더링에서 AVPlayerLayer를 버린 이유도 꽤 현실적이에요. 원격 CAContext 안에서는 AVPlayerLayer가 조용히 실패하니까, 더 낮은 레벨의 AVSampleBufferDisplayLayer로 직접 프레임을 밀어 넣은 거예요. 배경화면 확장은 일반 앱 창 렌더링이 아니라 WallpaperAgent 안에서 돌아가니까, 익숙한 고수준 API가 그대로 먹히지 않는 상황이 생겨요.

  • 갭리스 루프 구현은 그냥 보기 좋은 디테일이 아니에요. 배경화면은 계속 반복 재생되기 때문에 루프마다 플러시나 스터터가 있으면 사용자가 바로 알아차려요. 그래서 AVAssetReader를 현재 루프와 다음 루프용으로 나누고, PTS/DTS를 계속 증가시키는 방식으로 타임라인을 끊기지 않게 만든 거예요.

  • PlaybackPolicy를 별도로 둔 것도 배경화면 앱이라서 중요해요. 영상 배경화면은 예쁘지만 배터리, 발열, 게임 모드, 잠금화면 상태에 따라 민폐가 될 수 있거든요. 그래서 여러 상태 입력을 full, reduced, minimal, paused 같은 단순한 정책으로 접어서 렌더러가 일관되게 움직이게 만든 구조예요.

이건 단순한 ‘동영상 배경화면 앱’이 아니라, 애플이 공개하지 않은 배경화면 확장 구조를 꽤 깊게 파고든 macOS 시스템 프로그래밍 사례다. 특히 원격 CAContext에서 AVPlayerLayer가 조용히 실패해서 AVSampleBufferDisplayLayer를 직접 몰았다는 부분은 맥 앱 개발자라면 재밌게 볼 만하다.

prev

이전 기사 (P)

next

다음 기사 (N)

댓글

댓글

댓글을 불러오는 중...

관련 기사

open-source

NIPA, 260명 규모 오픈소스 컨트리뷰션 아카데미 시작

정보통신산업진흥원이 2026 오픈소스 컨트리뷰션 아카데미 발대식을 열고 13주간의 프로젝트 활동을 시작했음. 국내 개발자들이 GitHub 기반 글로벌 협업 환경에서 코드, 문서, 버그 수정, 풀 리퀘스트를 직접 경험하게 하는 프로그램임.

open-source

그누보드7, 디딤과 손잡고 멀티클라우드 도입 문턱 낮춘다

에스아이알소프트가 클라우드 전문기업 디딤과 협력해 그누보드7 기반 웹서비스 구축·운영 환경을 넓히기로 했다. 커뮤니티, 쇼핑몰, 예약, 구독형 서비스 같은 실무 프로젝트에서 서버 구성과 운영 부담을 줄이는 게 핵심이다.

open-source

오픈소스 컨트리뷰션 아카데미 출범, 국내 개발자 260여 명 참여

정보통신산업진흥원이 2026 오픈소스 컨트리뷰션 아카데미 발대식을 열고 13주간의 활동을 시작했다. 11개 프로젝트팀의 멘토와 멘티 260여 명이 글로벌 오픈소스 프로젝트 기여를 목표로 코드 개발, 문서화, 오류 수정 등을 진행한다.

open-source

NIPA, 국내 개발자 260명 규모 오픈소스 컨트리뷰션 아카데미 시작

정보통신산업진흥원이 2026 오픈소스 컨트리뷰션 아카데미 발대식을 열고 국내 개발자의 글로벌 오픈소스 프로젝트 참여를 지원한다. 11개 프로젝트팀, 멘토·멘티 260여 명이 13주 동안 깃허브 기반 협업, 코드 리뷰, 문서화, 오류 수정 등을 실제로 경험한다.

open-source

Ghostty 엔진을 Emacs 안으로 끌고 온 터미널, Ghostel.el

Ghostel.el은 Ghostty의 libghostty-vt를 기반으로 Emacs 안에서 동작하는 터미널 에뮬레이터다. eat 스타일의 여러 입력 모드, 안정적인 복사 모드, line mode, 자동 password prompt 처리, compile-mode 유사 실행 버퍼, Kitty graphics 지원, 높은 throughput을 앞세워 eat/vterm과 차별화함.