90년대 가족 VHS 500GB를 AI 에이전트로 정리해서 ‘가족용 유튜브’를 만든 이야기

• Mux 개발자가 90년대 가족 VHS 아카이브를 AI 에이전트로 정리한 사례를 공개함

  • 원본은 아버지가 디지털화해 둔 VHS 영상들
  • 1989년부터 1996년까지의 가족 영상이 들어 있었고, 총량은 500GB
  • 실제 파일 구성은 21개 mp4, 총 31시간 분량이었음

• 문제는 영상이 “앨범”이 아니라 “2시간짜리 뒤죽박죽 테이프 묶음”에 가까웠다는 것

  • 대부분 파일이 2시간 안팎이고, 어떤 건 여러 이벤트가 섞인 compilation, 어떤 건 단일 이벤트였음
  • 생일파티, 가족 여행, 스포츠, 수영장, 해변, 스키, 염색, 지진 같은 장면이 뒤섞여 있었다고 함
  • 심지어 녹화가 덮어쓰기되기 전 5초 정도 Full House 오프닝 크레딧이 끼어 있는 식의 VHS스러운 디테일도 있었음

• 글쓴이는 이걸 Claude Code와 Mux Robots로 처리함

  • “500GB 영상을 ChatGPT에 올리고 정리해줘”는 당연히 안 됨
  • 대신 Mux에 있는 영상 자산을 대상으로 AI API를 호출하고, Claude Code가 그 결과를 읽고 다음 작업을 이어가는 구조로 만듦
  • 거창한 커스텀 에이전트 프레임워크가 아니라, Claude Code나 Codex에 프롬프트를 주고 도구를 쥐여주는 방식이면 충분했다는 게 포인트임

• Mux Robots가 제공한 기본 API는 단순하지만, 에이전트와 붙으니 꽤 강해짐

  • POST /summarize: 영상 요약과 태그 생성
  • POST /ask-questions: 영상에 대해 예/아니오나 객관식 질문
  • POST /key-moments: 주요 순간과 타임스탬프 추출
  • POST /chapters: 챕터 목록 생성
  • 에이전트는 이 API 결과를 로컬 파일로 저장해 두고, 다음 판단에서 다시 참조함

sequenceDiagram
    participant 사용자
    participant Claude Code
    participant Mux Robots
    participant 영상자산
    participant 웹앱
    사용자->>Claude Code: 가족 영상 정리 요청
    Claude Code->>Mux Robots: 요약, 질문, 핵심 순간 분석 요청
    Mux Robots->>영상자산: 21개 mp4 분석
    영상자산-->>Mux Robots: 타임스탬프와 메타데이터 반환
    Mux Robots-->>Claude Code: JSON 결과 전달
    Claude Code->>웹앱: 검색 가능한 추억 UI 생성
    웹앱-->>사용자: 182개 메모리 탐색 제공

• 재미있는 건 에이전트가 처음부터 완벽하진 않았다는 점임
  • 영상들이 순서대로 정리되어 있지 않다는 건 바로 이해했음
  • 일부 짧은 영상은 하나의 “memory”로 봐도 된다는 예외도 파악했음
  • “이 영상은 단일 기억인가, 여러 기억이 섞인 compilation인가?” 같은 질문을 Mux Robots의 Ask Questions API로 던지는 아이디어도 냈음
  • 하지만 각 memory의 경계를 잡는 건 첫 시도에서 약 70% 정도였고, 몇 번 더 pass를 돌려야 했음

• 최종 산출물은 그냥 폴더 정리가 아니라 “가족용 유튜브”였음

  • 각 memory에는 원본 asset_id, 재생용 playback_id, 시작·종료 시간, 제목, 설명, 태그, 썸네일 시간, transcript가 들어감
  • Mux의 Instant Clipping API 덕분에 새 영상 자산을 182개 만들 필요 없이, 기존 21개 자산의 구간만 UI에서 다르게 보여줄 수 있었음
  • 결과적으로 31시간짜리 원본이 182개 memory로 나뉘었고, 평균 길이는 약 10분이었음

• 웹앱 기능도 실사용 가능한 수준까지 갔음

  • 182개 memory 탐색
  • 634개 고유 태그, 영상당 평균 6개 태그
  • 제목, 설명, 태그, transcript 대상 텍스트 검색
  • 공유 태그 기반 관련 영상 추천
  • 가족에게 공유하기 위한 개인용 비디오 탐색 서비스가 된 셈임

• 비용 얘기도 꽤 현실적임

  • Mux Robots 처리 비용은 총 10.61달러였다고 함
  • Claude Code가 Anthropic으로 데이터를 보내고 프롬프트를 돌리는 비용은 글쓴이의 Claude Code 구독에 포함된 것으로 처리됨
  • 즉 순수 API 처리비만 보면 31시간 아카이브 정리에 10달러대가 든 사례임

• 보안 쪽에서는 public playback ID로 먼저 만들고, 나중에 signed playback ID로 전환함

  • public playback ID는 ID만 있으면 누구나 접근할 수 있어서 프로토타입엔 편함
  • 가족 영상처럼 공개되면 안 되는 콘텐츠는 서버가 만료 시간과 도메인 제한이 있는 JSON Web Token을 발급하는 signed 방식이 더 맞음
  • 글쓴이는 먼저 공개 ID로 빠르게 만들고, 배포 전 Claude에게 signed 방식으로 바꾸라고 했는데 한 번에 잘 됐다고 함

• 이 글의 결론은 “에이전트가 다 해줌”이 아니라 “귀찮은 작업의 모양이 바뀜”에 가까움
  • 영상 파싱, 태깅, 검색 UI 제작 같은 반복 노동은 확 줄었음
  • 하지만 어떤 결과가 맞는지 판단하고, 경계를 고치고, 프롬프트를 조정하고, 최종 앱이 실제로 쓸 만한지 확인하는 일은 여전히 사람 몫임
  • 글쓴이도 build vs buy 계산이 바뀌긴 했지만, 유지보수까지 생각하면 아무거나 다 vibe coding하고 싶진 않다고 선을 그음

기술 맥락

• 이 프로젝트의 핵심 선택은 500GB 영상을 한 번에 거대 모델에 넣는 게 아니라, 영상 처리 전용 API와 코딩 에이전트를 나눠 쓴 거예요. Mux Robots가 영상 이해와 타임스탬프 추출을 맡고, Claude Code가 그 결과를 파일로 저장하고 웹앱 구조로 엮었기 때문에 현실적인 비용으로 끝낼 수 있었어요.

• memory 경계를 잡는 과정이 중요한 이유는 원본 VHS가 이벤트 단위로 깔끔하게 잘려 있지 않았기 때문이에요. 2시간짜리 파일 안에 여러 장면이 섞여 있으면 단순 요약만으로는 탐색 UI가 안 나오고, 시작 시간과 종료 시간을 가진 작은 단위로 다시 쪼개야 가족들이 실제로 찾아볼 수 있어요.

• Instant Clipping API를 쓴 것도 좋은 선택이에요. 182개 memory를 전부 새 영상으로 만들면 저장, 인코딩, 관리 비용이 늘어나는데, 여기서는 21개 원본 자산을 유지하고 구간 정보만 UI에 매핑했어요. 그래서 데이터 모델은 풍부해졌지만 영상 인프라는 복잡해지지 않았어요.

• public playback ID에서 signed playback ID로 넘어간 흐름도 실무적으로 익숙한 패턴이에요. 먼저 공개 ID로 개발하면 인증 문제에 막히지 않고 빠르게 UI를 만들 수 있고, 가족 영상처럼 접근 제어가 필요한 단계에서 토큰 기반 재생으로 바꾸면 돼요. 이건 프로토타입 속도와 개인정보 보호를 둘 다 챙기는 방식이에요.