온디바이스 AI 시대, 저작권 보호선이 클라우드에서 단말로 내려온다

클라우드 밖으로 나온 AI, 저작권 통제도 같이 흔들림

• 생성AI의 중심이 클라우드 서버에서 사용자 단말로 내려오고 있음

  • 지금까지 대형 언어 모델(LLM)과 에이전틱 AI는 주로 클라우드에서 추론을 수행했음
  • 이제는 휴대폰, 태블릿, 노트북, 차량, 웨어러블, 로봇 안에서 직접 동작하는 흐름이 커지고 있음

• 온디바이스 AI는 장점이 확실함. 네트워크 지연이 줄고, 클라우드 추론 비용도 낮아지고, 개인정보가 단말 밖으로 덜 나감

  • 사용자 입장에서는 빠르고 프라이버시 친화적인 AI가 됨
  • 기업 입장에서는 서버 비용과 데이터 이동 리스크를 줄일 수 있음

• 그런데 저작권 보호 관점에서는 꽤 불편한 문제가 생김. 통제의 경계가 서버에서 사용자 단말로 이동하기 때문임

  • 클라우드 기반 AI에서는 약관, 프롬프트 필터링, 산출물 필터링, 로깅, 악용 탐지, 사후 차단이 중앙에서 가능했음
  • 온디바이스 AI에서는 많은 작업이 단말 내부에서, 심지어 오프라인 상태로 이뤄질 수 있음
  • 서버는 사용자가 어떤 콘텐츠를 넣었는지, 모델이 무엇을 만들었는지, 결과물이 어디로 퍼졌는지 모를 수 있음

모델 자체가 훔쳐질 수 있음

• 첫 번째 위험은 AI 모델 자체의 탈취임. 온디바이스 모델은 그냥 실행 파일이 아니라 고급 지식재산 덩어리에 가까움

  • 학습 데이터 정제, 모델 구조, 최적화 노하우, 안전성 정렬, 하드웨어 가속 기술이 모델 안에 녹아 있음
  • 모델 파일, 가중치, 추론 런타임, 파인튜닝 어댑터가 모두 보호 대상이 됨

• 예시가 꽤 현실적임. 금융 문서 분석용으로 파인튜닝한 경량 모델이 모바일 앱에 들어갔다고 해보면, 공격자가 가중치나 어댑터를 뽑아 유사 서비스를 만들 수 있음

  • 이건 단순 소프트웨어 복제가 아니라 도메인 지식과 안전 정책까지 같이 빠져나가는 문제임
  • 서비스 경쟁력 자체가 훼손될 수 있음

• OWASP의 LLM 보안 위험 분류에서도 모델 탈취는 계속 다뤄져 왔음

  • 2023~2024년에는 Model Theft가 독립 항목으로 제시됐음
  • 2025년에는 모델 추출과 기능적 복제 우려가 Unbounded Consumption과 공급망 위험 등으로 재편됨
  • 모델 탈취가 단순 파일 유출을 넘어 추론 남용, 공급망 취약성, 온디바이스 배포 구조와 얽힌 복합 위험이라는 뜻임

• 클라우드 모델은 적어도 가중치가 서비스 제공자 통제 안에 있음. 하지만 온디바이스 AI는 모델 일부 또는 전부가 사용자 단말에 배포됨

  • 루팅·탈옥 기기, 변조된 앱 패키지, 메모리 덤프, 에뮬레이터 환경이 현실적인 공격 표면임
  • 방어자는 모든 우회 경로를 막아야 하지만, 공격자는 하나만 뚫어도 됨
  • 그래서 목표는 ‘절대 복제 방지’가 아니라 복제를 어렵게 만들고, 유출 모델을 식별하고, 피해와 책임을 추적 가능하게 만드는 쪽이어야 함

저작권 침해는 더 조용하고 일상적으로 일어날 수 있음

• 두 번째 위험은 침해가 눈에 띄지 않는 방식으로 everyday하게 발생한다는 점임

  • 전자책, 강의자료, 논문, 뉴스 기사, 웹툰, 이미지, 음악, 영상, 자막, 소스코드가 단말 내부에서 처리될 수 있음
  • 이 과정이 외부 서버에 남지 않으면 탐지와 사후 대응이 어려움

• 같은 ‘요약’이라도 저작권 위험은 완전히 다를 수 있음

  • 유료 전자책 전체를 넣고 30쪽 요약본, 문제집, 번역본을 만든 뒤 온라인 커뮤니티에 배포하면 위험이 큼
  • 유료 뉴스 기사를 매일 요약해 뉴스레터로 공유하거나, 웹툰 이미지를 분석해 특정 작가 화풍을 모방한 홍보물을 만드는 것도 문제 소지가 큼
  • 반면 사용자가 직접 쓴 회의록을 요약하거나, 구입한 책 일부를 개인 학습 목적으로 정리하는 경우는 평가가 달라질 수 있음

• AI 활용이 전부 저작권 침해는 아님. 사적 이용, 정당한 인용, 공정이용, 교육·연구 목적의 제한적 이용은 사안별로 다르게 봐야 함

  • 하지만 AI가 저작권법의 기본 구조를 없애주는 건 아님
  • 저작물을 AI에 입력하고, 변환하고, 요약하고, 번역하고, 재배포하는 행위는 복제권, 2차적저작물작성권, 배포권, 공중송신권과 충돌할 수 있음
  • “내 휴대폰 안에서 했는데요?”만으로 저작권 문제가 사라지진 않음

에이전트가 되면 침해는 ‘파일 하나’가 아니라 행동 흐름이 됨

• 세 번째 위험은 에이전틱 AI가 침해를 하나의 산출물이 아니라 연속된 행동 체인으로 만든다는 점임
  • 앞으로의 온디바이스 AI는 파일을 읽고, 사진첩을 검색하고, 음성을 전사하고, 문서를 요약하고, 게시물까지 업로드할 수 있음
  • 즉 콘텐츠 접근, 복제, 변환, 편집, 저장, 전송, 공개가 한 흐름으로 연결됨

sequenceDiagram
    participant 사용자
    participant 단말AI
    participant 구독앱
    participant 생성모델
    participant SNS
    사용자->>단말AI: 이번 주 기사로 게시물 만들어줘
    단말AI->>구독앱: 유료 기사 접근
    구독앱-->>단말AI: 기사 본문 제공
    단말AI->>생성모델: 요약문과 삽화 생성 요청
    생성모델-->>단말AI: 산출물 반환
    단말AI->>SNS: 게시물 자동 업로드

• 예를 들어 AI가 구독 앱 기사를 요약해 뉴스레터를 만들고, 이미지 생성 모델로 삽화를 붙인 뒤 SNS에 자동 게시할 수 있음

  • 마지막 결과물만 보면 판단이 어려움
  • 어떤 권한으로 어떤 자료에 접근했고, 어떤 변환과 배포가 있었는지를 같이 봐야 함

• 강의자료 예시도 비슷함. 사용자가 “이번 주 강의 내용을 정리해서 친구들에게 보내줘”라고 요청했을 때 AI는 여러 앱을 넘나들 수 있음

  • 강의 음성을 전사하고, 칠판 사진을 읽고, 학습관리 시스템의 강의자료를 내려받고, 요약 노트로 편집한 뒤 메신저로 보낼 수 있음
  • 이 경우 문제는 단순 요약이 아니라 접근 권한과 배포 범위 전체임

프라이버시와 저작권 사이에서 균형을 잡아야 함

• 온디바이스 AI의 장점은 데이터가 단말 밖으로 나가지 않는다는 데 있음. 하지만 저작권 집행은 어느 정도의 가시성과 증거를 요구함

  • 모든 입력과 산출물을 서버로 보내 검사하면 프라이버시 장점이 무너짐
  • 아무 기록도 남기지 않으면 권리자가 침해를 입증하기 어려움

• 그래서 상시 감시가 아니라 특정 시점에 최소한의 검증 정보를 쓰는 방향이 제안됨

  • 외부 공유, 상업적 이용, 분쟁 발생 같은 순간에 검증을 강화하는 방식임
  • 단말 내부에는 원문이 아니라 콘텐츠 해시, 라이선스 확인 결과, 사용자 승인 여부, 산출물 지문 등을 제한적으로 보관하는 식이 가능함
  • 영지식 증명형 감사도 연구 대상으로 언급됨

DRM을 넘어 단말 내 권한 거버넌스로

• 저작권 보호 기술도 기존 DRM만으로는 부족함. 이제는 모델, 데이터, 프롬프트, 산출물, 에이전트 권한, 이용 목적, 배포 경로를 같이 봐야 함

  • 모델 암호화, 하드웨어 기반 키 보호, 신뢰 실행 환경, 무결성 검증, 워터마킹, 핑거프린팅, 라이선스 바인딩이 필요함
  • 다만 이건 완벽한 봉쇄가 아니라 다층 방어의 일부로 봐야 함

• 워터마킹과 출처 표시는 도움이 되지만 만능은 아님

  • 특히 텍스트 워터마킹은 재작성, 번역, 요약에 취약함
  • 그래서 산출물 워터마킹은 보조 수단으로 이해해야 함

• 콘텐츠 출처와 권리 정보를 기계가 읽을 수 있게 만드는 것도 중요함

  • 입력 파일이 개인 창작물인지, 공개 라이선스 콘텐츠인지, 유료 구독 콘텐츠인지, 타인 저작물인지 AI가 구분하지 못하면 통제도 어려움
  • AI는 입력 콘텐츠의 성격, 라이선스, 이용 목적, 산출물 공개 범위를 확인하고 위험한 요청에는 경고, 제한, 사용자 확인, 출처 표시, 유사도 검사 같은 조치를 제공해야 함

• 단말 내 권한 거버넌스의 핵심은 AI 기능을 켜고 끄는 수준이 아님

  • AI가 어떤 콘텐츠를 읽을 수 있는지, 어떤 방식으로 변환할 수 있는지, 결과물을 어디로 내보낼 수 있는지를 세밀하게 통제해야 함
  • 사진 정리 기능에는 선택한 사진만, 문서 교정 기능에는 선택한 문서에 대한 일시 접근만 허용하는 식이 필요함
  • 외부 공유 기능에는 별도 사용자 확인 절차가 붙어야 함

• 그렇다고 온디바이스 AI의 모든 사용을 의심해서도 안 됨

  • 장애인 접근성, 개인 학습, 연구 보조, 사적 번역과 요약처럼 합법적이고 유익한 활용도 크게 늘어남
  • 플랫폼은 권한 세분화와 투명성을 제공해야 하지만, 저작권의 최종 심판자가 되는 것도 위험함

• 국내에서도 이 문제는 연구 과제로 이미 올라와 있음

  • 문화체육관광부 국가R&D 사업으로 한국콘텐츠진흥원이 지원하는 On-Device AI 모델 저작권 보호 및 관리를 위한 글로벌 인재양성 과제가 있음
  • 수행 기간은 2025년 4월 1일부터 2028년 12월 31일까지임
  • 온디바이스 AI 모델 보호, 라이선스 관리, 단말 바인딩, 침해 탐지, 글로벌 교육훈련을 함께 다뤄야 한다는 문제의식이 반영됨

• 결론은 꽤 선명함. AI 경쟁력은 더 작은 모델을 더 빠르게 단말에 넣는 것만으로 끝나지 않음

  • 그 모델이 누구의 권리 위에서 동작하는지 설명할 수 있어야 함
  • 어떤 콘텐츠를 어떤 권한으로 처리했는지, 산출물이 어디서 왔는지도 추적 가능해야 함
  • 온디바이스 AI 시대의 저작권 보호는 창작자를 위한 방어선이면서 AI 산업 전체의 지속 가능성을 위한 안전장치임

기술 맥락

• 온디바이스 AI가 어려운 이유는 추론 위치가 바뀌면서 통제 지점도 같이 사라지기 때문이에요. 클라우드에서는 서버가 프롬프트와 산출물을 볼 수 있지만, 단말 안에서 오프라인으로 처리되면 중앙 필터링이나 로깅만으로는 무슨 일이 있었는지 알기 어려워요.

• 그래서 기사에서 DRM을 넘어야 한다고 말하는 거예요. 예전 DRM은 콘텐츠 파일을 복사하지 못하게 막는 쪽에 가까웠지만, AI 에이전트는 콘텐츠를 읽고 요약하고 번역하고 재배포하는 행동 흐름을 만들 수 있거든요. 파일 보호만으로는 그 흐름을 설명하기 부족해요.

• 모델 보호도 단말 배포에서는 훨씬 까다로워져요. 클라우드 모델은 가중치가 서버 안에 있지만, 온디바이스 모델은 일부라도 사용자 기기에 내려가요. 루팅 기기, 변조 앱, 메모리 덤프 같은 공격 표면이 생기니 암호화, 하드웨어 키 보호, 무결성 검증을 여러 겹으로 써야 해요.

• 프라이버시와 저작권 집행은 서로 긴장 관계에 있어요. 모든 입력과 출력을 서버로 보내면 권리 검증은 쉬워지지만 온디바이스 AI의 프라이버시 장점이 사라져요. 반대로 아무 기록도 없으면 침해가 생겼을 때 설명할 방법이 없어요.

• 그래서 현실적인 방향은 원문을 수집하는 상시 감시가 아니라, 해시나 라이선스 확인 결과처럼 최소한의 검증 정보를 남기는 쪽이에요. 특히 외부 공유나 상업적 이용처럼 위험이 커지는 순간에 사용자 확인과 권리 검증을 강화하는 설계가 중요해져요.