Claude가 암호 알고리즘 약점을 찾아냈다: HAWK는 키 강도 반토막, 축소 AES는 200~800배 빠른 공격

Claude가 이제 구현 버그가 아니라 암호 알고리즘 약점을 찾기 시작함

• Anthropic이 Claude Mythos Preview로 암호 알고리즘 자체의 약점을 찾았다고 공개함

  • 예전에는 Claude가 암호 라이브러리 구현 실수, 그러니까 개발자가 알고리즘을 잘못 쓴 버그를 찾는 쪽에 가까웠음
  • 이번에는 한 단계 더 나아가서, 알고리즘 설계에 들어 있는 수학적 약점을 공격한 사례임

• 핵심 결과는 두 가지임

  • 양자내성 디지털 서명 후보 HAWK에 대해 기존보다 훨씬 나은 키 복구 공격을 찾음
  • AES의 연구용 약화 버전인 7라운드 AES-128에 대해 기존 최선 공격보다 200~800배 빠른 공격을 찾음

HAWK: NIST 후보였던 양자내성 서명의 보안 여유가 확 줄어듦

• HAWK는 NIST의 추가 디지털 서명 표준화 절차에서 3라운드까지 올라온 양자내성 암호(PQC) 후보임

  • 양자컴퓨터가 실용화되면 RSA, ECDSA 같은 기존 서명 체계가 위험해질 수 있어서, NIST가 새 표준 후보를 오래 검토 중임
  • HAWK는 이미 2년 넘게 인간 전문가 리뷰를 통과해 온 후보였음

• Claude Mythos Preview는 HAWK가 쓰는 격자 구조에서 기존에 활용되지 않았던 대칭성, 즉 비자명 자기동형(nontrivial automorphism)을 찾아냄

  • 선행 연구는 이런 자기동형을 효율적으로 찾으면 공격이 가능하다는 점을 보였지만, HAWK의 실제 격자에서 그게 가능한지는 열어둔 상태였음
  • Mythos가 그 지점을 찔렀고, 더 빠른 열거 기반 공격으로 이어짐

• 결과적으로 HAWK는 같은 보안 수준을 내려면 키 크기를 사실상 두 배로 키워야 하는 상황이 됨

  • 작은 파라미터인 HAWK-256의 전체 키 복구 공격 비용은 원래 2^64 수준으로 예상됐는데, Mythos는 2^38 수준까지 낮출 수 있음을 보였다고 함
  • 더 큰 키는 여전히 공격이 실용적이지 않지만, HAWK가 후보로서 매력적이던 이유가 많이 사라지는 셈임

• 이 공격은 HAWK에 특화된 결과임

  • 다른 NIST 양자내성 서명 후보나 격자 기반 암호 전체가 같이 깨졌다는 뜻은 아님
  • 다항시간(polynomial time) 공격도 아니고, 여전히 지수시간(exponential time) 공격임

발견 과정도 꽤 무섭고 흥미로움

• HAWK 공격은 약 60시간 동안 Claude와 Anthropic 연구자 한 명이 같이 작업해서 나옴

  • 연구자는 이론 컴퓨터과학 배경은 있었지만 격자 기반 암호 전문가는 아니었다고 함
  • Claude Code와 비슷한 에이전트 하네스에서 여러 worker agent가 Python, Sage, 논문 자료를 보며 작업함

• 인간의 역할은 주로 프로젝트 관리에 가까웠음

  • 어떤 라이브러리를 써서 계산 검증할지, 아이디어를 어떻게 정리할지 같은 비기술적 방향 제시가 많았음
  • 핵심 아이디어는 두 worker가 같이 검토하다가 나왔고, 한 worker는 처음에 포기했지만 다른 worker가 끝까지 파서 공격으로 연결함

• 비용도 꽤 큼

  • HAWK 결과와 AES 결과 각각을 만드는 데 API 비용이 대략 10만 달러씩 들었다고 함
  • 싸게 버튼 한 번 눌러 나온 연구는 아니지만, 최고급 연구 인력을 오래 붙이는 것과 비교하면 계산이 달라질 수 있음

AES: 전체 AES는 멀쩡하지만, 7라운드 변형 공격이 크게 빨라짐

• 두 번째 결과는 AES-128의 축소 라운드(reduced-round) 버전에 대한 공격임

  • 실제 AES-128은 10라운드를 쓰고, 이번 공격 대상은 그중 7라운드만 쓰는 약화 버전임
  • 암호학에서는 이런 축소 버전을 일부러 분석하면서 전체 암호의 안전 여유를 가늠함

• 공격 모델은 선택 평문 공격(chosen plaintext attack)임

  • 공격자가 원하는 입력을 암호화해 달라고 계속 요청하고, 그 출력도 볼 수 있다고 가정함
  • 기존 연구는 2^105개의 선택 평문을 요구하는 식이라 완전히 비현실적이지만, 연구적으로는 공격 비용을 비교하는 기준이 됨

• Mythos는 meet-in-the-middle 공격을 개선하면서 Möbius Bridge라는 지문 알고리즘을 만들었다고 함

  • 기존 공격의 한 단계에서는 256가지 값을 열거한 뒤 미리 계산한 테이블에 조회해야 했음
  • Mythos는 그 추측에 영향을 받지 않는 지문을 만들어서 작업량을 256배 줄이는 방향을 찾음
  • 다만 변환 계산 자체가 비싸져서, 추가 최적화를 붙인 최종 속도 향상은 측정 방식에 따라 200~800배로 정리됨

sequenceDiagram
    participant 연구자
    participant Claude
    participant 실험환경
    participant 검증논문

    연구자->>Claude: 기존 AES 분석보다 나은 공격을 찾으라고 지시
    Claude->>실험환경: 가설을 만들고 계산 실험 반복
    실험환경-->>Claude: 실패한 변환과 후보 결과 반환
    Claude->>Claude: Möbius Bridge 아이디어 도출
    Claude->>실험환경: 수학적·계산적 검증 수행
    Claude->>검증논문: 공격 절차와 실행시간 분석 정리

여기서 병목은 '발견'이 아니라 '검증'으로 옮겨감

• AES 결과는 Claude가 거의 자율적으로 찾았지만, 인간이 믿을 수 있는 결과인지 확인하는 데 훨씬 오래 걸림

  • Claude는 처음엔 "AES는 너무 많이 연구돼서 어렵다"는 식으로 문제를 피하려 했다고 함
  • 연구자가 "진짜 새로운 공격을 찾아야 한다"는 식으로 몇 번 밀어붙이자, 3일 동안 수억 토큰을 생성하며 탐색했고 최종적으로 핵심 아이디어를 냄
  • 전체적으로는 10억 개 출력 토큰을 쓴 뒤 논문에 담긴 공격 형태까지 다듬었다고 함

• Anthropic 연구자들은 모델 주장을 검증하는 데 수백 시간을 썼음

  • HAWK 공격은 end-to-end 구현으로 검증이 비교적 쉬웠음
  • AES 공격은 연구자 두 명이 거의 한 달 가까이 공부하고 확인해야 확신을 가질 수 있었다고 함

LEA, Serpent, Salsa20, Poseidon, SHA-1도 실험 중

• Anthropic은 추가 암호 분석 결과도 일부 언급함

  • LEA는 저전력·자원제약 환경용 블록 암호이고 ISO/IEC 29192-2:2019 같은 국제 표준에도 들어가 있음
  • 기존 13라운드 LEA 공격은 2^98 평문 쌍과 2^86 작업량이 필요했는데, Mythos는 2^30 미만의 암호화 평문으로 1시간 안에 데스크톱에서 키를 복구하는 공격을 찾았다고 함

• Serpent-128에 대해서도 6라운드 키 복구 공격을 찾았다고 밝힘

  • 전체 Serpent는 32라운드라서 당장 실서비스 영향은 제한적임
  • Salsa20 스트림 암호, Poseidon 해시, SHA-1 해시에도 10배 미만의 제한적 개선을 찾았다고 함

• 이런 결과를 추적하기 위해 CryptanalysisBench도 공개함

  • ETH Zurich, Tel Aviv University, TU Berlin 연구진과 함께 만든 벤치마크임
  • 여러 암호 문제를 묶어 LLM의 암호 분석 능력이 시간이 지나며 어떻게 변하는지 평가하려는 목적임

그래서 개발자 입장에서 뭐가 중요하냐

• 당장 운영 중인 시스템에서 AES를 빼야 한다거나, TLS 설정을 바꿔야 한다는 뉴스는 아님

  • 기사 본문도 두 핵심 공격 모두 현재 프로덕션 시스템에는 영향이 없다고 선을 그음
  • HAWK는 배포 전 후보이고, AES는 전체 버전이 아니라 연구용 축소 버전임

• 하지만 장기적으로는 보안 검토 방식이 바뀔 수 있음

  • 암호 표준은 원래 공개적으로 두들겨 맞으면서 강해지는 구조임
  • 여기에 LLM이 들어오면 후보 알고리즘의 약점을 더 빠르게 찾고, 덜 검토된 긴 꼬리의 암호들도 더 깊게 살펴볼 수 있음

• 동시에 위험한 질문도 남음

  • 만약 LLM이 실제 배포된 암호 시스템에서 즉시 악용 가능한 약점을 찾으면 누가, 언제, 어떻게 공개해야 하냐는 문제임
  • Anthropic도 이 지점은 학계, 정부, 산업계가 같이 논의해야 한다고 봄

기술 맥락

• 이번 선택의 핵심은 LLM을 코드 취약점 스캐너가 아니라 암호 분석 연구자처럼 썼다는 점이에요. 구현 버그는 입력을 바꿔가며 깨지는지 보면 되지만, HAWK 같은 서명 알고리즘은 수학 구조 안에서 공격 경로를 찾아야 하거든요.

• HAWK에서 중요한 건 NIST 표준화 후보 단계였다는 점이에요. 이미 배포된 알고리즘을 깨는 사고가 아니라, 배포 전에 공개 검토로 약점을 찾는 과정이라서 암호학 커뮤니티 입장에서는 시스템이 의도대로 작동한 사례에 가까워요.

• AES 쪽은 전체 AES를 깬 게 아니라 7라운드 변형을 공격한 거예요. 그래도 연구자들이 축소 라운드를 보는 이유는, 작은 버전에서 통하는 공격 아이디어가 언젠가 더 큰 버전 분석으로 이어질 수 있기 때문이에요.

• 재미있는 병목은 계산보다 검증이에요. Claude가 아이디어를 내는 데는 며칠이 걸렸지만, 인간 연구자가 그게 정말 맞는지 이해하고 논문 수준으로 확인하는 데 수백 시간이 들어갔거든요.

• 그래서 이 뉴스의 실무적 의미는 설정 변경이 아니라 프로세스 변화에 있어요. 보안팀과 연구팀은 앞으로 LLM이 낸 고난도 결과를 어떻게 재현하고, 우선순위를 매기고, 책임 있게 공개할지 준비해야 해요.