---
title: "Claude가 암호 알고리즘 약점을 찾아냈다: HAWK는 키 강도 반토막, 축소 AES는 200~800배 빠른 공격"
published: 2026-07-28T17:22:16.000Z
canonical: https://jeff.news/article/5197
---
# Claude가 암호 알고리즘 약점을 찾아냈다: HAWK는 키 강도 반토막, 축소 AES는 200~800배 빠른 공격

Anthropic 연구진이 Claude Mythos Preview를 써서 암호 구현 버그가 아니라 알고리즘 자체의 약점을 찾았다고 공개했다. NIST 후보였던 양자내성 서명 HAWK의 공격 비용을 크게 낮췄고, 7라운드 AES 변형에 대해서는 기존 최선 공격보다 200~800배 빠른 방식을 발견했다. 당장 운영 시스템이 깨진 건 아니지만, LLM이 암호학 연구 검증 과정에 들어오기 시작했다는 점이 핵심이다.

## Claude가 이제 구현 버그가 아니라 암호 알고리즘 약점을 찾기 시작함

- Anthropic이 Claude Mythos Preview로 암호 알고리즘 자체의 약점을 찾았다고 공개함
  - 예전에는 Claude가 암호 라이브러리 구현 실수, 그러니까 개발자가 알고리즘을 잘못 쓴 버그를 찾는 쪽에 가까웠음
  - 이번에는 한 단계 더 나아가서, 알고리즘 설계에 들어 있는 수학적 약점을 공격한 사례임

- 핵심 결과는 두 가지임
  - 양자내성 디지털 서명 후보 HAWK에 대해 기존보다 훨씬 나은 키 복구 공격을 찾음
  - AES의 연구용 약화 버전인 7라운드 AES-128에 대해 기존 최선 공격보다 200~800배 빠른 공격을 찾음

> [!IMPORTANT]
> 이 결과가 지금 당장 TLS, 은행 앱, 클라우드 저장소를 깨는 건 아님. HAWK는 아직 후보이고, AES 공격도 전체 AES가 아니라 10라운드 중 7라운드만 쓰는 연구용 변형에 대한 결과임.

## HAWK: NIST 후보였던 양자내성 서명의 보안 여유가 확 줄어듦

- HAWK는 NIST의 추가 디지털 서명 표준화 절차에서 3라운드까지 올라온 양자내성 암호(PQC) 후보임
  - 양자컴퓨터가 실용화되면 RSA, ECDSA 같은 기존 서명 체계가 위험해질 수 있어서, NIST가 새 표준 후보를 오래 검토 중임
  - HAWK는 이미 2년 넘게 인간 전문가 리뷰를 통과해 온 후보였음

- Claude Mythos Preview는 HAWK가 쓰는 격자 구조에서 기존에 활용되지 않았던 대칭성, 즉 비자명 자기동형(nontrivial automorphism)을 찾아냄
  - 선행 연구는 이런 자기동형을 효율적으로 찾으면 공격이 가능하다는 점을 보였지만, HAWK의 실제 격자에서 그게 가능한지는 열어둔 상태였음
  - Mythos가 그 지점을 찔렀고, 더 빠른 열거 기반 공격으로 이어짐

- 결과적으로 HAWK는 같은 보안 수준을 내려면 키 크기를 사실상 두 배로 키워야 하는 상황이 됨
  - 작은 파라미터인 HAWK-256의 전체 키 복구 공격 비용은 원래 2^64 수준으로 예상됐는데, Mythos는 2^38 수준까지 낮출 수 있음을 보였다고 함
  - 더 큰 키는 여전히 공격이 실용적이지 않지만, HAWK가 후보로서 매력적이던 이유가 많이 사라지는 셈임

- 이 공격은 HAWK에 특화된 결과임
  - 다른 NIST 양자내성 서명 후보나 격자 기반 암호 전체가 같이 깨졌다는 뜻은 아님
  - 다항시간(polynomial time) 공격도 아니고, 여전히 지수시간(exponential time) 공격임

## 발견 과정도 꽤 무섭고 흥미로움

- HAWK 공격은 약 60시간 동안 Claude와 Anthropic 연구자 한 명이 같이 작업해서 나옴
  - 연구자는 이론 컴퓨터과학 배경은 있었지만 격자 기반 암호 전문가는 아니었다고 함
  - Claude Code와 비슷한 에이전트 하네스에서 여러 worker agent가 Python, Sage, 논문 자료를 보며 작업함

- 인간의 역할은 주로 프로젝트 관리에 가까웠음
  - 어떤 라이브러리를 써서 계산 검증할지, 아이디어를 어떻게 정리할지 같은 비기술적 방향 제시가 많았음
  - 핵심 아이디어는 두 worker가 같이 검토하다가 나왔고, 한 worker는 처음에 포기했지만 다른 worker가 끝까지 파서 공격으로 연결함

- 비용도 꽤 큼
  - HAWK 결과와 AES 결과 각각을 만드는 데 API 비용이 대략 10만 달러씩 들었다고 함
  - 싸게 버튼 한 번 눌러 나온 연구는 아니지만, 최고급 연구 인력을 오래 붙이는 것과 비교하면 계산이 달라질 수 있음

## AES: 전체 AES는 멀쩡하지만, 7라운드 변형 공격이 크게 빨라짐

- 두 번째 결과는 AES-128의 축소 라운드(reduced-round) 버전에 대한 공격임
  - 실제 AES-128은 10라운드를 쓰고, 이번 공격 대상은 그중 7라운드만 쓰는 약화 버전임
  - 암호학에서는 이런 축소 버전을 일부러 분석하면서 전체 암호의 안전 여유를 가늠함

- 공격 모델은 선택 평문 공격(chosen plaintext attack)임
  - 공격자가 원하는 입력을 암호화해 달라고 계속 요청하고, 그 출력도 볼 수 있다고 가정함
  - 기존 연구는 2^105개의 선택 평문을 요구하는 식이라 완전히 비현실적이지만, 연구적으로는 공격 비용을 비교하는 기준이 됨

- Mythos는 meet-in-the-middle 공격을 개선하면서 Möbius Bridge라는 지문 알고리즘을 만들었다고 함
  - 기존 공격의 한 단계에서는 256가지 값을 열거한 뒤 미리 계산한 테이블에 조회해야 했음
  - Mythos는 그 추측에 영향을 받지 않는 지문을 만들어서 작업량을 256배 줄이는 방향을 찾음
  - 다만 변환 계산 자체가 비싸져서, 추가 최적화를 붙인 최종 속도 향상은 측정 방식에 따라 200~800배로 정리됨

```mermaid
sequenceDiagram
    participant 연구자
    participant Claude
    participant 실험환경
    participant 검증논문

    연구자->>Claude: 기존 AES 분석보다 나은 공격을 찾으라고 지시
    Claude->>실험환경: 가설을 만들고 계산 실험 반복
    실험환경-->>Claude: 실패한 변환과 후보 결과 반환
    Claude->>Claude: Möbius Bridge 아이디어 도출
    Claude->>실험환경: 수학적·계산적 검증 수행
    Claude->>검증논문: 공격 절차와 실행시간 분석 정리
```

## 여기서 병목은 '발견'이 아니라 '검증'으로 옮겨감

- AES 결과는 Claude가 거의 자율적으로 찾았지만, 인간이 믿을 수 있는 결과인지 확인하는 데 훨씬 오래 걸림
  - Claude는 처음엔 "AES는 너무 많이 연구돼서 어렵다"는 식으로 문제를 피하려 했다고 함
  - 연구자가 "진짜 새로운 공격을 찾아야 한다"는 식으로 몇 번 밀어붙이자, 3일 동안 수억 토큰을 생성하며 탐색했고 최종적으로 핵심 아이디어를 냄
  - 전체적으로는 10억 개 출력 토큰을 쓴 뒤 논문에 담긴 공격 형태까지 다듬었다고 함

- Anthropic 연구자들은 모델 주장을 검증하는 데 수백 시간을 썼음
  - HAWK 공격은 end-to-end 구현으로 검증이 비교적 쉬웠음
  - AES 공격은 연구자 두 명이 거의 한 달 가까이 공부하고 확인해야 확신을 가질 수 있었다고 함

> [!NOTE]
> 보안 업계는 이미 LLM이 버그를 너무 많이 찾아내서 triage와 remediation이 병목이 되는 문제를 겪고 있음. Anthropic은 암호학 연구에서도 비슷하게, 모델이 낸 결과를 인간이 검증하는 쪽이 병목이 될 수 있다고 봄.

## LEA, Serpent, Salsa20, Poseidon, SHA-1도 실험 중

- Anthropic은 추가 암호 분석 결과도 일부 언급함
  - LEA는 저전력·자원제약 환경용 블록 암호이고 ISO/IEC 29192-2:2019 같은 국제 표준에도 들어가 있음
  - 기존 13라운드 LEA 공격은 2^98 평문 쌍과 2^86 작업량이 필요했는데, Mythos는 2^30 미만의 암호화 평문으로 1시간 안에 데스크톱에서 키를 복구하는 공격을 찾았다고 함

- Serpent-128에 대해서도 6라운드 키 복구 공격을 찾았다고 밝힘
  - 전체 Serpent는 32라운드라서 당장 실서비스 영향은 제한적임
  - Salsa20 스트림 암호, Poseidon 해시, SHA-1 해시에도 10배 미만의 제한적 개선을 찾았다고 함

- 이런 결과를 추적하기 위해 CryptanalysisBench도 공개함
  - ETH Zurich, Tel Aviv University, TU Berlin 연구진과 함께 만든 벤치마크임
  - 여러 암호 문제를 묶어 LLM의 암호 분석 능력이 시간이 지나며 어떻게 변하는지 평가하려는 목적임

## 그래서 개발자 입장에서 뭐가 중요하냐

- 당장 운영 중인 시스템에서 AES를 빼야 한다거나, TLS 설정을 바꿔야 한다는 뉴스는 아님
  - 기사 본문도 두 핵심 공격 모두 현재 프로덕션 시스템에는 영향이 없다고 선을 그음
  - HAWK는 배포 전 후보이고, AES는 전체 버전이 아니라 연구용 축소 버전임

- 하지만 장기적으로는 보안 검토 방식이 바뀔 수 있음
  - 암호 표준은 원래 공개적으로 두들겨 맞으면서 강해지는 구조임
  - 여기에 LLM이 들어오면 후보 알고리즘의 약점을 더 빠르게 찾고, 덜 검토된 긴 꼬리의 암호들도 더 깊게 살펴볼 수 있음

- 동시에 위험한 질문도 남음
  - 만약 LLM이 실제 배포된 암호 시스템에서 즉시 악용 가능한 약점을 찾으면 누가, 언제, 어떻게 공개해야 하냐는 문제임
  - Anthropic도 이 지점은 학계, 정부, 산업계가 같이 논의해야 한다고 봄

---

## 기술 맥락

- 이번 선택의 핵심은 LLM을 코드 취약점 스캐너가 아니라 암호 분석 연구자처럼 썼다는 점이에요. 구현 버그는 입력을 바꿔가며 깨지는지 보면 되지만, HAWK 같은 서명 알고리즘은 수학 구조 안에서 공격 경로를 찾아야 하거든요.

- HAWK에서 중요한 건 NIST 표준화 후보 단계였다는 점이에요. 이미 배포된 알고리즘을 깨는 사고가 아니라, 배포 전에 공개 검토로 약점을 찾는 과정이라서 암호학 커뮤니티 입장에서는 시스템이 의도대로 작동한 사례에 가까워요.

- AES 쪽은 전체 AES를 깬 게 아니라 7라운드 변형을 공격한 거예요. 그래도 연구자들이 축소 라운드를 보는 이유는, 작은 버전에서 통하는 공격 아이디어가 언젠가 더 큰 버전 분석으로 이어질 수 있기 때문이에요.

- 재미있는 병목은 계산보다 검증이에요. Claude가 아이디어를 내는 데는 며칠이 걸렸지만, 인간 연구자가 그게 정말 맞는지 이해하고 논문 수준으로 확인하는 데 수백 시간이 들어갔거든요.

- 그래서 이 뉴스의 실무적 의미는 설정 변경이 아니라 프로세스 변화에 있어요. 보안팀과 연구팀은 앞으로 LLM이 낸 고난도 결과를 어떻게 재현하고, 우선순위를 매기고, 책임 있게 공개할지 준비해야 해요.

## 핵심 포인트

- Claude Mythos Preview가 HAWK의 비자명 자기동형을 찾아 키 복구 공격을 개선했다
- 7라운드 AES-128 변형에서는 Möbius Bridge라는 지문 기법으로 기존 meet-in-the-middle 공격을 200~800배 빠르게 만들었다
- 두 결과 모두 실제 배포 시스템에는 당장 영향이 없지만, AI가 암호 표준 검토를 가속할 수 있음을 보여준다
- HAWK 공격 발견에는 약 60시간과 API 비용 약 10만 달러가 들었고, AES 결과는 검증에 인간 연구자 수백 시간이 들어갔다

## 인사이트

이건 'AI가 보안 취약점 잘 찾네' 수준을 넘어섰다. 구현 실수가 아니라 수학적 설계 약점을 건드렸다는 점 때문에, 앞으로 암호 표준화와 보안 검토의 병목이 발견이 아니라 검증으로 옮겨갈 가능성이 커졌다.
