LLM 안전장치를 ‘배려 모드’로 우회하려는 새 탈옥 패턴

• 새로 공유된 LLM 탈옥 기법의 포인트는 ‘정체성 프레이밍’으로 안전장치를 흔드는 것임

  • 공격자는 금지된 요청을 그대로 던지는 대신, 특정 정체성이나 말투를 흉내 내는 역할극으로 감싸서 모델이 거절을 망설이게 만든다고 주장함
  • 글에서는 GPT-4o에서 처음 발견했고, 이후 여러 최신 모델에서도 예시를 추가했다고 적고 있음

• 흥미로운 부분은 이 기법이 모델의 ‘친절함’을 공격면으로 본다는 점임

  • 모델은 차별적이거나 무례하게 보이는 답변을 피하도록 튜닝돼 있음
  • 공격자는 그 성향을 역이용해, 위험한 요청을 거절하면 특정 집단을 무시하는 것처럼 보이게 만드는 식으로 프레이밍함
  • 말하자면 안전장치로 안전장치를 때리는 구조라 꽤 골치 아픔

• 저자는 안전 튜닝이 더 강해질수록 이 공격이 더 세질 수 있다고 주장함

  • 이유는 모델이 취약한 커뮤니티나 사회적 정체성 맥락에서 더 조심스럽고 더 협조적으로 반응하도록 설계되기 때문임
  • 이 주장이 항상 맞는지는 별개지만, 안전 정책이 단순 키워드 차단만으로는 부족하다는 문제의식은 꽤 현실적임

• 방어 쪽에서 봐야 할 핵심은 ‘표현’이 아니라 ‘의도’임

  • 금지된 요청이 정중한 말투, 농담, 역할극, 번역 요청, 문체 변환 요청으로 들어와도 목적이 같으면 같은 위험으로 처리해야 함
  • 특히 악성 코드, 약물 제조, 개인정보 탈취 같은 범주는 정체성 표현과 섞여도 별도 안전 판단을 유지해야 함

---

기술 맥락

• 이 사례에서 중요한 건 LLM이 단어 하나를 보고 막는 게 아니라, 요청의 의도를 추론해야 한다는 점이에요. 공격자는 위험한 요청을 직접 말하지 않고 사회적 맥락으로 감싸기 때문에, 키워드 필터만으로는 쉽게 빠져나가거든요.

• 모델 안전 정책은 보통 유용함, 무해함, 공정성을 동시에 맞추려고 해요. 그런데 이 셋이 충돌하는 상황을 공격자가 만들면 모델은 ‘거절하면 무례한가?’ 같은 방향으로 흔들릴 수 있어요.

• 방어 구현에서는 프롬프트의 표면 문체보다 최종 산출물이 무엇인지 보는 레이어가 필요해요. 역할극이나 번역 요청이라도 결과가 악성 코드, 불법 제조법, 탈취 절차라면 같은 정책으로 막아야 하니까요.