랜덤 노이즈 2개로 LLM 추론 능력이 올라감 — 학습 없이, 파인튜닝 없이

---

핵심 발견

---

Dose-Response: 2토큰이 최적

• 노이즈 토큰 수에 따른 정확도 변화가 비단조적(non-monotonic)임
  • 1토큰: 42.7% (+10.7pp)
  • 2토큰: 51.6% (+19.6pp) ← 최적
  • 3토큰: 44.0% (+12pp)
  • 8토큰: 44.4% (+12.4pp)
• 토큰 수를 늘린다고 더 좋아지지 않고 오히려 ~44%로 퇴행됨
• 방향(direction)은 총 정답 수에 영향 없지만, 각 방향이 서로 다른 태스크 부분집합을 풀어냄
• 10개의 2토큰 방향으로 100% oracle coverage (25/25 태스크) 달성함

---

Attention Sink 회피 — 치명적 실패 복구

• 복잡한 플래닝 태스크(시스템 설계, 인시던트 대응, 캐시 디버깅)에서 greedy baseline이 완전히 실패하는 경우가 있음
• 캐시 디버깅 태스크: baseline은 단 14단어 만에 attention-sink 루프에 갇혀 생성이 중단됨
• 5개 랜덤 perturbation seed 모두 이를 650~710단어의 완전한 진단 계획으로 복구시킴
• 메커니즘: 소프트 프롬프트가 초기 위치의 attention sink 패턴을 깨뜨려 퇴화된 생성 경로를 탈출시킴

---

진화된 Latent Vector — 다른 지식에 접근함

• 진화된 소프트 프롬프트는 단순히 더 많은 단어를 생성하는 게 아님
• 질적으로 완전히 다른 추론을 만들어냄
  • 인시던트 대응 태스크에서: honeypot 배포, MITRE ATT&CK 프레임워크 분석, HSM 기반 credential rotation, immutable container rebuild 등
  • 이런 개념들은 baseline에서 한 번도 등장하지 않음
• 모델이 해당 지식을 이미 갖고 있지만, 기본 greedy 디코딩으로는 접근하지 못하는 영역임

---

기존 방법론과 완전히 직교함

• 스케일링: 파라미터를 추가함 → 여기선 파라미터 변경 0
• 파인튜닝: 가중치를 업데이트함 → 여기선 가중치 동결
• 프롬프트 엔지니어링: 이산 토큰을 최적화함 → 여기선 연속 임베딩 주입
• RAG: 외부 지식을 추가함 → 여기선 내부 지식을 언락함
• Best-of-N 샘플링: N번 생성 후 최선 선택 → 여기선 N번의 가벼운 MLP 평가 + 1회 생성

---

메커니즘 분석

• 프리픽스가 모델을 "formal presentation mode"에서 "exploratory computation mode"로 전환시킴
• 이건 trajectory perturbation — 능력 자체가 아니라 정책(policy)의 변화임
• Chain-of-thought가 매개함: thinking을 비활성화하면 효과가 완전히 사라짐
• 첫 토큰 logit probe에서 <think> 확률이 모든 조건에서 99.99% 이상 → perturbation은 모드 진입이 아니라 추론 체인 자체를 조정함

두 가지 핵심 메커니즘이 확인됨:

1. Attention sink 회피: 초기 토큰의 attention sink가 퇴화 생성을 유발하는데, 2개 위치의 소프트 프롬프트가 이를 깨뜨림
2. 진화를 통한 latent 지식 접근: 진화된 소프트 프롬프트가 모델의 지식 공간에서 다른 영역으로 조향함

---

멀티모델 검증 결과

모델	양자화	Baseline	+Noise	Delta
Qwen3-4B	4-bit	32%	51.6%	+19.6pp
Qwen3-8B	8-bit	16%	28.8%	+12.8pp
DeepSeek-1.5B	4-bit	76%	74.4%	-1.6pp
phi-2	none	12%	18.7%	+6.7pp

• Qwen3-4B에서 가장 큰 효과가 나타남
• DeepSeek-1.5B에서는 효과가 미미하거나 역효과임
• 모델별로 메커니즘이 다름: 4B는 convergence 도움, 8B는 computation 자체도 개선됨

---

실용 정보

• MIT 라이선스, 상업적 사용 가능
• Python 3.10+, PyTorch 2.0+, VRAM 최소 2GB(Qwen3-0.6B) ~ 권장 8GB(Qwen3-4B)
• NeurIPS 논문 드래프트 포함됨
• 기여자 대상 월간 바운티 프로그램 운영 중 (1위 $500)

---

시니어 개발자 관점

• "노이즈를 넣으면 더 잘 됨"이라는 직관에 반하는 결과이지만, 메커니즘 분석이 꽤 체계적임
• attention sink 회피라는 개념은 inference-time 최적화에서 실용적 가치가 있을 수 있음
• 다만 n=25(산술), n=5(플래닝)로 표본 크기가 작고, 효과가 모델에 따라 크게 다름
• 프로덕션에 바로 적용하기보다는 inference 파이프라인의 새로운 축으로 주시할 만한 연구임
• Best-of-N 대비 연산 효율이 높다는 주장은 scorer 품질에 의존하므로, scorer 개선이 핵심 과제임