---
title: "랜덤 노이즈 2개로 LLM 추론 능력이 올라감 — 학습 없이, 파인튜닝 없이"
published: 2025-12-22T23:09:53.000Z
canonical: https://jeff.news/article/1133
---
# 랜덤 노이즈 2개로 LLM 추론 능력이 올라감 — 학습 없이, 파인튜닝 없이

Qwen3-4B 입력에 랜덤 임베딩 스케일 토큰 2개를 붙이면 산술 정확도가 32%에서 51.6%로 향상됨. 학습이나 파인튜닝 없이 노이즈만으로 attention sink 회피와 latent 지식 접근이라는 두 가지 메커니즘을 통해 추론 성능을 개선하는 연구임.

---

## 핵심 발견

> [!IMPORTANT]
> Qwen3-4B 입력 앞에 **랜덤 임베딩 스케일 토큰 2개**만 붙이면 산술 정확도가 **32% → 51.6%** (+19.6pp)로 올라감. 학습도, 파인튜닝도, 최적화도 전혀 없음. 그냥 적절한 스케일의 노이즈를 넣은 것뿐임.

---

## Dose-Response: 2토큰이 최적

- 노이즈 토큰 수에 따른 정확도 변화가 **비단조적(non-monotonic)**임
  - 1토큰: 42.7% (+10.7pp)
  - **2토큰: 51.6% (+19.6pp)** ← 최적
  - 3토큰: 44.0% (+12pp)
  - 8토큰: 44.4% (+12.4pp)
- 토큰 수를 늘린다고 더 좋아지지 않고 오히려 ~44%로 퇴행됨
- 방향(direction)은 총 정답 수에 영향 없지만, **각 방향이 서로 다른 태스크 부분집합을 풀어냄**
- 10개의 2토큰 방향으로 **100% oracle coverage** (25/25 태스크) 달성함

---

## Attention Sink 회피 — 치명적 실패 복구

- 복잡한 플래닝 태스크(시스템 설계, 인시던트 대응, 캐시 디버깅)에서 greedy baseline이 완전히 실패하는 경우가 있음
- **캐시 디버깅 태스크**: baseline은 단 **14단어** 만에 attention-sink 루프에 갇혀 생성이 중단됨
- **5개 랜덤 perturbation seed 모두** 이를 **650~710단어의 완전한 진단 계획**으로 복구시킴
- 메커니즘: 소프트 프롬프트가 초기 위치의 attention sink 패턴을 깨뜨려 퇴화된 생성 경로를 탈출시킴

---

## 진화된 Latent Vector — 다른 지식에 접근함

- 진화된 소프트 프롬프트는 단순히 더 많은 단어를 생성하는 게 아님
- **질적으로 완전히 다른 추론**을 만들어냄
  - 인시던트 대응 태스크에서: honeypot 배포, MITRE ATT&CK 프레임워크 분석, HSM 기반 credential rotation, immutable container rebuild 등
  - 이런 개념들은 baseline에서 **한 번도 등장하지 않음**
- 모델이 해당 지식을 이미 갖고 있지만, 기본 greedy 디코딩으로는 접근하지 못하는 영역임

---

## 기존 방법론과 완전히 직교함

- **스케일링**: 파라미터를 추가함 → 여기선 파라미터 변경 **0**
- **파인튜닝**: 가중치를 업데이트함 → 여기선 가중치 **동결**
- **프롬프트 엔지니어링**: 이산 토큰을 최적화함 → 여기선 **연속 임베딩** 주입
- **RAG**: 외부 지식을 추가함 → 여기선 **내부 지식을 언락**함
- **Best-of-N 샘플링**: N번 생성 후 최선 선택 → 여기선 N번의 가벼운 MLP 평가 + 1회 생성

---

## 메커니즘 분석

- 프리픽스가 모델을 **"formal presentation mode"에서 "exploratory computation mode"로** 전환시킴
- 이건 trajectory perturbation — 능력 자체가 아니라 **정책(policy)의 변화**임
- **Chain-of-thought가 매개함**: thinking을 비활성화하면 효과가 완전히 사라짐
- 첫 토큰 logit probe에서 `<think>` 확률이 모든 조건에서 99.99% 이상 → perturbation은 모드 진입이 아니라 **추론 체인 자체를 조정**함

두 가지 핵심 메커니즘이 확인됨:
1. **Attention sink 회피**: 초기 토큰의 attention sink가 퇴화 생성을 유발하는데, 2개 위치의 소프트 프롬프트가 이를 깨뜨림
2. **진화를 통한 latent 지식 접근**: 진화된 소프트 프롬프트가 모델의 지식 공간에서 다른 영역으로 조향함

---

## 멀티모델 검증 결과

| 모델 | 양자화 | Baseline | +Noise | Delta |
|------|--------|----------|--------|-------|
| Qwen3-4B | 4-bit | 32% | 51.6% | **+19.6pp** |
| Qwen3-8B | 8-bit | 16% | 28.8% | +12.8pp |
| DeepSeek-1.5B | 4-bit | 76% | 74.4% | -1.6pp |
| phi-2 | none | 12% | 18.7% | +6.7pp |

- Qwen3-4B에서 가장 큰 효과가 나타남
- DeepSeek-1.5B에서는 효과가 미미하거나 역효과임
- 모델별로 메커니즘이 다름: 4B는 convergence 도움, 8B는 computation 자체도 개선됨

---

## 실용 정보

- MIT 라이선스, 상업적 사용 가능
- Python 3.10+, PyTorch 2.0+, VRAM 최소 2GB(Qwen3-0.6B) ~ 권장 8GB(Qwen3-4B)
- NeurIPS 논문 드래프트 포함됨
- 기여자 대상 월간 바운티 프로그램 운영 중 (1위 $500)

---

## 시니어 개발자 관점

- "노이즈를 넣으면 더 잘 됨"이라는 직관에 반하는 결과이지만, 메커니즘 분석이 꽤 체계적임
- attention sink 회피라는 개념은 inference-time 최적화에서 실용적 가치가 있을 수 있음
- 다만 n=25(산술), n=5(플래닝)로 표본 크기가 작고, 효과가 모델에 따라 크게 다름
- 프로덕션에 바로 적용하기보다는 **inference 파이프라인의 새로운 축**으로 주시할 만한 연구임
- Best-of-N 대비 연산 효율이 높다는 주장은 scorer 품질에 의존하므로, scorer 개선이 핵심 과제임

## 핵심 포인트

- 랜덤 임베딩 토큰 2개 추가만으로 Qwen3-4B 산술 정확도 32%→51.6% 향상됨 (학습/파인튜닝 없음)
- Dose-response가 비단조적: 2토큰이 최적이고 더 늘리면 ~44%로 퇴행됨
- 캐시 디버깅 태스크에서 baseline 14단어 실패를 650~710단어 완전한 계획으로 복구함
- Attention sink 회피와 진화를 통한 latent 지식 접근이라는 두 가지 메커니즘이 확인됨
- 스케일링, 파인튜닝, 프롬프트 엔지니어링, RAG, 샘플링과 완전히 직교하는 새로운 개선 축임

## 인사이트

Trajectory perturbation이라는 개념이 흥미롭지만, 표본 크기가 작고(n=25 산술, n=5 플래닝) 모델별 효과 차이가 큼. 프로덕션 적용보다는 inference-time 최적화의 새로운 방향성으로 주시할 만한 연구임.