대규모 언어 모델은 생각보다 블랙박스가 아닐지도 모른다

• 대규모 언어 모델(LLM)이 완전한 블랙박스라는 말, 이제는 좀 낡은 표현일 수 있음

  • 글의 핵심은 기계적 해석 가능성(Mechanistic Interpretability)이 모델 내부 계산을 꽤 구체적으로 들여다보기 시작했다는 것
  • 특히 앤트로픽의 2025년 연구인 ‘대규모 언어 모델의 생물학’ 계열 작업이 중요한 분기점으로 소개됨

• 예전처럼 뉴런 하나 켜졌다고 의미를 읽는 방식은 안 통함

  • 이유는 중첩(Superposition) 때문임. 하나의 뉴런이 여러 개념에 걸쳐 있고, 하나의 개념도 여러 뉴런에 흩어져 있음
  • 그래서 연구자들은 모델 내부 활성값을 사람이 이해 가능한 희소 특징(Sparse Features)으로 다시 분해하는 쪽으로 접근함

• 앤트로픽의 회로 추적(Circuit Tracing)은 모델 내부에 ‘개념의 배선도’를 그리려는 시도에 가까움

  • 기본 모델의 다층 퍼셉트론(MLP) 출력을 희소하게 재현하는 대체 모델을 학습시킴
  • 이 과정에서 ‘텍사스’, ‘올림픽’처럼 사람이 알아볼 수 있는 고수준 특징이 튀어나옴
  • 그다음 이 특징들이 정방향 계산 과정에서 어떻게 서로 영향을 주는지 따라가면, 모델 내부 계산의 인과 흐름을 볼 수 있음

• 예시가 꽤 직관적임. “댈러스가 있는 주의 주도는?”이라고 물으면 내부에서 이런 식의 흐름이 보인다는 것

  • 먼저 ‘댈러스’ 특징이 활성화됨
  • 그다음 ‘텍사스’ 특징이 켜짐
  • 마지막으로 ‘오스틴’ 특징이 활성화됨
  • 이건 적어도 표면상으로는 고수준 개념 사이를 이동하는 의사-기호적 추론처럼 보임

• 이런 현상은 대규모 언어 모델에만 있는 게 아님

  • 딥마인드가 2022년에 보인 사례에 따르면, 알파제로(AlphaZero)도 사람의 체스 개념과 맞닿는 중간 표현을 스스로 학습함
  • 예를 들면 ‘체크 상태’, ‘핀 걸기’ 같은 개념이 인간 지식 주입 없이 내부 표현으로 생겨났다는 얘기임

• 내부 알고리즘을 보면 모델이 사람처럼 계산하지 않는 경우도 보임

  • 클로드 3.5 하이쿠는 작은 정수 덧셈에서 인간의 필산식 알고리즘과 깔끔하게 대응되지 않는 방식을 사용한 것으로 소개됨
  • 대략적인 크기를 계산하는 경로와 정확한 일의 자리 계산 경로를 병렬로 굴리고, 기억된 조회표 같은 특징까지 섞어 재조합하는 식임
  • 이걸 알 수 있다면 다음 질문은 자연스럽게 나옴. “그럼 더 좋은 알고리즘으로 유도할 수 있나?”

• 모델에게 “너 방금 어떻게 계산했어?”라고 물어도, 실제 내부 계산을 말해준다는 보장은 없음

  • 모델은 인간이 이해하기 쉬운 깔끔한 풀이를 설명할 수 있음
  • 하지만 회로 추적으로 본 실제 계산은 그 설명과 다를 수 있음
  • 글쓴이는 이걸 일종의 ‘무의식’이라고 표현함. 모델 본인도 자기 내부 과정을 메타인지하지 못할 수 있다는 뜻임

• 그래서 이 연구가 중요한 이유는 단순한 호기심이 아니라 실용적인 통제 문제와 연결됨

  • 위험한 의도나 비정상 행동을 내부에서 탐지할 가능성이 생김
  • 모델 행동을 조향하거나, 더 나은 학습 알고리즘을 설계하는 데도 힌트가 될 수 있음
  • 십 년 전 머신러닝 수업에서 들었던 “신경망은 그냥 블랙박스”라는 말과는 꽤 다른 풍경이 열리는 중임

---

기술 맥락

• 여기서 중요한 선택은 뉴런 단위 해석을 포기하고, 희소 특징 단위로 모델을 다시 읽는 거예요. 뉴런 하나가 한 개념을 담당한다는 식으로 보면 중첩 문제에 바로 막히거든요.

• 회로 추적이 흥미로운 이유는 결과 설명이 아니라 계산 경로를 보려 하기 때문이에요. 답이 맞았는지보다, 댈러스에서 텍사스, 오스틴으로 이어지는 내부 연결이 실제로 작동했는지를 보는 쪽에 가까워요.

• 이 접근은 안전성에도 바로 연결돼요. 모델이 겉으로는 멀쩡한 답을 내도 내부에서 위험한 목표나 우회 경로가 활성화되는지 볼 수 있다면, 사후 필터링보다 더 깊은 방어선을 만들 수 있거든요.

• 다만 모델이 자기 사고 과정을 말로 설명한다고 해서 그게 실제 계산이라는 보장은 없어요. 이 글의 덧셈 예시처럼 내부 알고리즘은 사람의 설명과 다르게 병렬 경로, 근사값, 조회표성 특징을 섞어 굴러갈 수 있어요.