king - man + woman = queen이 되는 수학적 이유

word2vec이 단어를 벡터로 바꾸고, 그 벡터 연산으로 유추(analogy)가 작동하는 원리를 수학적으로 설명하는 글임. 조건부 확률과 PMI(점별 상호 정보량)를 통해 벡터 차이가 왜 의미 차이를 표현하는지 단계별로 풀어냄.

분포 가설: 단어는 주변 단어로 정의됨

• word2vec의 핵심 아이디어는 "a word is characterized by the company it keeps"라는 분포 가설(distributional hypothesis)에 기반함
• 모든 단어 쌍에 대해 조건부 확률 P(w|a)를 계산하고, 두 단어 a와 b에 대해 P(w|a) = P(w|b)이면 a와 b는 동일한 의미로 간주됨
• 단순히 단어 동시 출현(co-occurrence)만 봐도 놀랍도록 풍부한 의미 정보를 얻을 수 있음

PMI와 벡터 압축

• 10만 단어 사전 기준으로 모든 단어 쌍의 조건부 확률을 저장하려면 8GB가 필요함
• 이를 해결하기 위해 점별 상호 정보량(PMI)을 사용: PMI(a,b) = log[P(a|b)/P(a)]
• PMI를 50~300차원 벡터의 내적(scalar product)으로 근사함: PMI(a,b) = v_a · v_b
• 이 손실 압축(lossy compression)이 오히려 장점임 — 개별 쌍을 암기하는 대신 패턴을 발견하게 됨

단어 유사성과 벡터 근접성

• P(w|a) = P(w|b)를 PMI로 변환하면 v_w · (v_a - v_b) = 0이 되고, 모든 w에 대해 성립하려면 v_a = v_b여야 함
• 실제로는 완벽한 등호 대신 벡터가 가까운 정도로 유사성이 측정됨
• 가까운 단어들은 동의어(happy-delighted), 반의어(good-evil), 교환 가능한 단어(yellow-blue)를 포함함
• 코사인 거리를 사용하는 이유는 방향(어떤 맥락에서 출현하는지)에 초점을 맞추기 위함임

유추와 벡터 산술

• 유추(a:b = A:B)는 조건부 확률의 비율 등식으로 표현됨: P(w|a)/P(w|b) = P(w|A)/P(w|B)
• 이를 PMI로 변환하면 v_w · (v_a - v_b - v_A + v_B) = 0, 즉 v_a - v_b = v_A - v_B가 됨
• dog:puppy = cat:kitten 예시에서, 확률이 종(species), 나이(age) 등 차원별로 인수분해된다고 가정함
• Google Books Ngram 데이터로 확인하면 실제로 새끼 동물 단어가 약 2배 더 빈번하게 등장함

벡터 차이와 투영

• v_she - v_he 같은 벡터 차이 자체는 단어 벡터가 아니지만, 이 축에 다른 단어를 투영하면 의미 있는 결과를 얻음
• 투영값 v_w · (v_a - v_b) = log[P(w|a)] - log[P(w|b)]로, 서로 다른 맥락에서의 상대적 출현 빈도를 정확히 나타냄
• 성 중립적 대명사를 만들려면 합이 아니라 평균 (v_she + v_he)/2를 사용해야 함

실용적 고려사항과 알고리즘 변형

• word2vec은 단일 알고리즘이 아님: Skip-Gram(PMI의 암묵적 압축), GloVe(동시 출현의 명시적 압축) 등 여러 변형이 있음
• 각 단어는 두 개의 벡터(단어용, 맥락용)를 가짐
• PMI가 -무한대가 되는 쌍이 있어서 실제로는 양의 PMI(PPMI)를 사용함
• "machine learning" 같은 구문 처리나 다의어 구분을 위한 전처리가 필요함

편향 문제

• 학습 데이터의 편향이 그대로 벡터에 반영됨: doctor - man + woman = nurse 같은 성별 고정관념이 나타남
• 의미의 선형 공간이라는 개념 자체가 학계에서 논쟁 중인 주제임
• 결과는 객관적 진실이 아니라 학습 데이터의 함수임

탐색 도구와 참고 자료

• Julia Bazinska가 만든 Word2viz로 GloVe 사전훈련 벡터를 인터랙티브하게 탐색할 수 있음 (30MB 로드 필요)
• 직접 훈련하려면 Python의 gensim 라이브러리를 사용하면 됨
• Stanford GloVe, Google word2vec에서 사전훈련 벡터를 다운로드할 수 있음