문장에서 의미는 어디에 사는가? 카테고리 이론이 답을 줄 수도 있음

• 카테고리 이론(Category Theory)으로 언어의 의미가 어디에 있는지를 연구하는 수학자의 인터뷰. "문장에서 의미가 어디에 사는가?"라는 질문에 수학이 답을 줄 수 있다는 이야기

카테고리 이론이란

• 카테고리는 객체들과 그 사이의 관계(사상, morphism)로 구성됨. 저자는 이걸 "수학의 매드립(Mad Libs)"에 비유함 — 하나의 스토리 구조에 다른 단어(집합, 군, 벡터 공간 등)를 넣으면 같은 프레임워크가 수학의 여러 분야에 적용됨

• 처음 배울 때는 "추상화를 위한 추상화"처럼 느껴져서 최악이라고 생각했는데, 나중에야 이게 수학의 지형을 조감도로 볼 수 있게 해주는 도구라는 걸 깨달았다고 함

• 예시: 두 위상 공간이 같은지 판별하기 어려울 때, 펑터(functor)를 써서 벡터 공간으로 변환하면 차원 비교라는 훨씬 쉬운 문제로 바뀜. 위상수학과 선형대수 사이를 카테고리 이론으로 오갈 수 있다는 거임

언어를 카테고리로 보면

• 모든 단어/구를 카테고리의 객체로, 한 단어 뒤에 다른 단어가 올 확률을 사상(morphism)으로 보는 "풍부한 카테고리(enriched category)" 프레임워크를 적용함. 단어 사이에 숫자가 달린 화살표가 있는 구조

• 이렇게 언어를 카테고리로 보면 수십 년간 축적된 카테고리 이론의 구성(construction)을 바로 가져다 쓸 수 있음. "레시피북을 넘기면서 인간 언어나 LLM 이해에 도움이 될 것을 찾는" 셈

LLM과의 연결

• "big"과 "yellow"라는 두 단어에 카테고리 이론의 고전적 연산을 적용하면, "big yellow sun"에는 높은 수치를, "big yellow ruby"에는 낮은 수치를 자동으로 부여하는 구성이 나옴. 단순한 통계 정보에서 상위 개념이 자동으로 출현하는 거임

• ChatGPT에 "가정용 반려동물이면서 파충류인 것 5개 대라"고 하면 잘 답하는데, 이런 논리적 교차가 어떻게 가능한지를 카테고리 이론으로 설명할 수 있다는 거임

엔트로피와 위상수학의 만남

• 가장 최근 논문에서는 카테고리의 "크기(magnitude)"를 언어 카테고리에 적용했더니, 수식에 정보이론의 핵심 양인 엔트로피가 나타남. 엔트로피와 위상수학은 원래 전혀 다른 분야인데 이런 연결이 최근 여러 곳에서 나타나고 있다고

• 이걸 통해 서로 다른 언어의 구조를 비교하거나, 인간 언어와 LLM 생성 언어를 비교할 수 있을지도 모른다는 전망. "5년 안에 언어에서 영감을 받은 새로운 수학적 아이디어가 나올 수 있다"고 함