좋은 논픽션 책이야말로 AI 잡글의 정반대라는 이야기

도서관 서가에서 시작된 이야기

• 저자는 대학 1학년 때 도서관 서가 정리 아르바이트를 했는데, 이게 의외로 인생에서 제일 중요한 지적 경험 중 하나였다고 함

  • 맡은 구역은 미국 의회도서관 분류법 기준 A부터 F까지였고, 주로 종교, 철학, 사회학, 역사 책이 꽂혀 있던 구역
  • 일 자체는 책 라벨을 보고 제자리에 꽂는 걸 한 근무마다 1,000번쯤 반복하는 꽤 지루한 일이었음

• 지루함을 피하려고 저자는 책을 꽂기 전에 아무 페이지나 펼쳐서 임의의 문장 하나를 읽기 시작함

  • 대부분은 헝가리 클래식 음악 평론가나 볼리비아 농업 통계 같은 데서 바로 흥미가 식었음
  • 그런데 어떤 책은 헬레니즘 시대 신비 종교, 헨리 애덤스의 교육, 현대 의복론처럼 몇 페이지씩 빨려 들어가게 만들었음
  • 더 웃긴 건 마음에 든 책이 있으면 그 양옆 책까지 같이 뒤적이게 됐다는 점임

• 저자는 이 경험을 '필터링된 독학'이라고 부름

  • 도서관 분류 체계와 연구 도서관 사서들이 이미 책을 정리하고 걸러둔 상태였기 때문
  • 게다가 반납된 책이라는 건 누군가 실제로 빌려 읽었다는 뜻이라, 완전 랜덤이 아니라 오래 살아남은 독자층이 있는 책들이었음

구글 검색과 AI 시대의 아쉬움

• 요즘 대학생이 자료를 찾으라고 하면 거의 무조건 구글부터 켜는데, 저자는 이 방식이 예전 연구 도서관 서가를 어슬렁거리던 경험보다 훨씬 별로라고 봄

  • 예를 들면 도서관의 GR 830 서가, 그러니까 대충 '고스트버스터즈가 읽을 법한 책들' 근처를 둘러보는 식의 탐색이 있었다는 것
  • 검색창은 빠르지만, 좋은 책들이 의도치 않게 옆에 붙어 있는 물리적 우연성은 거의 사라짐

• 문제는 도서관도 예전 같지 않다는 점임

  • 열린 서가와 낡고 이상한 책들이 있던 공간이 러닝 랩, 디지털 혁신 허브, 잡담과 간식용 좌석으로 바뀌고 있음
  • 오래된 책들은 전자판으로 대체되거나 폐기되는 경우도 늘고 있음

• 그래도 저자는 논픽션 책 자체의 품질은 여전히 엄청 높다고 봄

  • 논픽션 독서가 AI 챗봇, 팟캐스트와 경쟁하면서 줄어드는 중이지만, 오히려 형식 자체로는 황금기일 수 있다는 주장
  • 핵심은 'AI가 글을 많이 만든다'가 아니라 '좋은 글을 찾는 능력이 더 귀해졌다'는 쪽에 가까움

논픽션 책 색인을 만든 이유

• 저자는 이번 여름에 고품질 논픽션 책의 긴 꼬리를 검색할 수 있는 무료 플랫폼을 만들었다고 함

  • 품질을 객관적으로 정의하긴 어렵지만, 주요 논픽션 상을 받았거나 최종 후보에 오른 책은 대체로 눈에 띄게 좋았다는 경험을 기준으로 삼음
  • 영어권 주요 논픽션 상들을 세고, Claude와 GPT-5.6을 써서 위키피디아 같은 온라인 자료에서 수상작과 후보작 목록을 모았음

• 이 프로젝트에서 AI가 한 일은 '책을 대체하는 것'이 아니라 '책을 찾기 쉽게 만드는 것'에 가까움

  • 데이터 수집과 코드 작성에는 AI 도구를 썼지만, 콘텐츠의 가치는 여전히 수상작과 후보작이라는 인간 선별 구조에서 나옴
  • 의미 검색(Semantic Search)은 저자가 현재 AI 도구 중 제일 마음에 들어 하는 기능이라고 함
  • 이유는 간단함. 연구자가 원래 하던 텍스트 검색 워크플로를 더 좋게 만들어주기 때문임

• 검색도 단순 키워드 검색에서 한 단계 더 나아감

  • '현대 프랑스', '사회사' 같은 평범한 검색어도 가능함
  • 동시에 '놀랍게도 이상한 고전 전기' 같은 애매한 감각의 검색어도 임베딩 모델이 약 6,500권 중에서 그럴듯한 책을 끌어옴
  • 결과가 가끔 이상하게 느껴질 때도 있는데, 저자는 바로 그 점이 좋다고 함. 잘 가꿔진 정원에서 랜덤 워크하는 느낌이 되살아나기 때문임

알고리즘 추천과 다른 발견 방식

• 저자는 이 검색이 특히 '이 책과 비슷한 책'을 찾을 때 강하다고 말함

  • 예를 들어 슈테판 츠바이크의 전쟁 전 빈 회고록을 감명 깊게 읽었다면, 비슷한 분위기의 책을 검색해서 들어본 적 없는 후보를 찾을 수 있음
  • 아마존 추천처럼 지금 잘 팔리는 책을 밀어주는 방식과는 결이 다름

• 책 데이터를 모으다 보니 시각화도 만들 수 있었음

  • 약 5,000권의 책 표지를 색상별로 배열한 시각화도 만들었다고 함
  • 출판사와 임프린트가 지난 100년 동안 논픽션 상에서 어떤 성과를 냈는지 보는 차트와 순위도 만들었음

• 특히 흥미로운 사례로 데이비드 레버링 루이스의 W.E.B. 듀 보이스 전기가 나옴

  • 1993년에 주요 상을 4개나 받은 책이라 색인에서는 거의 최상위권에 있음
  • 그런데 현재는 절판 상태고 아마존 판매 순위가 100만 위 밖이라, 일반 추천 알고리즘에서는 튀어나오기 어려움
  • 저자는 중고로 약 4달러에 살 수 있고 실제로 아주 좋다고 말함. 이게 바로 긴 꼬리의 맛임

논픽션 황금기는 어떻게 가능했나

• 저자는 좋은 논픽션의 황금기가 언제 시작됐는지도 생각해 봄

  • 퓰리처 논픽션상이 생각보다 늦은 1962년에 시작됐다는 점도 언급함
  • 논픽션 상의 수는 1970년대, 1980년대, 1990년대를 지나며 늘다가 2014년쯤 정점을 찍고, 2020년 이후에는 느린 하락 가능성도 보인다고 함

• 저자는 전후 시대의 도서관과 아카이브가 지식 생산 방식을 크게 바꿨다고 봄

  • 제트기가 등장하면서 작가와 연구자가 여러 대륙을 오가며 취재할 수 있게 됨
  • 계급, 인종, 젠더 장벽이 완화되면서 희귀본 도서관 같은 엘리트 공간에 접근할 수 있는 사람이 늘어남
  • 이 변화는 새로운 질문도 열었는데, 예컨대 1965년 이전 전기 작가들이 인물의 성적 지향을 거의 파고들지 않았다는 지적이 나옴

• 초기 디지털 기술도 논픽션 품질에 영향을 줬을 수 있음

  • 미국 의회도서관 분류법과 1960년대 후반의 기계 판독 목록 표준(MARC)은 책을 정리하고 분류하기 쉽게 만들었음
  • 출처 확인과 고품질 주석 작성도 쉬워졌고, 이건 좋은 논픽션의 기본 체력에 가까움
  • 방송 뉴스, 기묘한 TV 인터뷰 쇼, 책의 영화화 루트도 저자들에게 새 동기와 노출 경로를 제공했음

• 저자의 주관적 결론은 꽤 선명함

  • 20세기 내내 논픽션 글쓰기 품질은 전반적으로 좋아졌고, 1980년대부터 2000년대 초반 사이에 정점에 도달했을 가능성이 크다는 것
  • 지금 하락 중인지는 별도 논쟁거리지만, 적어도 좋은 논픽션의 긴 꼬리는 아직 엄청나게 풍부하다는 입장임

---

기술 맥락

• 이 글에서 기술적으로 제일 재밌는 선택은 생성형 AI로 책 소개문을 새로 뽑아낸 게 아니라, 이미 검증된 책 목록 위에 의미 검색을 얹었다는 점이에요. 왜냐하면 문제의 핵심이 '콘텐츠를 더 만들기'가 아니라 '좋은 콘텐츠를 발견하기'였거든요.

• 약 6,500권 규모의 말뭉치라면 전통적인 키워드 검색도 가능하지만, 사용자가 늘 정확한 단어를 아는 건 아니에요. 그래서 임베딩 기반 검색을 쓰면 '전쟁 전 유럽 회고록 같은 느낌'처럼 흐릿한 의도도 어느 정도 받아낼 수 있어요.

• 여기서 AI의 역할은 판단자가 아니라 보조 도구에 가까워요. 어떤 책이 좋은지는 논픽션 상의 후보와 수상 이력이라는 외부 신호가 먼저 걸러주고, 임베딩 모델은 그 안에서 이동 경로를 만들어주는 역할을 해요.

• 개발자 입장에서는 이게 꽤 실용적인 패턴이에요. 무작정 챗봇을 붙이는 대신, 사람이 신뢰하는 데이터셋을 먼저 만들고 그 위에 검색 품질을 높이는 AI를 붙이면 결과의 예측 가능성이 훨씬 좋아지거든요.