Parquet/Iceberg를 대체할 Lance 포맷, 애니메이션으로 쉽게 이해하기

2025년 빅데이터 업계 주요 이벤트

• 2025년 오브젝트 스토리지 기반 빅데이터 세계에서 굵직한 일들이 많았음: Iceberg V3 스펙 릴리스(VARIANT 타입 추가), turbopuffer의 오브젝트 스토리지 위 벡터 검색 발표, Apache Fluss의 Flink 기반 실시간 스트림 티어링 등
• Datadog이 Quickwit을 인수했고, Databricks가 Neon을 인수함
• 그런데 이 모든 것보다 더 중요한 게 레이더 밑으로 지나갔는데, 바로 Lance임

Lance란 무엇인가

• Lance는 파일 포맷(Parquet 대응), 테이블 포맷(Iceberg 대응), 카탈로그 스펙(Iceberg REST catalog 대응)을 모두 포함하는 올인원 포맷임
• 기존 빅데이터 스택에서 각각 별도 레이어로 존재하던 것들을 하나로 통합한 셈

Lance 파일 포맷 — Parquet와의 차이

• Parquet는 컬럼 전체를 순차적으로 읽는 데 최적화되어 있지만, WHERE id = 123 같은 랜덤 읽기에는 느림
• Lance 파일 포맷은 랜덤 읽기에 최적화되면서도 Parquet의 순차 읽기 성능은 그대로 유지함
• Parquet가 기본 1MB 페이지 단위인 반면, Lance는 더 작은 단위로 데이터를 구성해서 포인트 쿼리 성능이 좋음

Lance 테이블 포맷 — Iceberg와의 차이

• Iceberg에서 새 컬럼을 추가하려면 기존 데이터를 전부 복사해야 됨. Lance는 ad-hoc 컬럼 추가 시 데이터 복사 없이 바로 추가 가능함
• Iceberg의 핵심인 MVCC(다중 버전 동시성 제어)는 그대로 지원함
• 테이블 레벨에서 인덱스를 직접 지원하는 것도 큰 장점임: BTree, 역색인(Full-Text Search), 벡터 인덱스(HNSW) 등을 내장하고 있음

경쟁자와 AI 시대의 맥락

• SpiralDB가 만든 vortex라는 오픈소스 파일 포맷도 Parquet의 경쟁자로 등장함. LanceDB와 직접 경쟁 구도
• 이런 기술들이 등장한 배경은 AI 시대에 멀티모달 데이터 레이크의 필요성이 커졌기 때문임 — 텍스트, 이미지, 벡터 등 다양한 데이터를 하나의 레이크에서 처리해야 하는 수요가 폭발적으로 증가함
• AI 소프트웨어 시대가 또 어떤 새로운 기술들을 만들어낼지 주목할 만함