본문으로 건너뛰기
피드

Polars.NET — Rust 기반 고성능 DataFrame 엔진이 .NET에 왔음

backend 약 4분
vote
0
댓글
북마크

Rust + Apache Arrow 기반의 Polars DataFrame 엔진을 .NET에서 사용할 수 있는 바인딩 프로젝트. 3계층 아키텍처로 ADO.NET, LINQ, Delta Lake까지 통합 지원.

  • 1

    Rust C ABI → .NET Core → 하이레벨 API 3계층 아키텍처

  • 2

    ADO.NET DataReader boxing-free, LINQ 쿼리 지원

  • 3

    Python/JVM 없이 CLR만으로 Delta Lake 접근 가능

  • 4

    Source Generator 기반 Strong Typed Series<T>

Polars가 .NET에 왔음

  • Rust + Apache Arrow 기반의 고성능 DataFrame 엔진인 Polars를 .NET에서 쓸 수 있게 해주는 바인딩 프로젝트 Polars.NET이 나왔음. "Polars를 .NET에 가져오는 게 아니라, .NET을 Polars에 가져오겠다"는 포부가 인상적

  • 지원 플랫폼은 Windows x64, Linux x64/ARM64 (glibc/musl), macOS ARM64. 클라우드는 AWS/Azure/GCP, 데이터 레이크는 Delta Lake까지 지원함. .NET 8+ 필요하고, CPU는 AVX2 지원해야 함 (Intel Haswell 2013+ / AMD Excavator 2015+)

아키텍처가 깔끔함

  • 3계층 아키텍처로 API 안정성을 확보했음:

    • native_shim — 손으로 작성한 Rust C ABI 레이어 (FFI 브릿지)
    • Polars.NET.Core — unsafe ops, wrapper, LibraryImport 같은 더러운 일 담당
    • Polars.CSharp & Polars.FSharp — unsafe 블록 없는 하이레벨 API
  • Series<T>는 Source Generator로 Strong Typed 지원함

.NET 생태계와의 통합

  • ADO.NET: DataReader가 제네릭 타입이라 hot path에서 boxing/unboxing 없음
  • LINQ: Linq2DB 기반 확장 패키지로 DataFrame/Series를 LINQ 쿼리로 조작 가능. F# Computation Expression도 지원
  • ADBC: 쿼리 엔진과 데이터 소스 간 데이터를 핑퐁처럼 주고받을 수 있음
  • Query Sandwich: LINQ 쿼리와 Polars lazy execution plan이 서로 호환됨 — 섞어서 쓸 수 있다는 뜻
  • Delta Lake: Python이나 JVM 없이 CLR만으로 Delta Lake 접근 가능. Deletion Vector도 됨
  • UDF: LINQ이나 Polars Expression으로 안 되는 특수 케이스용 사용자 정의 함수도 지원

💡

> AVX-512 지원 CPU가 있다면 RUSTFLAGS='-C target-cpu=native'로 Rust 코어를 직접 컴파일하면 추가 성능 향상을 노릴 수 있음

.NET 생태계에서 데이터 처리 성능을 원하는 개발자에게 Polars 바인딩은 상당히 매력적인 선택지가 될 수 있음.

댓글

댓글

댓글을 불러오는 중...

backend

Go에서 Rust로 옮길 때 진짜로 바뀌는 것들

이 글은 Go 백엔드 서비스를 Rust로 옮길 때 속도보다 컴파일 타임 보장, 런타임 트레이드오프, 개발자 경험이 더 중요하다고 설명한다. nil 패닉, 데이터 레이스, 에러 처리, 제네릭, 비동기 모델, 마이그레이션 전략까지 실무 관점에서 Go와 Rust를 길게 비교한다.

backend

Python 3.15에서 헤드라인은 못 탔지만 꽤 쓸만한 기능들

Python 3.15에는 lazy imports나 Tachyon profiler 같은 큰 기능 말고도 실무에서 바로 체감될 만한 작은 개선들이 들어가. TaskGroup 취소, 컨텍스트 매니저 데코레이터 개선, 스레드 안전 이터레이터처럼 평소 애매하게 불편했던 지점들이 꽤 깔끔해졌어.

backend

심평원, DUR부터 의료영상 심사까지 클라우드로 갈아엎는다

심평원이 정보시스템 클라우드 전환과 함께 병·의원 업무에 직접 닿는 DUR, 의료영상 AI 심사, 요양급여내역 조회 시스템을 고도화한다. 핵심은 설치형 프로그램 중심이던 연계를 웹과 API 기반으로 넓히고, 진료·청구 과정에서 실시간 확인과 자동 판독을 강화하는 쪽이다.

backend

윈도우 에러 코드 7번 ‘ERROR_ARENA_TRASHED’는 어디서 왔을까

ERROR_ARENA_TRASHED는 Win32에서 실제로 쓰이는 현대적 에러라기보다 MS-DOS 시절 메모리 관리 구조에서 넘어온 잔재야. MS-DOS가 메모리 블록 앞의 arena 시그니처를 훑다가 예상한 값이 아니면 ‘arena가 망가졌다’고 보고 이 에러를 냈다는 이야기야.

backend

C/C++ 컴파일러의 느슨한 메모리 동시성 버그를 자동으로 잡는 박사논문

C와 C++ 컴파일러에서 relaxed memory 동시성 버그를 찾는 자동 테스트 프레임워크를 다룬 박사논문이 공개됐어. Téléchat, Atomic-mixer 같은 도구로 소스 수준 동작과 컴파일된 프로그램 동작을 비교하고, LLVM과 GCC 툴체인에서 실제 버그를 찾아낸 내용이 핵심이야.