dataframely: Polars 기반 데이터프레임 검증 라이브러리
2025-04-30
QuantCo는 레거시 코드베이스를 현대화하는 과정에서 데이터프레임 처리의 심각한 결함, 즉 검증 부족을 발견했습니다. 성능 향상을 위해 pandas에서 Polars로 마이그레이션하면서 이 문제가 두드러졌습니다. pandera나 patito와 같은 기존 라이브러리는 부족한 것으로 판명되었습니다. 이를 해결하기 위해, 그들은 선언적 데이터프레임 검증을 가능하게 하는 Polars 기반 라이브러리인 dataframely를 개발했습니다. dataframely는 스키마 정의, 데이터프레임 내용 검증, 데이터프레임 간 검증, 소프트 검증을 지원하여 파이프라인의 안정성과 가독성을 크게 향상시킵니다. 이미 여러 팀과 프로젝트에서 사용되고 있습니다.
개발
데이터 검증