Apache DataFusion: Rust로 작성된 강력하고 확장 가능한 쿼리 엔진

Apache DataFusion은 Apache Arrow를 인메모리 형식으로 사용하는 Rust로 작성된 확장 가능한 쿼리 엔진입니다. SQL 및 DataFrame API를 제공하며 CSV, Parquet, JSON, Avro 등 다양한 데이터 형식을 지원하고 뛰어난 성능과 사용자 정의 기능을 제공합니다. DataFusion은 완벽한 쿼리 플래너, 열 지향적, 스트리밍, 멀티스레드, 벡터화된 실행 엔진 및 파티셔닝된 데이터 소스를 갖추고 있습니다. 데이터 소스, 쿼리 언어, 함수, 사용자 정의 연산자 등을 추가하여 거의 모든 부분을 사용자 정의할 수 있습니다. 관련 하위 프로젝트로는 DataFusion Python(Python 바인딩), DataFusion Ray(분산 버전), DataFusion Comet(Apache Spark 가속기) 등이 있습니다.