Webtagr - 기술 뉴스 다이제스트

OLAP 데이터베이스를 위한 ORM 탐색: Moose OLAP 접근 방식

2025-08-17

최신 애플리케이션은 대규모 데이터 세트 집계를 기반으로 하는 사용자 중심 분석 및 AI 기능에 점점 더 의존하고 있으며, 이는 개발자들을 ClickHouse와 같은 분석 데이터베이스로 이끌고 있습니다. 이 기사에서는 OLAP 데이터베이스를 위한 ORM을 구축하는 가능성과 과제를 탐구합니다. 기존 OLTP ORM을 OLAP로 확장하는 것은 의미론적 차이로 인해 문제가 됩니다. 오픈 소스 프로젝트인 Moose OLAP는 ClickHouse에 대해 ORM과 유사한 인터페이스를 제공하려고 시도합니다. OLTP ORM의 장점을 활용하지만 NULL 값 및 고유성 제약 조건 처리 등 OLAP의 특성에 맞게 조정됩니다. Moose OLAP는 코드로서의 스키마를 강조하고 OLAP 기본 의미 체계 및 기본값을 제공하며 OLAP 환경에 고유한 동적 스키마 변경에 대처하기 위해 버전 관리된 마이그레이션을 지원합니다.

(clickhouse.com)

개발

PostgreSQL 논리 복제 슬롯 생성에서 발생한 까다로운 버그와 해결 방법

2025-07-15

ClickPipes 팀은 PostgreSQL에서 논리 복제 슬롯을 생성하는 동안 당황스러운 버그를 발견했습니다. 몇 초면 완료될 쿼리가 수 시간이나 걸리고 종료할 수 없다는 문제였습니다. 조사 결과, Postgres 버그로 밝혀졌습니다. 읽기 복제본에서 논리 복제 슬롯을 생성하면 주 트랜잭션이 완료될 때까지 긴 sleep 루프에 빠져 중단할 수 없게 됩니다. 팀은 인터럽트 검사를 추가하는 패치를 Postgres 커뮤니티에 제출했습니다. 이를 통해 문제가 효과적으로 해결되었습니다. 이 사례는 성숙한 데이터베이스 시스템에서도 예상치 못한 에지 케이스가 발생할 수 있으며, 오픈소스 커뮤니티의 협력이 해결에 필수적임을 보여줍니다.

(clickhouse.com)

개발 논리 복제

ClickHouse Cloud의 100PB 규모 관측 가능성 플랫폼: LogHouse의 진화

2025-06-21

ClickHouse Cloud의 내부 로깅 플랫폼인 LogHouse는 1년 만에 19PB에서 100PB 이상으로, 행 수는 40조 행에서 500조 행으로 증가했습니다. 이벤트 양이 20배 증가함에 따라 LogHouse 팀은 CPU 사용률을 이전의 10% 미만으로 줄이는 사용자 지정 내보내기 프로그램인 SysEx를 개발했습니다. SysEx는 ClickHouse 시스템 테이블에서 데이터를 직접 복사하여 OpenTelemetry의 파싱 및 마샬링 병목 현상을 해결합니다. 동시에 LogHouse는 ClickHouse 기본 관측 가능성 UI인 HyperDX를 통합하여 원활한 탐색, 상관 관계 및 근본 원인 분석을 제공합니다.

(clickhouse.com)

기술

ClickHouse, AI 기반 애플리케이션 지원을 위해 3억 5천만 달러 규모의 시리즈 C 투자 유치

2025-05-29

실시간 분석 데이터베이스 ClickHouse가 3억 5천만 달러 규모의 시리즈 C 투자 라운드를 발표했습니다. 이로써 총 투자금은 6억 5천만 달러를 넘어섰습니다. 이번 투자는 제품 개발, 글로벌 확장 및 차세대 AI 기반 애플리케이션을 지원하는 파트너십을 강화하는 데 사용될 예정입니다. ClickHouse의 고성능 열 기반 저장소 엔진은 최소한의 지연 시간으로 대규모 데이터 세트에 대한 대화형 분석 쿼리를 가능하게 하여 AI/ML 애플리케이션, 실시간 분석, 클라우드 데이터 웨어하우징 및 관찰 가능성 워크로드를 지원합니다. 연간 300% 이상의 성장률을 기록하고 있으며 Anthropic, Tesla, Mercado Libre 등 2000개 이상의 고객에게 서비스를 제공하는 ClickHouse는 AI 시대의 실시간 데이터 플랫폼 구축 과제에 대응하여 차세대 지능형 데이터 제품의 기본 엔진으로 자리매김하고 있습니다.

(clickhouse.com)

기술

ClickHouse의 지연 매터리얼라이제이션: 1500배 속도 향상

2025-04-22

ClickHouse는 "지연 매터리얼라이제이션(Lazy Materialization)"이라는 새로운 최적화 기법을 통해 쿼리 속도를 1500배 향상시켰습니다. 이 기법은 실제로 필요할 때까지 열 데이터 읽기를 지연시킴으로써 불필요한 I/O를 크게 줄입니다. 본 문서에서는 Amazon 고객 리뷰 데이터 세트를 사용하여 지연 매터리얼라이제이션이 열 저장, 희소 기본 인덱스, PREWHERE와 같은 다른 I/O 최적화 기술과 함께 작동하여 쿼리 실행 시간을 219초에서 139밀리초로 단축하는 방법을 자세히 설명합니다. 지연 매터리얼라이제이션은 특히 상위 N개 쿼리에 효과적이며, SQL을 변경하지 않고도 성능을 크게 향상시킵니다.

(clickhouse.com)

기술 지연 매터리얼라이제이션

ClickHouse의 Rust 통합: 도전적인 여정

2025-04-09

원래 C++로 작성된 ClickHouse 데이터베이스는 더 많은 개발자를 유치하고 기능을 확장하기 위해 Rust 통합이라는 여정을 시작했습니다. 이 글에서는 초기 파일럿 프로젝트로 BLAKE3 해시 함수를 선택한 것부터 PRQL 쿼리 언어와 Delta Lake 라이브러리 통합에 이르는 과정을 자세히 설명합니다. 빌드 시스템 통합, 메모리 관리, 에러 처리, 크로스 컴파일 등 여러 가지 과제에 직면했습니다. Rust 라이브러리의 버그, 매우 긴 심볼 이름, C++ 코드와의 상호 운용성 문제 등 몇 가지 문제가 발생했지만, ClickHouse 팀은 이러한 장애물을 극복하고 Rust를 프로젝트에 성공적으로 통합하여 미래 개발의 길을 열었습니다.

(clickhouse.com)

개발