拼接鸭子和大象的DNA:DuckDB与Postgres扩展的结合

2024-08-18

本文介绍了 pg_duckdb,一个将 DuckDB 分析引擎嵌入 Postgres 的开源 Postgres 扩展,它允许用户在他们喜欢的关系型数据库中进行快速分析查询。Postgres 擅长创建、查找和定位单个行,但在分析查询方面速度较慢,而 DuckDB 是一种进程内 OLAP 数据库,使用矢量化查询引擎来一次处理大块数据,这使得它非常适合回答有关数据分析的问题。pg_duckdb 将 Postgres 和 DuckDB 结合在一起,提供了一个强大的关系型数据库,同时具备出色的分析能力。

阅读更多
未分类

在浏览器中运行数据库会发生什么?

2024-06-22

这篇文章探讨了在浏览器中运行DuckDB数据库的可能性和应用场景。文章首先介绍了WebAssembly(Wasm)技术,它允许像DuckDB这样的高性能应用在浏览器中运行。然后,文章列举了一些DuckDB Wasm的应用案例,例如:在数据湖上进行临时查询、在仪表盘中进行动态查询、以及作为SQL学习的教育工具。文章还展示了一个使用DuckDB Wasm构建的Firefox扩展程序,该程序可以在用户浏览GCP云存储时显示Parquet文件的schema。最后,文章介绍了MotherDuck如何利用DuckDB Wasm提供更流畅的数据查询体验,并展望了未来WebAssembly和DuckDB Wasm的应用前景。

阅读更多
未分类

大数据已死

2024-05-27

这篇博客文章认为大数据时代已经结束。作者Jordan Tigani是谷歌BigQuery的创始工程师之一,他分析了查询日志、交易事后分析、基准测试结果、客户支持票证、客户对话、服务日志和已发布的博客文章,指出大多数人实际上并没有那么多数据,而且随着时间的推移,数据存储需求的增长速度远远快于计算需求的增长速度。作者认为,现代云数据平台的存储和计算分离,以及数据仓库中数据处理技术的进步,使得处理大数据不再是一个难题。

阅读更多
未分类 数据仓库