用YAML和Python构建最简单的语义层

2025-08-20
用YAML和Python构建最简单的语义层

本文介绍了如何使用YAML文件和Python脚本来构建一个简单的语义层,并用其查询2000万条纽约出租车记录。通过这个实践案例,读者可以了解语义层在何时能解决实际问题,何时又显得过于复杂。文章还比较了语义层与传统数据库的区别,并探讨了语义层在数据治理、缓存、安全访问控制和LLM集成方面的优势。

阅读更多
开发 语义层

告别SQL编写中的痛苦:MotherDuck推出Instant SQL

2025-04-24
告别SQL编写中的痛苦:MotherDuck推出Instant SQL

MotherDuck发布了Instant SQL,一种全新的SQL编写方式,它能够在您键入时实时更新结果集,从而加快查询构建和调试速度,无需等待,也无需点击运行按钮。Instant SQL解决了SQL编写过于繁琐和缓慢的问题,它通过实时预览结果、实时调试CTE以及分解复杂的列表达式等功能,极大地提升了开发效率。此外,Instant SQL还支持DuckDB能够查询的所有数据源,并与AI辅助功能无缝集成,提供实时编辑建议。这项技术突破依赖于DuckDB的高性能、AST解析能力、精准的游标映射和智能缓存系统等关键技术的完美结合。

阅读更多
开发 Instant SQL

拼接鸭子和大象的DNA:DuckDB与Postgres扩展的结合

2024-08-18
拼接鸭子和大象的DNA:DuckDB与Postgres扩展的结合

本文介绍了 pg_duckdb,一个将 DuckDB 分析引擎嵌入 Postgres 的开源 Postgres 扩展,它允许用户在他们喜欢的关系型数据库中进行快速分析查询。Postgres 擅长创建、查找和定位单个行,但在分析查询方面速度较慢,而 DuckDB 是一种进程内 OLAP 数据库,使用矢量化查询引擎来一次处理大块数据,这使得它非常适合回答有关数据分析的问题。pg_duckdb 将 Postgres 和 DuckDB 结合在一起,提供了一个强大的关系型数据库,同时具备出色的分析能力。

阅读更多
未分类

在浏览器中运行数据库会发生什么?

2024-06-22
在浏览器中运行数据库会发生什么?

这篇文章探讨了在浏览器中运行DuckDB数据库的可能性和应用场景。文章首先介绍了WebAssembly(Wasm)技术,它允许像DuckDB这样的高性能应用在浏览器中运行。然后,文章列举了一些DuckDB Wasm的应用案例,例如:在数据湖上进行临时查询、在仪表盘中进行动态查询、以及作为SQL学习的教育工具。文章还展示了一个使用DuckDB Wasm构建的Firefox扩展程序,该程序可以在用户浏览GCP云存储时显示Parquet文件的schema。最后,文章介绍了MotherDuck如何利用DuckDB Wasm提供更流畅的数据查询体验,并展望了未来WebAssembly和DuckDB Wasm的应用前景。

阅读更多
未分类

大数据已死

2024-05-27
大数据已死

这篇博客文章认为大数据时代已经结束。作者Jordan Tigani是谷歌BigQuery的创始工程师之一,他分析了查询日志、交易事后分析、基准测试结果、客户支持票证、客户对话、服务日志和已发布的博客文章,指出大多数人实际上并没有那么多数据,而且随着时间的推移,数据存储需求的增长速度远远快于计算需求的增长速度。作者认为,现代云数据平台的存储和计算分离,以及数据仓库中数据处理技术的进步,使得处理大数据不再是一个难题。

阅读更多
未分类 数据仓库