用YAML和Python构建最简单的语义层
本文介绍了如何使用YAML文件和Python脚本来构建一个简单的语义层,并用其查询2000万条纽约出租车记录。通过这个实践案例,读者可以了解语义层在何时能解决实际问题,何时又显得过于复杂。文章还比较了语义层与传统数据库的区别,并探讨了语义层在数据治理、缓存、安全访问控制和LLM集成方面的优势。
阅读更多
本文介绍了如何使用YAML文件和Python脚本来构建一个简单的语义层,并用其查询2000万条纽约出租车记录。通过这个实践案例,读者可以了解语义层在何时能解决实际问题,何时又显得过于复杂。文章还比较了语义层与传统数据库的区别,并探讨了语义层在数据治理、缓存、安全访问控制和LLM集成方面的优势。
阅读更多
MotherDuck发布了Instant SQL,一种全新的SQL编写方式,它能够在您键入时实时更新结果集,从而加快查询构建和调试速度,无需等待,也无需点击运行按钮。Instant SQL解决了SQL编写过于繁琐和缓慢的问题,它通过实时预览结果、实时调试CTE以及分解复杂的列表达式等功能,极大地提升了开发效率。此外,Instant SQL还支持DuckDB能够查询的所有数据源,并与AI辅助功能无缝集成,提供实时编辑建议。这项技术突破依赖于DuckDB的高性能、AST解析能力、精准的游标映射和智能缓存系统等关键技术的完美结合。
阅读更多
本文介绍了 pg_duckdb,一个将 DuckDB 分析引擎嵌入 Postgres 的开源 Postgres 扩展,它允许用户在他们喜欢的关系型数据库中进行快速分析查询。Postgres 擅长创建、查找和定位单个行,但在分析查询方面速度较慢,而 DuckDB 是一种进程内 OLAP 数据库,使用矢量化查询引擎来一次处理大块数据,这使得它非常适合回答有关数据分析的问题。pg_duckdb 将 Postgres 和 DuckDB 结合在一起,提供了一个强大的关系型数据库,同时具备出色的分析能力。
阅读更多
这篇文章探讨了在浏览器中运行DuckDB数据库的可能性和应用场景。文章首先介绍了WebAssembly(Wasm)技术,它允许像DuckDB这样的高性能应用在浏览器中运行。然后,文章列举了一些DuckDB Wasm的应用案例,例如:在数据湖上进行临时查询、在仪表盘中进行动态查询、以及作为SQL学习的教育工具。文章还展示了一个使用DuckDB Wasm构建的Firefox扩展程序,该程序可以在用户浏览GCP云存储时显示Parquet文件的schema。最后,文章介绍了MotherDuck如何利用DuckDB Wasm提供更流畅的数据查询体验,并展望了未来WebAssembly和DuckDB Wasm的应用前景。
阅读更多