作者在两个月内从零开始构建了一个网页搜索引擎，使用了30亿个SBERT嵌入。该引擎旨在解决现有搜索引擎中SEO垃圾信息过多、相关高质量内容较少的问题，并提高对复杂查询的理解能力。文章详细介绍了构建过程，包括数据抓取、文本规范化、分块、语义上下文处理、嵌入生成、存储和检索等方面，并使用了RocksDB和HNSW等技术。最终的搜索引擎具有500毫秒的查询延迟，能够处理复杂的自然语言查询，并提供高质量的搜索结果。
阅读更多
本文介绍了一个利用4000万条Hacker News帖子和评论的语义嵌入数据，来寻找社区内各领域知识达人的项目。该项目创建了一个语义地图，可以根据用户使用的语言来分析他们的知识和兴趣，并根据主题将用户进行分类。用户可以探索地图，找到与自己兴趣相投的人，并了解他们在社区中的语义身份。
阅读更多
本文作者利用文本嵌入技术，对 Hacker News 上自创建以来的 4 千万篇帖子和评论进行了分析和可视化。作者首先抓取了 Hacker News 的所有帖子和评论数据，并使用 BGE-M3 和 jina-embeddings-v2-small-en 模型生成了文本嵌入。为了提高嵌入的准确性，作者还抓取了帖子链接的网页内容，并提取了文本信息。作者使用 UMAP 将高维嵌入降维到二维空间，并创建了一个交互式地图，可视化了 Hacker News 的主题空间。此外，作者还开发了一个基于嵌入的搜索引擎，可以根据语义相似性检索帖子和评论，并探索了使用嵌入进行情感分析和主题流行度分析的可能性。最后，作者公开了所有数据和代码，鼓励社区进一步探索和利用这些资源。
阅读更多