robots.txt封禁引发的LinkedIn文章预览失效及Open Graph协议学习
2025-07-17
博主为了保护博客数据，在robots.txt中禁止所有爬虫访问网站，结果却导致LinkedIn文章预览失效，并减少了文章的曝光度。通过LinkedIn Post Inspector工具，博主发现是robots.txt阻止了LinkedIn爬虫抓取页面元数据（Open Graph协议），从而无法生成预览。修改robots.txt后，问题解决。这次经历让博主学习了Open Graph协议，并强调了全面测试代码更改的重要性。