Das Blockieren aller Crawler hatte unerwartete Folgen: Eine Lektion über robots.txt und ein tiefer Einblick in das Open Graph Protocol

Um Blog-Daten zu schützen, blockierte der Autor alle Crawler über robots.txt, was unbeabsichtigt dazu führte, dass Vorschauen von LinkedIn-Posts kaputt gingen und die Reichweite reduziert wurde. Der LinkedIn Post Inspector zeigte, dass robots.txt den LinkedIn-Bot daran hinderte, auf die Seiten-Metadaten (Open Graph Protocol) zuzugreifen, die für die Vorschauen benötigt werden. Das Beheben der robots.txt-Datei löste das Problem. Diese Erfahrung führte zum Lernen des Open Graph Protocols und betonte die Wichtigkeit, Codeänderungen gründlich zu testen.