모든 크롤러 차단이 역효과를 낳았습니다: robots.txt 교훈과 Open Graph Protocol 심층 분석

블로그 데이터를 보호하기 위해 작성자는 robots.txt를 통해 모든 크롤러를 차단했지만, 의도치 않게 LinkedIn 게시물 미리보기가 손상되고 도달 범위가 감소했습니다. LinkedIn 게시물 검사기를 통해 robots.txt가 미리보기에 필요한 페이지 메타데이터(Open Graph Protocol)에 대한 LinkedIn 봇의 액세스를 차단했음이 밝혀졌습니다. robots.txt 파일을 수정하여 문제를 해결했습니다. 이 경험을 통해 Open Graph Protocol에 대해 배우고 코드 변경 사항을 철저히 테스트하는 것이 중요함을 알게 되었습니다.