Marginalia 검색 엔진: 온라인 상태 및 소유권 변경 감지 개선
2025-06-19
Marginalia 검색 엔진 팀은 서버의 온라인 상태와 소유권 이전 및 도메인 파킹을 포함한 중요한 웹사이트 변경 사항을 감지하기 위한 새로운 시스템인 'ping-process'를 구현했습니다. 주로 HTTP HEAD 요청과 DNS 쿼리를 사용하여 인증서 세부 정보, 보안 상태, 서버 헤더를 분석하고 변경 사항을 식별합니다. 데이터는 '스냅샷' 테이블과 '이벤트' 테이블에 저장되며, 전자는 현재 정보를, 후자는 이력 이벤트를 보유합니다. 이 시스템은 스케줄링 및 인증서 검증 문제를 극복했으며, 파킹된 도메인 식별에서 초기 성공을 거두었습니다. 향후 계획에는 소유권 변경 감지 모델 개선 및 효율 향상을 위한 크롤러 전략 통합이 포함됩니다.