SourceHut, 공격적인 LLM 데이터 스크래핑에 맞서 싸우다
2025-04-15
오픈소스 소프트웨어를 제공하는 플랫폼 SourceHut은 대규모 언어 모델(LLM)의 공격적인 데이터 스크래핑에 적극적으로 대응하고 있습니다. LLM 기업은 사용자 데이터에 대한 권리가 없다고 주장하며, 유료라 할지라도 어떤 기업과도 데이터 공유 계약을 체결하지 않겠다고 명시적으로 밝혔습니다. SourceHut은 서비스 보호를 위해 Anubis를 도입했고, 서비스 이용 약관을 업데이트하여 데이터 스크래핑을 엄격하게 제한하며, 검색 엔진 색인 생성, 오픈 액세스 연구, 아카이빙 등의 용도로만 허용하고 있습니다. 사용자 데이터는 사용자에게 있으며, 해당 데이터가 사용자의 최상의 이익을 위해 사용되도록 보장하는 것이 SourceHut의 책임이라고 강조하고 있습니다. 이는 상업적 목적이나 LLM 모델 훈련에는 사용되지 않습니다.
개발