Tags populares：
Virtualização segurança DNS verificação formal análise de alcance IA erros do compilador conflito de macro extensão web framework de desenvolvimento Gráficos de Bitmap Todos os tags

Índice de Pesquisa Marginalia: Um Aumento Significativo de Desempenho

2025-08-17

O mecanismo de busca Marginalia passou por uma reformulação significativa de seu índice para melhor aproveitar o hardware moderno. Usando árvores B mapeadas na memória e listas de salto baseadas em blocos determinísticos, juntamente com ajustes cuidadosos no tamanho dos blocos e estratégias de E/S, as velocidades de busca foram dramaticamente melhoradas. A postagem detalha as novas estruturas de dados e otimizações de desempenho, explorando as idiossincrasias do desempenho de leitura de SSDs NVMe e como maximizar o desempenho por meio de ajustes no tamanho do bloco e no modo de E/S.

Leia mais
(www.marginalia.nu)
Desenvolvimento

Marginalia: Detecção de Mudanças e Status Online Aprimorada

2025-06-19

A equipe do mecanismo de busca Marginalia implementou um novo sistema, 'ping-process', para detectar o status online do servidor e mudanças significativas no site, incluindo transferências de propriedade e estacionamento de domínio. Usando principalmente solicitações HTTP HEAD e consultas DNS, o sistema analisa detalhes do certificado, postura de segurança e cabeçalhos do servidor para identificar mudanças. Os dados são armazenados em tabelas de 'instantâneo' e 'evento', a primeira contendo informações atuais e a segunda eventos históricos. O sistema superou desafios de agendamento e validação de certificados, mostrando sucesso inicial na identificação de domínios estacionados. Planos futuros incluem o aprimoramento do modelo de detecção de mudanças de propriedade e sua integração em estratégias de rastreamento para maior eficiência.

Leia mais
(www.marginalia.nu)
Desenvolvimento monitoramento de site

Sobrecarga de IA: Um dia no futuro distópico?

2025-05-23

De um despertador de IA a uma academia com medidas de segurança excessivas e um carro constantemente se gabando de seus recursos, o dia do protagonista é dominado pela IA onipresente. Esse futuro aparentemente conveniente está repleto de aborrecimentos sufocantes e violações de privacidade, levando à reflexão sobre o desenvolvimento excessivo da tecnologia de IA e a falta de interação humana.

Leia mais
(www.marginalia.nu)
Tecnologia

Mecanismo de Busca Adiciona Indexação de PDF: Superando os Desafios da Extração de Texto

2025-05-13

O mecanismo de busca recentemente ganhou a capacidade de indexar arquivos PDF, uma façanha mais complexa do que parece. PDFs não são baseados em texto; são gráficos, representando texto como coordenadas de glifo que podem ser rotacionadas, sobrepostas ou desordenadas. Este artigo detalha as melhorias na classe PDFTextStripper do PDFBox. Ao analisar estatisticamente os tamanhos de fonte e o espaçamento entre linhas, ele identifica de forma mais eficaz informações semânticas como títulos e parágrafos. Isso aprimora a precisão e a adequação da extração de texto PDF, permitindo a indexação eficaz do conteúdo PDF.

Leia mais
(www.marginalia.nu)
Desenvolvimento indexação de PDF

Otimização do Rastreador do Mecanismo de Busca: A Cauda Longa de 0,1%

2025-03-27

O rastreador de um mecanismo de busca sempre teve dificuldades para concluir sua tarefa, levando dias para finalizar os domínios restantes. A migração recente para dados de rastreamento reduzida o uso de memória em 80%, aumentando as tarefas de rastreamento. Isso resultou em 99,9% de conclusão em 4 dias, mas os 0,1% restantes levaram uma semana. O problema decorre do tamanho do site seguindo uma distribuição de Pareto, com sites grandes (principalmente acadêmicos com numerosos subdomínios e documentos) e limites do rastreador em tarefas simultâneas por domínio. A ordenação aleatória inicial fez com que sites grandes começassem tarde. A ordenação por contagem de subdomínios levou a um aumento de solicitações para hosts de blogs. A adição de oscilação de atraso de solicitação e o ajuste da ordem de classificação para priorizar sites com mais de 8 subdomínios resolveram parcialmente o problema. No entanto, as limitações inerentes ao modelo de rastreamento em lote exigem otimização adicional.

Leia mais
(www.marginalia.nu)
Desenvolvimento otimização de rastreador

Guia de Startup de IA: Torne-se um Pior Cidadão da Internet

2025-03-22

Este texto satírico detalha as medidas extremas que uma startup de IA toma para obter dados de treinamento. Ignorando robots.txt e falsificando user-agents, eles implacavelmente rastreiam formulários, repositórios Git e até sequestram o Wi-Fi do vizinho. Eles evitam o agrupamento de conexões, se recusam a fechar conexões e deliberadamente descartam pacotes, tudo em nome da velocidade e da aquisição de dados. A história destaca humoristicamente o desprezo imprudente pelas regras e pela ética exibido por algumas startups de IA em sua busca pelo sucesso, resultando, em última análise, em danos à reputação.

Leia mais
(www.marginalia.nu)
Startup