Webtagr - Sumário de Notícias de Tecnologia

Tags populares：

Virtualização segurança DNS verificação formal análise de alcance IA erros do compilador conflito de macro extensão web framework de desenvolvimento Gráficos de Bitmap Todos os tags

Explicando decisões de modelos de linguagem grandes usando valores de Shapley

2024-12-28

Modelos de linguagem grandes (LLMs) oferecem possibilidades empolgantes para simular o comportamento humano, mas seus processos de tomada de decisão carecem de transparência. Este artigo apresenta uma nova abordagem baseada em valores de Shapley para interpretar o comportamento de LLMs e quantificar a contribuição de cada componente de prompt para a saída do modelo. Por meio de dois casos de aplicação, o estudo revela que as decisões de LLM são suscetíveis a "ruído de token", onde o modelo reage desproporcionalmente a tokens com conteúdo informativo mínimo. Isso levanta preocupações sobre a robustez e a generalização de insights de LLMs na simulação de comportamento humano, destacando a necessidade de engenharia cuidadosa de prompts e uma compreensão mais matizada de suas limitações quando usados em pesquisa.

(arxiv.org)

IA Valores de Shapley Explicabilidade

Invariantes: Computação e Aplicações

2024-12-27

Um artigo tutorial publicado nos anais do ISSAC 2023 explora a computação e as aplicações de invariantes na matemática. O artigo concentra-se na interação entre as teorias de invariantes diferenciais e algébricas, apresentando uma adaptação algébrica do método da estrutura móvel da geometria diferencial para calcular um conjunto gerador de invariantes racionais. Também discute o papel das assinaturas de invariantes diferenciais na resolução de problemas de equivalência em geometria e álgebra, e os desafios no projeto de algoritmos baseados neste conceito.

(arxiv.org)

Desenvolvimento invariantes geometria diferencial

Políticas Adversárias Derrotam IAs de Go Superhumanas

2024-12-24

Pesquisadores alcançaram uma taxa de vitória superior a 97% contra o KataGo, um sistema de IA de Go de última geração, treinando políticas adversárias. Esses adversários não venceram jogando Go bem, mas enganando o KataGo para que cometesse erros críticos. O ataque foi transferido sem treinamento para outras IAs de Go super-humanas e foi simples o suficiente para especialistas humanos replicarem sem assistência algorítmica. A vulnerabilidade persistiu mesmo depois que o KataGo foi treinado adversarialmente para se defender contra ela, destacando modos de falha surpreendentes mesmo em sistemas de IA super-humanos.

(arxiv.org)

IA políticas adversárias vulnerabilidades de IA IA de Go

Evidências de Supernovas Sugerem Mudança Fundamental em Modelos Cosmológicos

2024-12-23

Um novo estudo apresenta uma análise estatística independente do modelo cosmológico do conjunto de dados espectroscópicos de supernovas do Tipo Ia Pantheon+, melhorando a metodologia padrão usada por Lane et al. Ao empregar apenas a equação de Tripp para a padronização de supernovas, o estudo evita potenciais correlações nas distribuições de alongamento e cor. Os resultados favorecem fortemente a cosmologia 'Timescape' sobre o modelo ΛCDM padrão na explicação dos dados, fornecendo evidências para a necessidade de rever os fundamentos da cosmologia teórica e observacional. Mesmo restringindo a amostra a redshifts além das escalas convencionais de homogeneidade estatística (z > 0,075), Timescape permanece preferido sobre ΛCDM.

(arxiv.org)

Tecnologia Cosmologia Supernovas Cosmologia Timescape

Aprendizado por Reforço Offline Melhora o Raciocínio em Múltiplas Etapas de LLMs

2024-12-23

Pesquisadores apresentam OREO, um método de aprendizado por reforço offline projetado para aprimorar as capacidades de raciocínio em múltiplas etapas de modelos de linguagem grandes (LLMs). Baseado no aprendizado por reforço de entropia máxima, OREO aprende conjuntamente um modelo de política e uma função de valor otimizando a equação de Bellman suave. Isso resolve as limitações da Otimização Direta de Preferências (DPO) no raciocínio em múltiplas etapas, especificamente a necessidade de dados de preferência pareados extensos e o desafio da atribuição de crédito eficaz. Experimentos demonstram a superioridade do OREO sobre os métodos de aprendizado offline existentes em benchmarks envolvendo raciocínio matemático e controle de agente incorporado.

(arxiv.org)

IA Raciocínio em Múltiplas Etapas

Problema de Tokenização Provado como NP-Completo, Dobrando os Desafios de Compressão de Dados

2024-12-22

Um artigo publicado no arXiv prova a completude NP de duas variantes de tokenização, definida como o problema de comprimir um conjunto de dados para no máximo δ símbolos, encontrando um vocabulário diretamente (tokenização direta) ou selecionando uma sequência de operações de mesclagem (tokenização bottom-up). Essa descoberta tem implicações significativas para a compressão de dados e o processamento de linguagem natural, destacando o imenso desafio de resolver eficientemente o problema de tokenização para conjuntos de dados em larga escala.

(arxiv.org)

Desenvolvimento NP-completo tokenização compressão de dados

Avanço inovador: Compilando C para Rust com segurança

2024-12-21

Pesquisadores desenvolveram um novo método para compilar código C para Rust com segurança. Essa técnica utiliza análise estática e tradução orientada a tipos para evitar a dependência de blocos `unsafe` do Rust, garantindo assim a segurança de memória. O método foi aplicado com sucesso a códigos da biblioteca criptográfica HACL* e das bibliotecas EverParse, resultando em uma biblioteca criptográfica moderna verificada de 80.000 linhas em Rust puro — a primeira do tipo.

(arxiv.org)

Desenvolvimento Compilação C Segurança de memória

Classificação de Segurança Leve Usando Modelos de Linguagem Podados

2024-12-19

Pesquisadores apresentam a Classificação Aprimorada por Camada (LEC), uma nova técnica leve para classificação de segurança de conteúdo e injeção de prompt em Modelos de Linguagem Grandes (LLMs). LEC treina um classificador de Regressão Logística Penalizada (PLR) otimizado no estado oculto da camada transformadora intermediária ideal de um LLM. Combinando a eficiência do PLR com a compreensão sofisticada da linguagem dos LLMs, o LEC supera o GPT-4o e modelos especializados. Modelos de uso geral pequenos, como o Qwen 2.5, e arquiteturas como DeBERTa v3, se mostram robustos extratores de recursos, treinando efetivamente com menos de 100 exemplos de alta qualidade. É crucial que as camadas transformadoras intermediárias geralmente superem a camada final. Um único LLM de uso geral pode classificar a segurança do conteúdo, detectar injeções de prompt e gerar saída, ou LLMs menores podem ser podados para sua camada intermediária ideal para extração de recursos. Resultados consistentes em diferentes arquiteturas sugerem que a extração robusta de recursos é inerente a muitos LLMs.

(arxiv.org)

IA Classificação de Segurança Extração de Recursos

Algoritmos de Ordenação Clássicos Revelam Competências Inesperadas em um Modelo Minimal de Inteligência Basal

2024-12-19

Um novo estudo utiliza algoritmos de ordenação clássicos como modelo de morfogênese, desafiando a sabedoria convencional sobre esses algoritmos. Ao quebrar as suposições de controle de cima para baixo e hardware perfeitamente confiável, os pesquisadores descobriram que matrizes de elementos autônomos se ordenam de forma mais confiável e robusta do que as implementações tradicionais, mesmo na presença de erros. Surpreendentemente, esses algoritmos exibem a capacidade de reduzir temporariamente o progresso para navegar em torno de defeitos e comportamento de agrupamento inesperado entre elementos em matrizes quiméricas seguindo algoritmos diferentes. Essa descoberta fornece uma nova perspectiva sobre a inteligência diversa, demonstrando como formas basais de inteligência podem surgir em sistemas simples sem codificação explícita em sua mecânica subjacente.

(arxiv.org)

IA inteligência diversa morfogênese algoritmos de ordenação

Evolução Cultural da Cooperação entre Agentes de LLMs

2024-12-18

Pesquisadores examinaram se uma 'sociedade' de agentes de Modelos de Linguagem Grandes (LLMs) pode aprender normas sociais mutuamente benéficas, mesmo com incentivos para defeitar. Experimentos revelaram diferenças significativas na evolução da cooperação entre modelos base, com o Claude 3.5 Sonnet superando significativamente o Gemini 1.5 Flash e o GPT-4o. Além disso, o Claude 3.5 Sonnet utilizou um mecanismo de punição custoso para alcançar pontuações ainda mais altas, um feito não replicado pelos outros modelos. Este estudo propõe um novo benchmark para LLMs focado nas implicações sociais da implantação de agentes LLM, oferecendo insights para a construção de agentes de IA mais robustos e cooperativos.

(arxiv.org)

IA Cooperação Normas Sociais

Sem Mais Adam: Escalonamento da Taxa de Aprendizagem na Inicialização é Tudo o que Você Precisa

2024-12-18

Pesquisadores apresentam SGD-SaI, um novo otimizador que aprimora o método de descida de gradiente estocástico. O SGD-SaI aborda desequilíbrios de treinamento por meio do escalonamento da taxa de aprendizagem na inicialização para diferentes grupos de parâmetros, com base em suas relações sinal-ruído de gradiente. Muito mais eficiente em termos de memória do que o AdamW, o SGD-SaI iguala ou supera o desempenho do AdamW em várias tarefas baseadas em Transformer, incluindo classificação ImageNet e pré-treinamento de LLMs. Sua robustez e praticidade são demonstradas em diversos aplicativos, tornando-o uma alternativa convincente.

(arxiv.org)

IA

Ataque Best-of-N: Quebrando Sistemas de IA

2024-12-15

Pesquisadores desenvolveram um novo algoritmo de ataque de IA chamado Best-of-N (BoN). Este algoritmo de caixa-preta modifica repetidamente prompts — embaralhando aleatoriamente ou colocando em maiúsculas texto, por exemplo — até obter uma resposta prejudicial do sistema de IA. O BoN atingiu taxas de sucesso de ataque (ASRs) impressionantemente altas em modelos de linguagem de código fechado, como GPT-4o (89%) e Claude 3.5 Sonnet (78%), contornando efetivamente as defesas existentes. Além disso, o BoN se estende perfeitamente a modelos de linguagem visual e de áudio, destacando a vulnerabilidade de até mesmo sistemas de IA avançados a variações de entrada aparentemente inócuas. Esta pesquisa destaca preocupações significativas de segurança no campo da IA.

(arxiv.org)

IA Segurança de IA Ataque de IA

Fábrica Automática de Insetos Ciborgues: Sistema de Montagem Automática para Construir Robôs Híbridos Inseto-Computador

2024-12-15

Pesquisadores desenvolveram um sistema automatizado para montar robôs híbridos inseto-computador. O sistema utiliza um braço robótico guiado por visão para implantar com precisão eletrodos bipolares personalizados nas costas de baratas-de-Madagascar. Todo o processo leva apenas 68 segundos, e os robôs montados alcançam controle de direção e desaceleração comparável aos sistemas montados manualmente. Um sistema multiagente de 4 robôs navegou com sucesso um percurso com obstáculos, demonstrando a viabilidade de produção em massa e aplicações no mundo real. Esta pesquisa prepara o caminho para a produção e implantação em escala de robôs insetos.

(arxiv.org)

IA robôs insetos montagem automatizada robótica

CCxTrust: Plataforma de Computação Confidencial Baseada em TEE e TPM com Confiança Colaborativa

2024-12-12

O CCxTrust é uma plataforma inovadora de computação confidencial que combina as vantagens dos Ambientes de Execução Confiáveis (TEEs) e dos Módulos de Plataforma Confiáveis (TPMs) para estabelecer uma estrutura de confiança colaborativa. Aproveitando a RoT de caixa-preta incorporada aos TEEs de CPU e a RoT de caixa-branca flexível dos TPMs, o CCxTrust alcança a proteção de ponta a ponta de dados e modelos sensíveis, superando as limitações de depender de uma única RoT de hardware. A plataforma implementa Roots of Trust for Measurement (RTM) independentes e um Root of Trust for Report (RTR) colaborativo, aprimorado por um protocolo de atestação composta para segurança e eficiência melhoradas. Os resultados experimentais demonstram vantagens significativas de desempenho.

(arxiv.org)

IA Computação Confidencial Ambiente de Execução Confiável Módulo de Plataforma Confiável

Análise de Alcance do Sistema de Nomes de Domínio Avança

2024-12-12

Pesquisadores apresentaram o primeiro procedimento de decisão para verificar o Sistema de Nomes de Domínio (DNS), estabelecendo sua complexidade como 2ExpTime. O estudo formaliza a semântica do DNS e usa uma nova abstração baseada em linguagens positivamente testáveis por prefixo, reduzindo o problema de verificação do DNS ao problema de verificação para sistemas pushdown. Essa abordagem modela efetivamente vetores de ataque no DNS, como ataques de amplificação e blackholing de reescrita, fornecendo uma nova base teórica para garantir a segurança e confiabilidade do DNS.

(arxiv.org)

Desenvolvimento segurança DNS verificação formal análise de alcance

← Previous 1 2 3 4 5 6 7 8 9 10 Next →