Webtagr - Sumário de Notícias de Tecnologia

A Abordagem da Apple para Melhoria da IA com Preservação da Privacidade

2025-04-14

A Apple está comprometida com a privacidade do usuário, mesmo ao melhorar seus recursos de IA, como Genmoji, ferramentas de geração de imagens e ferramentas de escrita. Eles empregam privacidade diferencial, anonimizando dados do usuário para coletar apenas informações de tendência agregadas, como prompts populares do Genmoji. Para recursos de IA que manipulam textos mais longos, como e-mails, a Apple usa dados sintéticos. Isso gera dados sintéticos que imitam padrões de dados de usuários reais para treinamento e teste de modelos sem acessar o conteúdo real do e-mail. Isso permite que a Apple aprimore as experiências do produto, garantindo que a privacidade do usuário permaneça primordial.

Nova descoberta da Apple em IA: Controle preciso de modelos generativos com Transporte de Ativação (AcT)

2025-04-10

Pesquisadores de aprendizado de máquina da Apple desenvolveram o Transporte de Ativação (AcT), uma nova técnica que oferece controle preciso sobre grandes modelos generativos, incluindo LLMs e modelos de difusão de texto para imagem, sem o treinamento dispendioso de RLHF ou ajuste fino. O AcT direciona as ativações do modelo usando a teoria de transporte ótimo, alcançando controle agnóstico de modalidade com sobrecarga computacional mínima. Experimentos demonstram melhorias significativas na mitigação de toxicidade, indução de veracidade em LLMs e controle de estilo na geração de imagens. O AcT abre caminho para modelos generativos mais seguros e confiáveis.

SeedLM: Um Novo Método de Compressão de Pesos LLM Usando Geradores de Números Pseudo-Aleatórios

2025-04-06

Os grandes modelos de linguagem (LLMs) são prejudicados por altos custos de tempo de execução, limitando sua implantação generalizada. Pesquisadores do Meta introduzem o SeedLM, um novo método de compressão pós-treinamento que usa sementes de um gerador de números pseudo-aleatórios para codificar e comprimir pesos de modelos. Durante a inferência, o SeedLM usa um Registro de Deslocamento de Realimentação Linear (LFSR) para gerar eficientemente uma matriz aleatória, combinada linearmente com coeficientes comprimidos para reconstruir blocos de pesos. Isso reduz o acesso à memória e aproveita ciclos de computação ociosos, acelerando tarefas limitadas por memória trocando computação por menos acessos à memória. Ao contrário dos métodos de última geração que exigem dados de calibração, o SeedLM não precisa de dados e generaliza bem em diversas tarefas. Experimentos no desafiador Llama 3 70B mostram precisão de zero-shot em compressão de 4 e 3 bits igualando ou excedendo os métodos de última geração, mantendo desempenho comparável aos benchmarks FP16. Testes em FPGA demonstram que o SeedLM de 4 bits se aproxima de uma aceleração de 4x em relação a um benchmark FP16 Llama 2/3 à medida que o tamanho do modelo aumenta.

A Abordagem da Apple para Melhoria da IA ​​com Preservação da Privacidade

Nova descoberta da Apple em IA: Controle preciso de modelos generativos com Transporte de Ativação (AcT)

SeedLM: Um Novo Método de Compressão de Pesos LLM Usando Geradores de Números Pseudo-Aleatórios

A Abordagem da Apple para Melhoria da IA com Preservação da Privacidade