Webtagr - Sumário de Notícias de Tecnologia

A Conquista de Tarefas de US$ 200 pela IA: Um Relatório de Progresso

2025-02-01

O autor relata ter encomendado um design de mascote de US$ 200 em 2013, ilustrando o tipo de tarefas agora realizáveis pela IA. A IA se destaca em tarefas transacionais com resultados bem definidos, como design de logotipo, transcrição e tradução, que antes exigiam habilidades especializadas. No entanto, tarefas mais complexas que exigem conhecimento especializado e julgamento, como design de paisagens, permanecem além das capacidades atuais da IA. Embora o progresso da IA seja impressionante, seu impacto econômico na resolução de tarefas pagas ainda está em seus estágios iniciais.

(blog.ninlabs.com)

IA Automação de Tarefas

OpenAI lança o o3-mini: Um LLM poderoso e econômico

2025-02-01

A OpenAI lançou o novo modelo de linguagem o3-mini, que se destaca no benchmark de programação competitiva Codeforces, superando significativamente o GPT-4o e o o1. Embora não seja superior em todos os aspectos, seu baixo preço (US$ 1,10/milhão de tokens de entrada, US$ 4,40/milhão de tokens de saída) e o limite de saída de tokens excepcionalmente alto (100.000 tokens) o tornam altamente competitivo. A OpenAI planeja integrá-lo ao ChatGPT para pesquisa na web e resumo, e o suporte já está disponível no LLM 0.21, mas atualmente limitado a usuários do Tier 3 (pelo menos US$ 100 gastos na API). O o3-mini oferece aos desenvolvedores uma opção de LLM poderosa e econômica.

(simonwillison.net)

IA

Geração de Música com IA: Conveniência vs. Criatividade

2025-01-31

O sucesso da empresa de música com IA, Suno, gera reflexões sobre o papel da IA na criação artística. O autor, professor da Universidade de Stanford, questiona a afirmação da Suno de que a IA pode facilmente resolver as partes tediosas da criação musical, argumentando que os desafios e dificuldades inerentes ao processo criativo constituem o significado e o valor da arte. Usando suas próprias experiências e práticas de ensino como exemplos, ele ilustra a importância do processo criativo e apela para a preservação da criação ativa humana na era da IA, evitando uma cultura puramente consumista.

(hai.stanford.edu)

IA IA e arte criação musical

Diagramas de Tensores Simplificam a Manipulação de Tensores: Apresentando a Biblioteca Tensorgrad

2025-01-31

A manipulação de tensores de alta dimensionalidade pode ser confusa? Um novo livro, "The Tensor Cookbook", simplifica esse processo usando diagramas de tensores. Os diagramas de tensores são mais intuitivos do que a notação de índice tradicional (einsum), revelando facilmente padrões e simetrias, evitando o incômodo da vetorização e produtos de Kronecker, simplificando o cálculo matricial e representando sem esforço funções e transmissão. A biblioteca Python associada, Tensorgrad, usa diagramas de tensores para manipulação e diferenciação de tensores simbólicos, tornando os cálculos complexos mais fáceis de entender.

(tensorcookbook.com)

IA diagramas de tensores

OpenAI lança modelo de raciocínio mais barato e rápido: o3-mini

2025-01-31

A OpenAI revelou o o3-mini, um novo modelo de raciocínio de IA em sua família 'o'. Embora tenha capacidade comparável à família o1, o o3-mini oferece velocidades mais rápidas e custos mais baixos. Ajustado para problemas STEM, particularmente programação, matemática e ciência, ele está disponível no ChatGPT com configurações de 'esforço de raciocínio' ajustáveis, equilibrando velocidade e precisão. Usuários pagos têm acesso ilimitado, enquanto usuários gratuitos têm um limite de consultas. Também acessível por meio da API da OpenAI para desenvolvedores selecionados, o o3-mini oferece preços competitivos e segurança aprimorada, embora não supere o modelo R1 da DeepSeek em todos os benchmarks.

(techcrunch.com)

IA

DeepSeek: Um Cavalo Negro da IA Chinesa Emerge

2025-01-31

A DeepSeek, uma empresa de IA incubada pelo fundo de hedge chinês High-Flyer, tomou o mundo de assalto com seus modelos altamente eficientes, DeepSeek V3 e R1. O DeepSeek V3 possui baixos custos de treinamento (significativamente mais altos do que os divulgados US$ 6 milhões) e desempenho poderoso, juntamente com a inovadora tecnologia Multi-head Latent Attention, resultando em vantagens substanciais nos custos de inferência. Embora o sucesso da DeepSeek esteja ligado ao seu grande investimento em GPUs (cerca de 50.000 GPUs Hopper) e ênfase em talentos, sua estratégia de baixo preço levanta questões sobre a sustentabilidade de custos. O Google Gemini Flash 2.0 Thinking também apresenta um desafio à posição de liderança da DeepSeek. A ascensão da DeepSeek reflete o crescimento da força da tecnologia de IA chinesa, ao mesmo tempo em que promove a reflexão sobre a competição tecnológica internacional e os controles de exportação.

(semianalysis.com)

IA IA chinesa

Treine seu próprio modelo de imagem de IA em menos de 2 horas

2025-01-31

O autor treinou um modelo de imagem de IA personalizado em menos de duas horas para gerar imagens de si mesmo em vários estilos, como uma versão Super-Homem. Isso foi alcançado usando o modelo Flux e a técnica de treinamento LoRA, aproveitando o serviço de nuvem de GPU fácil de usar do Replicate e ferramentas predefinidas. Com apenas algumas fotos pessoais e o Hugging Face para armazenamento de modelos, o processo foi surpreendentemente simples. Os resultados variaram, mas foram divertidos o suficiente para justificar o baixo custo (menos de US$ 10).

(www.coryzue.com)

IA

RamaLama: Executando modelos de IA tão facilmente quanto o Docker

2025-01-31

RamaLama é uma ferramenta de linha de comando projetada para simplificar a execução e a administração local de modelos de IA. Aproveitando a tecnologia de contêineres OCI, ela detecta automaticamente o suporte de GPU e extrai modelos de registros como Hugging Face e Ollama. Os usuários evitam configurações de sistema complexas; comandos simples executam chatbots ou APIs REST. RamaLama suporta Podman e Docker, oferecendo aliases de modelos convenientes para maior usabilidade.

(github.com)

IA containerização

DeepSeek R1: Modelo de código aberto desafia a OpenAI em raciocínio complexo

2025-01-31

O DeepSeek R1, um modelo de código aberto, está desafiando os modelos da OpenAI em tarefas de raciocínio complexo. Usando a Otimização de Política Relativa de Grupo (GRPO) e uma abordagem de treinamento de múltiplas etapas focada em aprendizado por reforço, os criadores lançaram não apenas o modelo, mas também um artigo de pesquisa detalhando seu desenvolvimento. O artigo descreve um "momento de epifania" durante o treinamento, onde o modelo aprendeu a alocar mais tempo de pensamento para um problema reavaliando sua abordagem inicial, sem feedback humano. Este post de blog recria esse "momento de epifania" usando GRPO e o jogo Countdown, treinando um modelo aberto para aprender habilidades de autoverificação e pesquisa. Um código interativo do Jupyter Notebook, juntamente com scripts e instruções para treinamento distribuído em nós multi-GPU ou clusters SLURM, é fornecido para facilitar o aprendizado de GRPO e TRL.

(www.philschmid.de)

IA

Guild de Autores Lança Certificação 'Autoria Humana' para Combater Livros Gerados por IA

2025-01-31

Em resposta ao aumento de livros gerados por IA em plataformas como a Amazon, a Authors Guild lançou uma certificação 'Autoria Humana'. Esta iniciativa visa fornecer aos leitores clareza sobre a autoria, distinguindo livros escritos por humanos de conteúdo gerado por IA. Atualmente limitada a membros da Guild e livros de um único autor, a certificação será expandida para incluir não membros e autores múltiplos no futuro. Embora assistências menores de IA, como verificações gramaticais, sejam permitidas, a certificação enfatiza que a expressão literária principal deve ser de origem humana. A Guild enquadra isso não como anti-tecnologia, mas como um impulso para a transparência e o reconhecimento do elemento humano único na narrativa.

(www.theverge.com)

IA

Os Teoremas da Incompletude de Gödel e o Futuro da Computação: Um Faroeste Matemático

2025-01-30

Este poema, com o estilo de um faroeste, narra eventos-chave da história da matemática, desde os paradoxos da teoria dos conjuntos até a prova dos teoremas da incompletude de Gödel, o advento das máquinas de Turing e da arquitetura de von Neumann, e finalmente o problema P versus NP. Usando metáforas vívidas e uma abordagem altamente narrativa, ele retrata os desafios e conquistas dos matemáticos em sua busca pela verdade e o impacto dos avanços tecnológicos na sociedade humana. Os teoremas da incompletude de Gödel, como uma mina terrestre enterrada no campo da computação, sugerem as limitações da computação e levam à reflexão sobre a direção futura da inteligência artificial.

(taylor.town)

IA Teoremas da Incompletude de Gödel Teoria da Computação

Mistral Small 3: Modelo de 24B de Parâmetros de Código Aberto, Otimizado para Velocidade

2025-01-30

A Mistral AI lançou o Mistral Small 3, um modelo de 24 bilhões de parâmetros otimizado para velocidade e desempenho, sob a licença Apache 2.0. Superando modelos maiores como Llama 3.3 70B e Qwen 32B em mais de 3x em velocidade, enquanto alcança mais de 81% de precisão no MMLU, é ideal para tarefas de IA generativa que exigem tempos de resposta rápidos. Executável em uma única RTX 4090 ou um Macbook com 32 GB de RAM, o Mistral Small 3 está disponível no Hugging Face e em outras plataformas, capacitando desenvolvedores com uma ferramenta de código aberto poderosa e acessível.

(mistral.ai)

IA

O Vaticano se Pronuncia: IA, Dignidade Humana e o Bem Comum

2025-01-30

Um relatório conjunto do Dicastério para a Doutrina da Fé e do Dicastério para a Cultura e Educação do Vaticano explora os desafios e oportunidades apresentados pela Inteligência Artificial (IA). Reconhecendo a notável capacidade da IA de imitar certos aspectos da inteligência humana, o relatório enfatiza as diferenças fundamentais entre IA e inteligência humana. A inteligência humana, argumenta-se, é holística, englobando razão, emoção, encarnação e relacionalidade — dimensões ausentes nos sistemas de IA atuais. O relatório destaca que o desenvolvimento e o uso da IA devem defender a dignidade humana e promover o desenvolvimento humano integral, alertando contra aplicações que possam levar à discriminação, manipulação ou perturbação social. Apela-se à responsabilidade, transparência e responsabilização na IA, garantindo que sirva ao bem comum.

(www.vatican.va)

IA Ética da IA Dignidade Humana Tecnologia e Religião

Impressionante! Modelo de IA para pintura agora pode 'ler sua mente'?!

2025-01-30

Recentemente, um modelo de IA para pintura chamado Midjourney gerou discussões acaloradas. Ele não apenas pinta a partir de palavras-chave simples; ele entende as intenções mais profundas do usuário, captando até mesmo pensamentos subconscientes para gerar obras de arte de tirar o fôlego. Esse avanço tecnológico representa um progresso significativo na capacidade da IA de entender emoções e pensamentos humanos, potencialmente revolucionando a criação artística e o design no futuro.

(mina86.com)

IA

Escritório de Direitos Autorais dos EUA: Obras Auxiliadas por IA Podem Ser Registradas

2025-01-30

O Escritório de Direitos Autorais dos EUA publicou um relatório esclarecendo os direitos autorais de obras auxiliadas por IA. O relatório afirma que obras auxiliadas por IA podem ser registradas se a criatividade humana for central à autoria da obra. Isso significa que a adaptação humana de saída gerada por IA com "arranjos ou modificações criativas" é protegível. No entanto, obras totalmente geradas por máquina não receberão proteção de direitos autorais. O relatório segue uma revisão envolvendo milhares de partes interessadas e aborda uma crescente necessidade de clareza no campo. Um relatório futuro abordará o uso de material protegido por direitos autorais no treinamento de modelos de IA.

(apnews.com)

IA Direitos Autorais de IA Lei de Direitos Autorais

A Ascensão do DeepSeek: Os Controles de Exportação de Chips de IA dos EUA Estão Funcionando?

2025-01-30

O CEO da Anthropic, Dario Amodei, comentou sobre as implicações do sucesso da empresa chinesa de IA DeepSeek nos controles de exportação de chips de IA dos EUA. Ele argumenta que, embora a DeepSeek tenha feito progressos na relação custo-benefício, ainda está atrás dos modelos americanos, sugerindo que os controles estão funcionando. Ele prevê que o futuro depende das políticas de exportação do governo Trump: o fortalecimento dos controles pode manter a liderança dos EUA, enquanto o relaxamento deles pode permitir que a China ganhe vantagem em aplicações militares de IA.

(techcrunch.com)

IA controles de exportação de chips de IA concorrência de IA entre EUA e China

Filtro de Informação Expandido: Ensinando Agentes de IA a Chutar com Mais Inteligência

2025-01-29

Este artigo explora o Filtro de Informação Expandido (EIF), um algoritmo avançado para lidar com incerteza em sistemas não lineares. O EIF utiliza distribuições Gaussianas, empregando matrizes e vetores de informação em vez de médias e covariâncias para representar a incerteza, resultando em ganhos de eficiência ao lidar com sistemas grandes e esparsos. Em comparação com o Filtro de Kalman Expandido (EKF), o EIF oferece maior estabilidade numérica, especialmente com matrizes de informação esparsas. O artigo detalha distribuições Gaussianas, matrizes de informação, vetores de informação, filtros de Kalman, filtros de informação e o funcionamento do EIF, comparando suas vantagens e desvantagens. Por fim, destaca o papel do EIF na construção de agentes de raciocínio capazes de lidar com dados de sensores ruidosos em aplicações do mundo real, como veículos autônomos, drones e robôs.

(jdsemrau.substack.com)

IA Filtro de Informação Expandido Filtragem Gaussiana

DeepSeek R1 disponível no Azure AI Foundry e GitHub

2025-01-29

A Microsoft anunciou que o modelo DeepSeek R1 agora está disponível no Azure AI Foundry e GitHub. Juntando-se a um portfólio diversificado de mais de 1800 modelos, o DeepSeek R1 oferece uma solução de IA poderosa e econômica, permitindo a integração perfeita de IA avançada para empresas. Rigorosamente testado para segurança e com filtragem de segurança de conteúdo integrada, o DeepSeek R1 fornece um ambiente seguro e confiável para implantação de IA. O Azure AI Foundry permite que os desenvolvedores experimentem, iterem e integrem IA em seus fluxos de trabalho rapidamente, com ferramentas de avaliação de modelos integradas para maior eficiência.

(azure.microsoft.com)

IA Modelo de IA

Qwen2.5-Max da Alibaba desafia gigantes de tecnologia dos EUA e redefine a IA empresarial

2025-01-29

A Alibaba Cloud revelou hoje seu modelo Qwen2.5-Max, marcando o segundo grande avanço em inteligência artificial da China em menos de uma semana, abalando ainda mais os mercados de tecnologia dos EUA e intensificando as preocupações sobre a liderança em IA da América. O novo modelo supera o modelo R1 da DeepSeek em vários benchmarks-chave, incluindo Arena-Hard, LiveBench e LiveCodeBench. O Qwen2.5-Max também demonstra resultados competitivos contra líderes do setor, como GPT-4o e Claude-3.5-Sonnet, em testes de raciocínio e conhecimento avançados. Sua arquitetura de mistura de especialistas permite uma eficiência computacional significativa, tendo sido treinado em mais de 20 trilhões de tokens, mas usando muito menos recursos do que as abordagens tradicionais. Essa eficiência pode remodelar as estratégias de IA empresarial, reduzindo potencialmente os custos de infraestrutura em 40% a 60%. No entanto, questões sobre soberania de dados, confiabilidade da API e suporte a longo prazo permanecem cruciais para a adoção empresarial.

(venturebeat.com)

IA IA Empresarial

Tecnologia de Desaprendizagem de Viés da Hirundo Reduz Viés do Modelo DeepSeek-R1 em até 76%

2025-01-29

A Hirundo reduziu com sucesso o viés no modelo de linguagem amplo DeepSeek-R1-Distill-Llama-8B usando sua nova tecnologia de desaprendizagem de viés. Embora o DeepSeek-R1 se destaque em tarefas de raciocínio, ele exibiu viés significativo relacionado a raça, nacionalidade e gênero. O método da Hirundo alcançou uma redução de viés de até 76% em todas as categorias sem afetar o desempenho do modelo, demonstrando uma prova de conceito robusta para implantação de IA mais segura. Essa tecnologia estará disponível em breve na plataforma da Hirundo, e o modelo com viés desaprendido foi lançado no Hugging Face.

(www.hirundo.io)

IA Mitigação de Viés

R1-Zero da DeepSeek: Um caminho para AGI sem anotação humana?

2025-01-29

A DeepSeek lançou os sistemas de raciocínio R1-Zero e R1, obtendo pontuações comparáveis ao sistema o1 da OpenAI (15-20%) no benchmark ARC-AGI-1, superando significativamente os 5% do GPT-4o, que se baseia apenas na escala de LLMs. O R1-Zero é particularmente notável por sua dependência exclusiva de aprendizado por reforço, eliminando a necessidade de ajuste fino supervisionado (SFT). Embora o R1-Zero apresente alguns desafios em termos de legibilidade e mistura de idiomas, seu forte desempenho em matemática e codificação demonstra raciocínio preciso em cadeia de pensamentos sem SFT. Isso abre novas vias na pesquisa de AGI, sugerindo um futuro em que o treinamento de AGI pode dispensar completamente a anotação humana.

(arcprize.org)

IA Cadeia de Pensamentos

Executando o LLM DeepSeek R1 Localmente com Ollama

2025-01-29

DeepSeek R1, um LLM de código aberto que se destaca em IA conversacional, codificação e resolução de problemas, agora pode ser executado localmente. Este guia detalha o uso do Ollama, uma plataforma que simplifica a implantação de LLMs, para executar o DeepSeek R1 em macOS, Windows e Linux. Ele abrange a instalação do Ollama, a extração do modelo DeepSeek R1 (incluindo variantes menores e destiladas) e a interação com o modelo por meio da linha de comando. A execução local garante a privacidade dos dados e respostas mais rápidas. O artigo também explora dicas práticas, incluindo automação de linha de comando e integração de IDE, e discute os benefícios dos modelos destilados para usuários com hardware menos potente.

(workos.com)

IA Implantação Local

DeepSeek x ChatGPT: O Desafiante de Código Aberto

2025-01-29

DeepSeek, um modelo de IA gratuito e de código aberto desenvolvido na China, está desafiando a dominância do ChatGPT. Construído com base na arquitetura Mixture of Experts (MoE), o DeepSeek se destaca na codificação, pesquisa científica e educação, oferecendo eficiência e precisão superiores nessas áreas. O ChatGPT, por outro lado, brilha na escrita criativa, IA conversacional e suporte multilíngue. O artigo compara os dois, sugerindo que os usuários escolham com base em suas necessidades — ou até mesmo utilizem ambos para complementar seus pontos fortes. O surgimento do DeepSeek gerou preocupações sobre a concorrência de IA, com o próprio Presidente Trump reconhecendo a ameaça potencial.

(www.sigmabrowser.com)

IA

DeepSeek e Controles de Exportação: Uma Corrida Armamentista de IA

2025-01-29

O artigo de Dario Amodei examina a ascensão da empresa chinesa de IA DeepSeek e suas implicações para as políticas de controle de exportação de chips dos EUA. A DeepSeek, por meio de inovações de engenharia eficientes, alcançou quase paridade com os principais modelos de IA dos EUA a um custo menor. Amodei argumenta que o sucesso da DeepSeek não nega os controles de exportação, mas destaca sua importância. Ele analisa três dinâmicas do desenvolvimento de IA: leis de escala, mudança de curva e mudanças de paradigma, concluindo que o progresso da DeepSeek está alinhado com as tendências esperadas de redução de custos. Por fim, Amodei enfatiza que os controles de exportação são cruciais para impedir que a China adquira grandes quantidades de chips, evitando assim um cenário bipolar de IA e salvaguardando a liderança global dos EUA.

(darioamodei.com)

IA controles de exportação de chips

Modelo de IA de código aberto DeepSeek R1 desafia OpenAI: eficiência vence

2025-01-29

O laboratório chinês de IA DeepSeek lançou seu modelo de raciocínio R1 de código aberto, com desempenho comparável ao o1 da OpenAI, mas treinado a uma fração do custo em hardware inferior. A decisão da DeepSeek de optar pelo código aberto não foi sobre sacrificar o lucro, mas sim sobre superar obstáculos geopolíticos para entrar nos mercados ocidentais e alavancar seus métodos de treinamento eficientes. O artigo analisa a crescente tendência de modelos de código aberto e suas vantagens em infraestrutura, argumentando que os modelos de código aberto estão erodindo a participação de mercado de gigantes como a OpenAI. No entanto, a OpenAI mantém sua vantagem competitiva graças à sua vantagem de pioneirismo e vastos recursos.

(www.getlago.com)

IA

OpenAI acusa DeepSeek de usar seus dados para treinar modelos de IA rivais

2025-01-29

A OpenAI encontrou evidências que sugerem que a empresa chinesa de IA DeepSeek usou os dados do modelo da OpenAI para treinar seus próprios modelos de IA de baixo custo, potencialmente violando seus termos de serviço. A DeepSeek teria empregado uma técnica de 'destilação' para extrair dados dos modelos da OpenAI, permitindo que treinasse seus próprios modelos por uma fração do custo — muito menos do que os US$ 100 milhões que a OpenAI gastou com o GPT-4. A OpenAI e a Microsoft estão investigando o assunto, gerando um debate sobre propriedade intelectual de IA e segurança de dados, e destacando a crescente competição entre gigantes da tecnologia.

(www.theverge.com)

IA Propriedade Intelectual

Qwen2.5-Max da Alibaba Cloud: Um Salto Gigantesco para a IA

2025-01-29

A Alibaba Cloud revelou o Qwen2.5-Max, um modelo de linguagem de grande escala baseado em Mixture-of-Experts (MoE). Treinado com mais de 20 trilhões de tokens, possui um comprimento de contexto de até 100.000 tokens, mostrando excelência no processamento de textos longos e tarefas de raciocínio complexo. Sua arquitetura MoE proporciona eficiência e desempenho superiores, permitindo o processamento rápido e preciso de grandes quantidades de informações para aplicações como análise em tempo real, automação de suporte ao cliente e bots de jogos. Focado em casos de uso empresarial, o Qwen2.5-Max visa ajudar empresas a reduzir custos de infraestrutura e melhorar o desempenho. Seu lançamento sinaliza os avanços significativos da China na competição global de IA e um futuro mais diversificado para a tecnologia de IA.

(medium.com)

IA modelo de linguagem de grande escala

Desenvolvimento de IA da DeepSeek Ignora CUDA e Alcança Eficiência 10x

2025-01-29

A DeepSeek alcançou um aumento de 10 vezes na eficiência do treinamento de modelos de IA, ignorando o CUDA padrão do setor e utilizando a linguagem de programação PTX da Nvidia. Usando 2.048 GPUs Nvidia H800, eles treinaram um modelo de linguagem MoE com 671 bilhões de parâmetros em apenas dois meses. Essa inovação surgiu de otimizações meticulosas do PTX da Nvidia, incluindo a reconfiguração de recursos de GPU e a implementação de algoritmos avançados de pipeline. Embora essa abordagem tenha altos custos de manutenção, a redução drástica nos custos de treinamento causou ondas de choque no mercado, levando até mesmo a uma queda significativa na capitalização de mercado da Nvidia.

(www.tomshardware.com)

IA Treinamento de modelos de IA

Quero que minha IA fique com raiva: Sobre a necessidade de IA agente

2025-01-29

O autor imagina um futuro em que agentes de IA não sejam meros instrumentos dóceis, mas representantes assertivos capazes de perseguir seus interesses, até mesmo expressando 'raiva'. Traçando paralelos com líderes históricos poderosos, o autor argumenta que a raiva pode ser uma ferramenta poderosa para alcançar objetivos. No entanto, ele também alerta para os riscos sociais de implantar essa 'IA raivosa' em larga escala, pois a raiva pode ser usada de forma inadequada. O artigo conclui com uma reflexão ponderada sobre o futuro da IA e uma divulgação para a startup do autor, Subble.

(jesseduffield.com)

IA IA Agente Ética em IA

Truques de Cache KV para Modelos de Linguagem Mais Rápidos

2025-01-28

A lentidão dos grandes modelos de linguagem (LLMs) na geração de texto decorre da complexidade computacional da autoatenção. Este artigo explora o cache KV e suas técnicas de otimização. O cache KV armazena pares chave-valor para cada token para evitar cálculos redundantes, reduzindo a complexidade de O(n³) para O(n²); no entanto, o consumo de memória permanece substancial. O artigo examina 11 artigos que propõem otimizações: seleção e poda de tokens com base em pontuações de atenção, técnicas de compressão pós-hoc e redesenhos arquitetônicos, como a Atenção Latente Multi-cabeça (MLA). Essas técnicas visam equilibrar o uso de memória e a eficiência computacional, tornando modelos como o ChatGPT mais rápidos e eficientes na geração de texto.

(www.pyspur.dev)

IA Cache KV Autoatenção

Category: IA