Tags populares：
Virtualização segurança DNS verificação formal análise de alcance IA erros do compilador conflito de macro extensão web framework de desenvolvimento Gráficos de Bitmap Todos os tags

Imersão Profunda: Arquiteturas de GPU vs. TPU para LLMs

2025-08-20

Este artigo fornece uma comparação detalhada das arquiteturas de GPU e TPU, focando em suas unidades de computação principais, hierarquias de memória e capacidades de rede. Usando as GPUs H100 e B200 como exemplos, ele disseca meticulosamente o funcionamento interno das GPUs modernas, incluindo os Multiprocessadores de Streaming (SMs), CUDA Cores, Tensor Cores e a interação entre vários níveis de memória (SMEM, cache L2, HBM). O artigo também compara o desempenho de GPU e TPU em comunicação coletiva (por exemplo, AllReduce, AllGather), analisando o impacto de diferentes estratégias de paralelismo (paralelismo de dados, paralelismo de tensor, paralelismo de pipeline, paralelismo de especialistas) na eficiência do treinamento de modelos de linguagem grandes. Finalmente, ele resume as estratégias para escalar LLMs em GPUs, ilustradas com exemplos do DeepSeek v3 e LLaMA-3.

Leia mais
(jax-ml.github.io)
IA

A Alquimia do Treinamento Eficiente de LLMs: Além dos Limites de Computação

2025-02-04

Este artigo mergulha no treinamento eficiente de modelos de linguagem grandes (LLMs) em escala massiva. O autor argumenta que, mesmo com dezenas de milhares de aceleradores, princípios relativamente simples podem melhorar significativamente o desempenho do modelo. Os tópicos abordados incluem avaliação de desempenho do modelo, escolha de esquemas de paralelismo em diferentes escalas, estimativa do custo e tempo de treinamento de modelos grandes de Transformer e design de algoritmos que aproveitam vantagens de hardware específicas. Por meio de explicações detalhadas das arquiteturas de TPU e GPU e uma análise detalhada da arquitetura Transformer, os leitores obterão uma compreensão melhor dos gargalos de dimensionamento e projetarão modelos e algoritmos mais eficientes.

Leia mais
(jax-ml.github.io)
IA Treinamento Eficiente