Tags populares：
Virtualização segurança DNS verificação formal análise de alcance IA erros do compilador conflito de macro extensão web framework de desenvolvimento Gráficos de Bitmap Todos os tags

Softmax: Para Sempre? Uma Imersão Profunda nas Funções Log-Harmônicas

2025-02-20

Dez anos atrás, ao ministrar um curso de PLN, o autor foi questionado por um aluno sobre alternativas ao softmax. Um artigo recente propõe uma função log-harmônica como substituição, motivando uma investigação mais profunda. O autor analisa as derivadas parciais de ambos, softmax e a função log-harmônica, revelando que o gradiente do softmax é bem-comportado e interpretável, enquanto o gradiente da função log-harmônica apresenta singularidade próximo à origem, potencialmente causando dificuldades de treinamento. Embora otimizadores poderosos possam superar esses desafios, o autor conclui que a abordagem log-harmônica ainda merece exploração adicional e potenciais melhorias.

Leia mais
(kyunghyuncho.me)
IA função log-harmônica gradiente

NeurIPS'24: Ansiedade e Mudanças no Mercado de Trabalho de IA

2024-12-24

Na conferência NeurIPS'24, muitos estudantes de doutorado e pós-doutorandos prestes a se formar expressaram ansiedade e frustração com o mercado de trabalho de IA. Isso decorre do rápido desenvolvimento do aprendizado profundo na última década, onde grandes empresas de tecnologia recrutaram ativamente doutores em IA, oferecendo salários lucrativos e liberdade de pesquisa. No entanto, com a maturação e a produção de tecnologias como modelos de linguagem em larga escala, a demanda por doutores diminuiu, e as universidades começaram a treinar alunos de graduação e mestrado em habilidades relevantes. Essa mudança deixou muitos estudantes de doutorado se sentindo para trás, com sua direção de pesquisa fora de sincronia com as demandas do mercado, e suas perspectivas de carreira futuras incertas. O autor expressa compreensão e desculpas, observando que ainda existem muitas direções importantes de pesquisa em IA, além dos modelos de linguagem em larga escala.

Leia mais
(kyunghyuncho.me)
IA mercado de trabalho de IA modelos de linguagem em larga escala