Bayes, Bits & Cérebro: Uma Aventura em Probabilidade e Teoria da Informação

Este site mergulha na probabilidade e na teoria da informação, explicando como elas iluminam a aprendizagem de máquina e o mundo ao nosso redor. Quebra-cabeças intrigantes, como prever a próxima letra em trechos da Wikipédia e comparar seu desempenho com redes neurais, levam a explorações do conteúdo de informação, divergência de KL, entropia, entropia cruzada e muito mais. O curso abordará a estimação de máxima verossimilhança, o princípio da máxima entropia, logits, softmax, funções gaussianas e a configuração de funções de perda, revelando, por fim, as conexões entre algoritmos de compressão e modelos de linguagem grandes. Pronto para mergulhar na toca do coelho?