Bayes, bits et cerveaux : une aventure en probabilités et théorie de l'information

Ce site explore les probabilités et la théorie de l'information, et explique comment elles éclairent l'apprentissage automatique et le monde qui nous entoure. Des énigmes fascinantes, comme prédire la lettre suivante dans des extraits de Wikipédia et comparer vos performances à celles des réseaux neuronaux, conduisent à des explorations du contenu de l'information, de la divergence de KL, de l'entropie, de l'entropie croisée, et plus encore. Le cours couvrira l'estimation du maximum de vraisemblance, le principe d'entropie maximale, les logits, softmax, les fonctions gaussiennes et la configuration des fonctions de perte, révélant finalement les liens entre les algorithmes de compression et les grands modèles de langage. Prêt à plonger dans le terrier du lapin ?