Construire un LLM à partir de zéro : le parcours d’un amateur

Un passionné d’IA a méticuleusement travaillé sur le livre de Sebastian Raschka, « Construire un grand modèle linguistique (à partir de zéro) », en tapant la plupart du code à la main. Malgré l’utilisation de matériel peu puissant, il a réussi à construire et à affiner un LLM, en apprenant la tokenisation, la création de vocabulaire, l’entraînement des modèles, la génération de texte et les poids des modèles. L’expérience a mis en évidence les avantages de la saisie manuelle du code pour une compréhension plus approfondie et la valeur des exercices supplémentaires. L’auteur réfléchit aux méthodes d’apprentissage préférées (papier contre numérique) et prévoit d’approfondir les concepts d’IA/ML de bas niveau.