LLM : Encyclopédies avec perte d'information

Les grands modèles de langage (LLM) sont comme des encyclopédies avec perte d'information ; ils contiennent une vaste quantité d'informations, mais cette information est compressée, ce qui entraîne une perte de données. La clé est de discerner les questions auxquelles les LLM peuvent répondre efficacement par rapport à celles où la perte d'information affecte significativement la précision. Par exemple, demander à un LLM de créer un squelette de projet Zephyr avec des configurations spécifiques est une question « sans perte » qui nécessite des détails précis, ce qui pose problème aux LLM. La solution consiste à fournir un exemple correct, permettant au LLM de fonctionner sur la base de faits existants plutôt que de dépendre de détails potentiellement manquants dans sa base de connaissances.