Un thermostat peut-il être conscient ? Un philosophe remet en question la nature de la conscience

2025-05-11
Un thermostat peut-il être conscient ? Un philosophe remet en question la nature de la conscience

Le philosophe David Chalmers propose qu'un simple thermostat pourrait posséder une conscience. Il établit des parallèles entre les réseaux connexionnistes et les thermostats, soulignant des similitudes surprenantes dans le traitement de l'information. Cela suggère que les thermostats pourraient modéliser des expériences conscientes de base, compte tenu de certains critères. Chalmers soutient que la complexité à elle seule n'explique pas la conscience ; tandis que l'IA avancée imite la conscience, une essence fondamentale reste insaisissable. Il conclut que nous devons aller au-delà des modèles connexionnistes pour rechercher des lois plus profondes, encore à découvrir, afin de comprendre la conscience.

Lire plus
IA

Le cauchemar des Snaps d'Ubuntu : pourquoi je suis passé à Fedora

2025-02-05
Le cauchemar des Snaps d'Ubuntu : pourquoi je suis passé à Fedora

Pendant longtemps, Ubuntu a été ma distribution Linux préférée. Cependant, à partir de 2016, chaque mise à jour a apporté son lot de problèmes, allant de petits bugs d'icônes à des plantages complets du système. La pire mise à jour a même conduit à la réinstallation de Windows sur l'ordinateur portable de ma mère.

La promotion agressive des Snaps par Canonical n'a fait qu'aggraver les choses. Les mises à jour automatiques des Snaps et les conflits avec les paquets Debian traditionnels ont entraîné de nombreux problèmes de compatibilité et de dysfonctionnements, affectant considérablement la productivité. J'ai même vu un collègue perdre une journée entière de travail à cause de problèmes avec les Snaps de l'environnement de bureau GNOME.

En revanche, l'implémentation de Flatpak est beaucoup plus raisonnable. J'ai finalement migré vers Fedora, qui, bien qu'il ne soit pas parfait, s'est avéré stable et fiable, et mon expérience jusqu'à présent a été positive. J'espère que Canonical reconsidérera son approche de la construction d'une distribution Linux.

Lire plus
Développement

Reconstruire la culture à l'ère de la fragmentation : le pouvoir de la recherche contemplative

2025-03-19
Reconstruire la culture à l'ère de la fragmentation : le pouvoir de la recherche contemplative

Cet essai explore comment la lecture, à l'ère de la surcharge d'informations, est passée d'une expérience immersive à une consommation passive, et comment reconstruire la cohésion culturelle. En retraçant les inquiétudes de penseurs de Galilée à Susan Sontag sur l'avenir de la lecture, l'auteur soutient que la clé n'est pas la disparition des livres, mais la perte de cohésion culturelle. L'essai plaide pour une "recherche contemplative", en présentant la lecture comme une exploration ludique, encourageant les questions proactives, la recherche de réponses et la construction de communautés de connaissance grâce au partage des résultats de recherche pour reconstruire les liens culturels.

Lire plus

Société Max Planck : science d'élite, culture toxique ?

2025-03-16
Société Max Planck : science d'élite, culture toxique ?

La Société Max Planck, institution de recherche allemande renommée comptant 31 lauréats du prix Nobel parmi ses 84 instituts, est confrontée à des accusations de faute professionnelle. Une enquête conjointe de DW et de Spiegel révèle les témoignages de plus de 30 jeunes scientifiques décrivant des comportements abusifs et des environnements de travail toxiques au sein de ces instituts prestigieux. La peur des représailles a réduit au silence beaucoup d'entre eux, tandis que d'autres ayant signalé des fautes professionnelles affirment avoir été découragés. L'enquête examine pourquoi ces problèmes persistent malgré l'opposition.

Lire plus

Le responsable de la sécurité d'OpenAI démissionne au milieu des inquiétudes concernant la sécurité

2025-04-17
Le responsable de la sécurité d'OpenAI démissionne au milieu des inquiétudes concernant la sécurité

Le responsable de la préparation d'OpenAI, Joaquin Quiñonero Candela, a récemment démissionné de son poste et est passé à un stage interne. Cela fait suite à une série de départs très médiatisés des équipes de sécurité d'OpenAI, à la restructuration de l'organisation de sécurité et à des informations faisant état d'une réduction des temps de test de sécurité. Les événements soulèvent des inquiétudes concernant l'engagement d'OpenAI envers la sécurité de l'IA, notamment compte tenu du récent lancement de GPT-4.1 sans rapport de sécurité et des informations faisant état de périodes de test de sécurité réduites. La situation met en évidence une possible priorité accordée au lancement du produit par rapport aux considérations de sécurité, contrastant avec les engagements publics antérieurs d'OpenAI et générant des discussions plus larges sur la réglementation de la sécurité de l'IA.

Lire plus
IA

Nadella : L’IA va révolutionner le travail du savoir, à l’image de la fabrication allégée qui a révolutionné les usines

2025-02-23

Le PDG de Microsoft, Satya Nadella, prédit que l’IA va transformer fondamentalement le travail de bureau, le rapprochant des chaînes de montage des usines, avec une optimisation de bout en bout. Il compare l’introduction de l’IA dans le travail du savoir à l’arrivée des PC, des e-mails et des tableurs, qui ont révolutionné les processus de prévision. Les agents IA se chargeront d’une grande partie du travail, tandis que les travailleurs du savoir géreront ces agents, ce qui nécessitera de nouveaux workflows et des approches de gestion, similaires à la « fabrication allégée pour le travail du savoir ». Ce sera un processus progressif, exigeant des efforts concertés des équipes de direction et des individus.

Lire plus

CMake Moderne : Guide pour abandonner les systèmes de build catastrophiques

2025-04-15

Fatigué des systèmes de build frustrants ? Ce guide présente CMake Moderne (3.15+), une solution propre, puissante et élégante qui vous permet de vous concentrer sur le codage plutôt que sur la lutte contre des fichiers de build inexploitables. L’auteur plaide pour le choix d’un système de build robuste, notamment pour le développement multiplateforme, les multiples compilateurs, l’intégration CI/CD et l’utilisation d’outils comme Clang-Tidy. CMake se distingue par sa large compatibilité avec les IDE et ses ressources communautaires étendues. L’article recommande d’utiliser une version minimale appropriée de CMake (3.15 ou supérieure) et de définir une version maximale pour assurer une compatibilité à long terme, épargnant ainsi aux développeurs d’innombrables heures de frustration.

Lire plus
Développement

BreezeWiki : Dites adieu aux publicités Fandom

2025-03-31

Fatigué des publicités et des vidéos ennuyeuses sur les wikis Fandom ? BreezeWiki offre une expérience de lecture propre et rafraîchissante. Il suffit de remplacer "fandom.com" par "breezewiki.com" dans l'URL pour dire adieu au chargement lent et à la consommation de données. BreezeWiki est soutenu par plusieurs sites miroirs indépendants, garantissant la disponibilité même si un miroir est hors ligne. Bien que BreezeWiki ne permette pas de modifier ou de créer de nouvelles pages, il offre aux lecteurs un environnement de lecture axé sur le contenu et a été bien accueilli par de nombreux utilisateurs.

Lire plus
Divers

Systèmes quantiques et la flèche du temps : Une découverte révolutionnaire

2025-02-16

Une étude publiée dans Scientific Reports a exploré l'interaction d'un système quantique avec son environnement (un système quantique ouvert), tentant d'expliquer pourquoi nous percevons le temps comme s'écoulant dans une seule direction. En simplifiant le modèle et en supposant un environnement vaste où l'énergie et l'information ne retournent pas, les chercheurs ont étudié comment le temps émerge comme un phénomène unidirectionnel. Étonnamment, même sous ces hypothèses, le système s'est comporté de manière identique, que le temps aille vers l'avant ou vers l'arrière. Cela fournit une base mathématique pour que la symétrie d'inversion temporelle reste valable dans les systèmes quantiques ouverts, suggérant que la flèche du temps n'est peut-être pas aussi fixe que nous le pensons.

Lire plus

Développement du transistor quantique petahertz le plus rapide au monde

2025-05-24
Développement du transistor quantique petahertz le plus rapide au monde

Des chercheurs de l'Université de l'Arizona ont développé le transistor quantique petahertz le plus rapide au monde en utilisant des impulsions lumineuses ultrarapides pour manipuler les électrons dans le graphène. Cette réalisation révolutionnaire exploite l'effet tunnel quantique pour atteindre des vitesses plus de 1 000 fois supérieures à celles des puces informatiques actuelles. Le transistor fonctionne dans des conditions ambiantes, ouvrant la voie à des applications commerciales et révolutionnant l'informatique dans des domaines tels que l'IA, l'exploration spatiale et les soins de santé.

Lire plus
Technologie Transistor petahertz

Démission massive des éditeurs du Journal of Human Evolution pour protester contre les changements d'Elsevier

2024-12-28
Démission massive des éditeurs du Journal of Human Evolution pour protester contre les changements d'Elsevier

Presque tous les éditeurs du Journal of Human Evolution (JHE), une publication d'Elsevier, ont démissionné en masse, protestant contre les actions d'Elsevier qu'ils estiment compromettre la qualité et l'intégrité de la revue. Elsevier a supprimé le soutien à la relecture, mis en place une édition par IA ayant introduit des erreurs dans les articles, et contrôlé unilatéralement la structure et la rémunération du comité de rédaction. Des frais de traitement des articles élevés, largement supérieurs à ceux de revues comparables, ont encore alimenté le mécontentement des éditeurs. Il s'agit de la 20e démission massive d'éditeurs de revues depuis début 2023, soulevant des inquiétudes quant aux pratiques du secteur de l'édition.

Lire plus

L'opérateur d'OpenAI : La fin du Web ouvert ?

2025-01-25
L'opérateur d'OpenAI : La fin du Web ouvert ?

Le nouvel agent IA d'OpenAI, Operator, navigue sur le Web pour vous, ce qui pourrait signaler la fin d'Internet ouvert tel que nous le connaissons. Des outils comme Operator changent la façon dont nous accédons à l'information ; nous allons directement à l'IA, en contournant les intermédiaires comme Google et TripAdvisor. Cela menace les modèles de revenus publicitaires de ces sites Web, ce qui pourrait entraîner leur déclin. L'avenir pourrait inclure une couche de données structurées où les intermédiaires vendent des données aux entreprises d'IA. Cela soulève des inquiétudes quant aux sources de données utilisateur de haute qualité et l'avenir du Web ouvert lui-même.

Lire plus

Les particules grecques : plus que de simples mots de remplissage ?

2025-04-29

Cet article remet en question la compréhension traditionnelle des particules grecques. En comparant l'anglais parlé, riche en hésitations et en mots de remplissage, aux textes grecs anciens écrits, l'auteur soutient que de nombreuses particules grecques, auparavant interprétées comme ayant des fonctions grammaticales ou sémantiques spécifiques, sont en réalité des expletifs dénués de sens, similaires à « euh » ou « hum » en français. L'auteur utilise des exemples de l'Anabase de Xénophon et des transcriptions du Watergate pour souligner les parallèles entre les ajouts apparemment sans signification dans le langage parlé et l'occurrence fréquente des particules grecques. La conclusion suggère une réévaluation de la manière dont nous interprétons ces particules, en proposant qu'elles ressemblent davantage à des artéfacts de la parole qu'à des éléments grammaticaux significatifs.

Lire plus

L'augmentation des ventes de pompes à chaleur : un regard plus attentif sur la réalité

2025-02-09
L'augmentation des ventes de pompes à chaleur : un regard plus attentif sur la réalité

Si les livraisons de pompes à chaleur ont dépassé les chaudières à gaz, les données montrent que cela n'a pas sensiblement modifié les pratiques de chauffage des foyers américains. La plupart des installations concernent des constructions neuves ou des systèmes sans chaudière, et non le remplacement de chaudières à gaz existantes. En analysant les données de livraison de l'AHRI et l'enquête sur la consommation d'énergie résidentielle de l'EIA, l'auteur soutient que les rénovations utilisant des pompes à chaleur dans les logements existants restent minimes, et que la transformation à grande échelle est loin d'être atteinte. Les titres positifs peuvent masquer la lenteur des progrès ; des efforts soutenus et un soutien politique sont essentiels.

Lire plus

Apple fait appel à une dirigeante chevronnée pour redresser l'IA et Siri

2025-01-24
Apple fait appel à une dirigeante chevronnée pour redresser l'IA et Siri

Apple Inc. renforce son engagement dans l'IA en nommant Kim Vorrath, une dirigeante chevronnée, au sein de sa division intelligence artificielle et apprentissage automatique. Vorrath, vice-présidente ayant fait ses preuves dans la résolution de problèmes de produits complexes, sera sous la direction du responsable de l'IA, John Giannandrea. Ce mouvement témoigne d'une volonté d'améliorer Siri et la plateforme Apple Intelligence, qui ont pris du retard sur des concurrents comme OpenAI et Google. Le plan prévoit une Siri remaniée dans iOS 18.4, utilisant les données utilisateur pour une meilleure réactivité et un meilleur contrôle des applications. Cependant, des défis persistent, notamment les critiques récentes concernant l'imprécision des résumés d'actualité générés par l'IA. L'expertise de Vorrath dans la gestion de projets logiciels complexes est essentielle à l'ambition d'Apple de devenir un leader de l'IA.

Lire plus
Technologie

Tutoriel Tcl : des bases aux bibliothèques réutilisables

2025-03-16

Ce tutoriel complet sur Tcl couvre tout, de la sortie de texte de base, à l’affectation de variables et aux opérations arithmétiques, jusqu’aux sujets avancés tels que les expressions régulières, les tableaux associatifs, l’accès aux fichiers, l’appel de sous-processus et la création de bibliothèques réutilisables. Il présente progressivement des concepts de base tels que les boucles, le contrôle du flux et les structures de données (listes, tableaux, dictionnaires), tout en approfondissant des compétences pratiques telles que la manipulation de chaînes de caractères, la correspondance de motifs et les techniques de débogage. Que vous soyez débutant ou programmeur expérimenté, ce tutoriel est une ressource précieuse pour maîtriser rapidement Tcl et créer des bibliothèques réutilisables.

Lire plus
Développement

Au-delà de A*: Un nouvel algorithme de recherche de chemin pour Breathing World

2025-01-07
Au-delà de A*: Un nouvel algorithme de recherche de chemin pour Breathing World

Le développeur de jeux Farer développe un nouvel algorithme de recherche de chemin pour son jeu, Breathing World, afin d'améliorer les performances de l'IA des loups. L'algorithme A* existant s'est révélé inefficace avec des cartes haute résolution. La nouvelle approche de Farer, basée sur l'algorithme de ligne de Bresenham, construit des chemins en détectant et en contournant les obstacles, similaire au raycasting dans les moteurs 3D. Cette méthode divise le chemin en points de passage pour une recherche de chemin plus efficace, promettant une amélioration significative de l'expérience de jeu.

Lire plus

Développement Web sans Framework : Guide du JavaScript Vanilla

2025-05-11

Ce site propose un guide complet pour construire des sites web et des applications web en utilisant uniquement un éditeur, un navigateur et les standards web, sans outils de build ni frameworks. Il explore l'utilisation des Web Components comme blocs de construction fondamentaux, en tirant parti des capacités du CSS moderne et en créant des projets web et des applications monopages sans outils de build, frameworks ou logique côté serveur. Destiné aux développeurs déjà familiers avec HTML, CSS et JavaScript, ce tutoriel préconise une approche plus simple et plus facile à maintenir pour le développement web, en abordant la complexité et la surcharge de maintenance souvent associées aux frameworks modernes.

Lire plus

Amnios Artificiel : Une Percée Médicale

2025-05-21

Des scientifiques ont développé un amnios artificiel révolutionnaire, appelé PGA, qui reproduit la structure et la fonction d'un amnios naturel, offrant une avancée médicale majeure. Les membranes du sac amniotique, connues pour leurs propriétés régénératrices, anti-inflammatoires et antimicrobiennes, sont actuellement utilisées dans diverses procédures, notamment la reconstruction cornéenne, la réparation de la muqueuse utérine et le traitement des brûlures et des ulcères. Cette innovation surmonte les limites liées à la dépendance aux dons de tissus, permettant potentiellement la culture à partir des propres cellules du patient. La recherche ouvre la voie à l'étude des stades ultérieurs du développement humain et fournit un moyen rapide, peu coûteux et évolutif d'obtenir des membranes amniotiques pour des applications médicales.

Lire plus

YouTube : Le roi inattendu des podcasts

2025-02-26
YouTube : Le roi inattendu des podcasts

YouTube est devenu la principale plateforme de consommation de podcasts aux États-Unis, tirant parti de ses capacités vidéo pour offrir une expérience utilisateur supérieure. En améliorant la découvrabilité, en élargissant son programme de partage des revenus et en offrant un accès sur divers appareils (y compris les téléviseurs), YouTube a conquis un public massif. Avec plus de 400 millions d'heures de podcasts visionnés mensuellement sur les seuls appareils de salon, le succès de la plateforme souligne la tendance croissante des podcasts vidéo. Des émissions de débats sportifs aux émissions de true crime, YouTube abrite une variété diversifiée de podcasts et continue d'investir pour en faire la meilleure destination pour les podcasts.

Lire plus
Technologie Podcast vidéo

Une découverte archéologique révèle 14 approches de sécurité mémoire, révolutionnant la programmation

2024-12-19

Un ingénieur logiciel a mis au jour un texte ancien dans une cité maya, révélant 14 approches étonnantes de la sécurité mémoire, bien au-delà de la compréhension actuelle des langages de programmation. Ces méthodes incluent des techniques traditionnelles comme la vérification des emprunts, le comptage des références et la collecte des ordures, ainsi que des innovations sans précédent, telles que la gestion de la mémoire basée sur les régions, les références générationnelles et le comptage des références linéaires. Cette découverte non seulement élargit notre compréhension de la sécurité mémoire, mais préfigure également la direction future des langages de programmation, avec le potentiel de révolutionner le développement logiciel.

Lire plus

Stanford intègre l'IA pour améliorer l'apprentissage en politique de sécurité nationale

2025-06-10
Stanford intègre l'IA pour améliorer l'apprentissage en politique de sécurité nationale

Le cours de politique internationale de Stanford, "Technologie, innovation et compétition des grandes puissances", a intégré des outils d'IA pour améliorer significativement l'apprentissage des étudiants. Les étudiants ont utilisé ChatGPT, Claude, Perplexity et d'autres outils d'IA pour résumer des documents, identifier des thèmes clés, analyser des contenus critiques et appliquer ces informations à des défis de sécurité nationale réels. Les projets d'équipe ont révélé des utilisations innovantes de l'IA, notamment la génération de questions d'entretien, la simulation d'entretiens et la création de présentations. Le cours démontre le potentiel de l'IA comme outil d'apprentissage puissant, accélérant l'apprentissage et approfondissant la compréhension.

Lire plus
Développement Analyse politique

La jeunesse grecque révolutionne la technologie : fusées, robots et supercars !

2025-04-26
La jeunesse grecque révolutionne la technologie : fusées, robots et supercars !

Un récent rapport met en lumière le talent technologique croissant de la jeunesse grecque. Des équipes d'étudiants font sensation dans les compétitions internationales d'aérospatiale, de robotique et d'ingénierie automobile. ASAT, par exemple, figure constamment parmi les meilleures équipes étudiantes d'Europe. La médaille d'argent de bitLab au WRO 2024 et sa victoire au championnat d'Europe témoignent de son talent. De nombreuses universités participent activement, avec des laboratoires comme le Legged Robots Team de la NTUA et le Robotics Lab de la AUTH en tête. Ce succès démontre non seulement la capacité d'innovation de la jeune génération grecque, mais offre aussi un symbole d'espoir pour le progrès technologique du pays, remettant en question les idées préconçues sur les capacités technologiques grecques.

Lire plus

Visualisation de Rust asynchrone : concurrence contre parallélisme

2025-04-25
Visualisation de Rust asynchrone : concurrence contre parallélisme

Cet article utilise la visualisation pour explorer en profondeur les fonctionnalités de concurrence et de parallélisme du runtime asynchrone Rust, Tokio. L’auteur utilise intelligemment des tracés d’ondes sinusoïdales pour démontrer de manière intuitive l’ordre d’exécution et l’utilisation du CPU de différentes tâches asynchrones. Les expériences montrent que les tâches liées au processeur bloquent les autres opérations asynchrones, tandis que `tokio::spawn` et `tokio::task::spawn_blocking` de Tokio utilisent efficacement les ressources multinœuds pour améliorer les performances. L’article conclut en résumant la stratégie d’ordonnancement des tâches de Tokio et les méthodes de gestion des tâches liées au processeur, ce qui en fait un excellent tutoriel clair et visuellement riche.

Lire plus
Développement

La méthode de Newton mise à jour : un algorithme d’optimisation plus rapide et plus large

2025-03-25
La méthode de Newton mise à jour : un algorithme d’optimisation plus rapide et plus large

Il y a plus de 300 ans, Isaac Newton a mis au point un algorithme pour trouver les valeurs minimales des fonctions. Aujourd’hui, Amir Ali Ahmadi de l’université de Princeton et ses étudiants ont amélioré cet algorithme pour traiter efficacement une classe plus large de fonctions. Cette percée utilise des dérivées d’ordre supérieur et transforme habilement le développement de Taylor en une forme convexe de somme de carrés, obtenant une convergence plus rapide que la descente de gradient traditionnelle. Bien que coûteux en calcul actuellement, les progrès futurs de l’informatique pourraient permettre à cet algorithme de surpasser la descente de gradient dans des domaines tels que l’apprentissage automatique, devenant ainsi un outil puissant pour les problèmes d’optimisation.

Lire plus

Pica : Le catalyseur open-source pour l'IA autonome

2025-01-21

Pica est un projet open-source ambitieux visant à construire un système d'IA entièrement autonome. Contrairement aux modèles d'IA existants, entraînés pour des tâches spécifiques, Pica vise une IA à usage général capable d'apprendre et de s'adapter à diverses tâches. Sa conception modulaire permet aux chercheurs et aux développeurs de contribuer et d'améliorer ses composants. Le succès de Pica pourrait révolutionner l'IA, menant potentiellement à des systèmes d'IA plus puissants, plus flexibles et plus généraux, ouvrant de nouvelles possibilités dans diverses applications tout en présentant de nouveaux défis et considérations éthiques.

Lire plus

Skype prendra sa retraite en mai 2025, transition vers Microsoft Teams

2025-05-06
Skype prendra sa retraite en mai 2025, transition vers Microsoft Teams

Microsoft a annoncé qu'il fermerait Skype en mai 2025, déplaçant les utilisateurs vers sa plateforme moderne de communication et de collaboration, Microsoft Teams. Ce mouvement vise à rationaliser les offres de communication gratuites pour les consommateurs et à mieux s'adapter aux besoins des clients. Les utilisateurs existants de Skype peuvent choisir de migrer gratuitement vers Teams, avec tous les chats et contacts importés automatiquement ; ou ils peuvent exporter leurs données. Teams offre des fonctionnalités principales similaires à Skype, avec des fonctionnalités avancées supplémentaires, telles que l'hébergement de réunions et la création de communautés. Cette transition se fera par étapes pour garantir que les utilisateurs puissent rester connectés pendant la transition.

Lire plus

Construire son propre Asyncio en Python : démystifier await

2025-05-07
Construire son propre Asyncio en Python : démystifier await

Cet article fournit une explication claire et approfondie d’asyncio, le mécanisme central de la programmation asynchrone en Python. L’auteur construit une version simplifiée d’asyncio étape par étape, révélant le fonctionnement interne du mot clé `await` et aboutissant à un serveur echo entièrement fonctionnel. En commençant par les concepts de base des générateurs et des coroutines, l’article introduit progressivement des concepts clés tels que Scheduler et Future, et détaille comment utiliser le module `selectors` pour les E/S non bloquantes. En lisant ceci, les lecteurs acquièrent une compréhension plus profonde des mécanismes sous-jacents de la programmation asynchrone de Python et démystifient la « magie » de `await`.

Lire plus
Développement

Des nanosensors détectent le cancer du pancréas dans les analyses de sang

2025-02-13
Des nanosensors détectent le cancer du pancréas dans les analyses de sang

Des chercheurs ont mis au point un test sanguin révolutionnaire utilisant des nanosensors pour détecter le cancer du pancréas à un stade précoce. Le test se concentre sur l'identification des protéases actives, des enzymes présentes même aux premiers stades des tumeurs. Dans une étude portant sur 356 individus, les nanosensors ont atteint une précision de 98 % pour identifier les individus sains et de 73 % pour détecter le cancer du pancréas, en le distinguant d'autres maladies pancréatiques. Cette avancée est extrêmement prometteuse pour améliorer la détection précoce et le traitement du cancer du pancréas, offrant une bouée de sauvetage à des millions de personnes.

Lire plus

Llama 3 from Scratch : Tutoriel TensorFlow approfondi

2025-02-21
Llama 3 from Scratch : Tutoriel TensorFlow approfondi

Ce projet est une version améliorée de naklecha/llama3-from-scratch, amélioré et optimisé pour aider à comprendre les principes de mise en œuvre et le processus de raisonnement détaillé du modèle Llama 3. Les améliorations principales incluent : une réorganisation de la présentation du contenu, une structure de répertoire ajustée, des annotations de code détaillées, des annotations complètes des changements de dimensions des matrices, des explications et des dérivations abondantes des principes, un chapitre supplémentaire de dérivation de KV-Cache et une documentation bilingue (chinois et anglais). Le tutoriel commence par le chargement des fichiers de modèle et des fichiers de configuration, puis guide à travers la conversion de texte en embeddings, la construction de blocs Transformer, la mise en œuvre du mécanisme d’attention, le codage positionnel (RoPE), la normalisation RMS, le réseau feed-forward SwiGLU et, enfin, prédit le jeton suivant. Il explore également les prédictions top-k, l’impact des différentes embeddings de jetons et les principes et avantages du mécanisme de cache KV.

Lire plus
Développement
1 2 399 400 401 403 405 406 407 595 596