Le Byte Latent Transformer (BLT) de Meta : surpassant les modèles LLM basés sur les jetons

2024-12-14

Les chercheurs de Meta IA ont présenté le Byte Latent Transformer (BLT), une nouvelle architecture de modèle linguistique de grande taille qui traite les octets directement, au lieu des jetons. Le BLT alloue dynamiquement des ressources de calcul en fonction de l'entropie des octets, ce qui entraîne des améliorations significatives de l'efficacité de l'inférence et de la robustesse par rapport aux modèles basés sur les jetons. Des expériences d'extrapolation jusqu'à 8 milliards de paramètres et 4 téraoctets de données d'entraînement démontrent la capacité du BLT à égaler les performances des modèles LLM basés sur les jetons, tout en offrant des capacités de raisonnement améliorées et une gestion des données à longue traîne. Cette recherche montre la faisabilité d'entraîner des modèles à grande échelle directement sur des octets bruts sans vocabulaire fixe.

Lire plus

Entropie : Une nouvelle vision du désordre dans l'univers

2024-12-14

Il y a deux cents ans, l'ingénieur français Sadi Carnot introduisait le concept d'entropie pour quantifier la dégradation irréversible de l'univers. Cependant, la physique moderne ne voit plus l'entropie simplement comme du 'désordre', mais comme le reflet de la connaissance limitée d'un observateur sur un système. Cette nouvelle perspective éclaire le lien profond entre l'information et l'énergie, stimulant les progrès technologiques à l'échelle nanométrique. De la machine à vapeur de Carnot aux moteurs d'information modernes, le concept d'entropie continue d'évoluer, nous aidant à comprendre le fonctionnement de l'univers et nous incitant à repenser le but de la science et notre place en son sein.

Lire plus

Recursion Pharmaceuticals abandonne la peinture cellulaire pour l'imagerie en champ clair

2024-12-15

Recursion Pharmaceuticals, une société de biotechnologie utilisant l'apprentissage automatique pour la découverte de médicaments, a récemment annoncé un changement surprenant : abandonner sa technique de peinture cellulaire emblématique au profit de l'imagerie en champ clair traditionnelle. Cet article explore les raisons de ce changement. Les progrès de l'apprentissage profond permettent aux modèles de traiter efficacement les images brutes, diminuant ainsi l'utilité des colorants fluorescents de la peinture cellulaire pour améliorer le contraste. L'imagerie en champ clair offre des avantages en termes de coût, de facilité de mise en œuvre et de compatibilité avec la microscopie en timelapse de cellules vivantes, ouvrant ainsi des possibilités pour l'étude de la dynamique cellulaire. Malgré ce changement apparemment risqué, les tests internes de Recursion montrent que l'imagerie en champ clair produit des résultats comparables, voire supérieurs, dans la prédiction des perturbations médicamenteuses.

Lire plus

Routeurs de sous-réseau Tailscale : une solution simple pour des connexions réseau complexes

2024-12-14

Tailscale nécessite généralement l'installation d'un client sur chaque appareil, mais cela n'est pas toujours possible pour les appareils intégrés ou les VPC existants. C'est là qu'interviennent les routeurs de sous-réseau. Ils permettent aux appareils de communiquer en utilisant la puissante technologie de traversée NAT de Tailscale, qu'ils exécutent Tailscale ou non. Cet article explique le fonctionnement des routeurs de sous-réseau Tailscale, notamment l'installation et la configuration sous Windows et Linux. Pour les migrations de réseaux de grande envergure ou la connexion de VPC AWS, les routeurs de sous-réseau offrent un moyen rapide et facile de commencer. L'utilisation personnelle est gratuite et ne compte pas pour les limites d'appareils.

Lire plus

Buzee : Application de recherche de texte intégral open source lancée

2024-12-14

Buzee est une application de recherche de texte intégral multiplateforme construite avec Rust et Svelte. Elle permet une recherche rapide des fichiers locaux, des dossiers, de l'historique du navigateur et plus encore, en extrayant même du texte des PDF et des images à l'aide de l'OCR. Développé sur deux ans, ce projet présente une architecture robuste utilisant Tauri pour les performances, SQLite et Tantivy pour l'indexation et un front-end Svelte propre. Bien que riche en fonctionnalités, il reste encore des domaines à développer à l'avenir, et l'auteur le lance en open source pour que d'autres puissent contribuer.

Lire plus

Langage de Programmation Luon : Un Lua Typé Statique

2024-12-14

Luon est un nouveau langage de programmation statiquement typé, avec une syntaxe similaire aux langages basés sur Oberon et intégrant des concepts de Lua, ciblant la machine virtuelle LuaJIT. En substance, une version typée statiquement de Lua, il permet la réutilisation des bibliothèques Lua et C existantes via des déclarations de procédures externes. Luon remédie aux lacunes de Lua en matière de gestion des erreurs et de structure de code, offrant un compilateur et un IDE intégré prenant en charge la programmation procédurale, générique et orientée objet. Le projet inclut de nombreux exemples et cas de test et est en développement actif.

Lire plus
Développement typage statique

Meta FAIR dévoile des recherches révolutionnaires en IA et des modèles open source

2024-12-13

Meta FAIR a publié une série d'artefacts de recherche révolutionnaires en IA, notamment Meta Motivo, un modèle fondamental pour contrôler les agents virtuels incarnés, et Meta Video Seal, un modèle open source pour le filigrane vidéo. Cette publication met l'accent sur les progrès des capacités des agents, la robustesse, la sécurité et les innovations architecturales pour un apprentissage plus efficace. D'autres contributions clés incluent la base de code Flow Matching, Meta Explore Theory-of-Mind pour le raisonnement sur la théorie de l'esprit, les grands modèles conceptuels (LCM) et le Dynamic Byte Latent Transformer. En open-sourçant ces modèles et outils, Meta vise à encourager la collaboration et à accélérer le développement responsable de l'IA.

Lire plus

IPv6 : Le protocole Internet de Schrödinger

2024-12-13

L'IPv6, conçu pour résoudre la crise anticipée d'épuisement des adresses Internet, se trouve dans un état paradoxal. Son déploiement s'étend régulièrement, connectant davantage d'utilisateurs et de dispositifs ; pourtant, il semble stagné, éclipsé par la domination persistante des solutions IPv4. Cet article explore les complexités de l'adoption de l'IPv6, notamment le rôle du NAT, les transferts d'adresses IPv4 et l'incohérence de la préparation des fournisseurs et des développeurs d'applications. Il analyse différentes stratégies gouvernementales pour promouvoir l'IPv6 et comment les incitations, la responsabilisation des fournisseurs et les initiatives de renforcement des capacités peuvent favoriser l'adoption. Enfin, il souligne l'importance de l'IPv6 pour préserver Internet comme une plateforme ouverte à l'innovation.

Lire plus

Les interconnexions en graphène pourraient sauver la loi de Moore

2024-12-14

La startup californienne Destination 2D affirme avoir résolu deux défis de longue date liés à l'intégration du graphène dans la fabrication de puces : le dépôt à haute température et la faible densité de porteurs de charge. Elle a mis au point une technique permettant de déposer des interconnexions en graphène à 300 °C, compatible avec les procédés CMOS traditionnels. De plus, grâce à un dopage par intercalation, elle a obtenu des densités de courant du graphène 100 fois supérieures à celles du cuivre. Cette technologie promet de prolonger la loi de Moore et de soutenir les futures générations de technologies de semi-conducteurs.

Lire plus

L'informatique optimiste : une voie vers un meilleur logiciel

2024-12-15

Cet essai explore le concept d'« informatique optimiste », non pas comme un optimisme aveugle, mais comme une convergence de plusieurs idées puissantes : simplicité et facilité d'utilisation (« boot to kill »), principes local-first et autonomisation de l'utilisateur. L'auteur soutient qu'en limitant les dépendances, en simplifiant les flux de travail, en créant une expérience transparente de « ça fonctionne » et en donnant aux utilisateurs plus de contrôle, nous pouvons construire un logiciel plus fiable, plus sûr et plus durable. Cette philosophie s'applique aussi bien aux utilisateurs individuels qu'au développement de logiciels d'entreprise, visant en fin de compte un monde numérique qui respecte la vie privée et la propriété des données de l'utilisateur.

Lire plus
Développement informatique optimiste

Eyes Wide Shut : Plongez au cœur du chef-d'œuvre méconnu de Kubrick

2024-12-15

Le dernier film de Stanley Kubrick, Eyes Wide Shut, est une œuvre complexe et multiforme qui continue de fasciner et de frustrer les spectateurs. Sorti en 1999, le film explore les thèmes du sexe, de la classe sociale, du capitalisme et des puissantes sociétés secrètes, tissant de nombreuses allusions à la littérature, à la musique, à l'opéra, au ballet et à la mythologie. La structure narrative et le style visuel non conventionnels du film laissent beaucoup de place à l'interprétation, en faisant une expérience riche et enrichissante pour ceux qui sont prêts à s'engager avec ses complexités.

Lire plus

Moteur d'inférence LLM rapide construit à partir de zéro

2024-12-15

Cet article détaille le parcours de l'auteur dans la construction d'un moteur d'inférence LLM à partir de zéro en utilisant C++ et CUDA, sans recourir à aucune bibliothèque. Ce processus a permis une plongée profonde dans la pile complète de l'inférence LLM, des noyaux CUDA à l'architecture du modèle, montrant comment les optimisations affectent la vitesse d'inférence. L'objectif était de créer un programme capable de charger les poids de modèles open-source courants et d'effectuer une inférence mono-lot sur un seul serveur CPU+GPU, en améliorant itérativement le débit de jetons pour surpasser llama.cpp. L'article décrit méticuleusement les étapes d'optimisation sur la CPU et le GPU, notamment le multithreading, la quantification des poids, le SIMD, la fusion des noyaux et la quantification du cache KV, tout en analysant les goulots d'étranglement et les défis. Le résultat final atteint des performances proches de l'état de l'art pour l'inférence LLM locale.

Lire plus
Développement inférence LLM

Privilégier le code jetable aux documents de conception : une approche de développement logiciel plus efficace

2024-12-15

En développement logiciel, la méthode traditionnelle consistant à utiliser un document de conception suivi d'un développement incrémental n'est pas toujours efficace. L'auteur Doug Turnbull propose une approche de "binge coding" : implémenter rapidement un prototype à l'aide d'une PR temporaire, obtenir rapidement des retours de l'équipe, affiner la conception, puis la décomposer progressivement en PRs déployables. Cette méthode encourage l'itération rapide, la détection précoce des problèmes et considère le code lui-même comme la meilleure documentation. Même si les documents de conception restent utiles dans certaines situations, l'auteur préconise de "montrer plutôt que de raconter", en utilisant des prototypes de code pour une validation et une itération rapides afin d'obtenir un développement logiciel plus efficace.

Lire plus
Développement prototype de code

Optimisation du GPU MacOS : gaspillage de ressources pour la vitesse

2024-12-15

Le développeur d'Anukari a rencontré un goulot d'étranglement lors de l'optimisation des performances du GPU sous MacOS. En raison du contrôle limité du système sur les performances du GPU, le mécanisme de régulation des performances du GPU d'Apple a affiché de mauvaises performances dans le cas d'utilisation d'Anukari, entraînant des problèmes audio. Le développeur a mis en œuvre une solution de contournement : consacrer un warp de threadgroup du GPU à des calculs inutiles pour « tromper » le système et augmenter la fréquence d'horloge du GPU, réduisant ainsi considérablement la latence audio et améliorant les performances. Bien que grossière, cette méthode s'est avérée efficace pour résoudre les problèmes de performances sous MacOS. Cependant, les améliorations de performances ont varié considérablement entre les différents DAW (Ableton et GarageBand), nécessitant une optimisation supplémentaire.

Lire plus

Le désastre des 24 Heures du Mans 1955 : une journée de vitesse et de mort

2024-12-14

Les 24 Heures du Mans 1955 se sont soldées par une tragédie lorsqu’une Mercedes-Benz 300 SLR, pilotée par Pierre Levegh, a percuté les spectateurs après une collision avec une voiture plus lente. La manœuvre imprudente de Mike Hawthorn à l’entrée des stands a déclenché une série d’événements ayant causé plus de 80 morts et de nombreux blessés. Ce désastre, manifestation choquante des normes de sécurité inadéquates du sport, a entraîné des changements radicaux dans les réglementations de sécurité du sport automobile et a marqué un tournant dans l’histoire de la course automobile.

Lire plus

TeaVM 0.11.0 publié : nouveau backend WebAssembly

2024-12-15

TeaVM 0.11.0 est sorti, avec un nouveau backend WebAssembly comme fonctionnalité principale. L’ancien backend WebAssembly, bien que fonctionnel, a été peu adopté en raison de gains de performances insignifiants et d’une mauvaise expérience développeur. Le nouveau backend, tirant parti de la proposition WebAssembly GC, résout ces problèmes, améliorant l’interaction avec les API JS du navigateur et réduisant la taille du fichier binaire. Bien qu’il soit actuellement un peu moins riche en fonctionnalités que le backend JS, il prend déjà en charge JSO (API d’interaction Java-to-JS), dans le but d’atteindre la parité dans la prochaine version. Cette version inclut également des corrections de bogues dans l’implémentation de BitSet et ajoute la prise en charge de diverses API JS, telles que la lecture de fichiers, les événements tactiles, l’API Popover et Navigator.sendBeacon.

Lire plus
Développement

La perte de biodiversité due au commerce agricole dans les régions tropicales est trois fois plus élevée qu'on ne le pensait

2024-12-14

Une étude publiée dans Nature Sustainability révèle que les exportations agricoles des régions tropicales sont trois fois plus dommageables pour la biodiversité qu'on ne le supposait auparavant. Des chercheurs de l'Université technique de Munich et de l'ETH Zurich ont suivi comment les exportations agricoles de 1995 à 2022 ont affecté les changements d'utilisation des terres dans les pays producteurs. Le commerce international est responsable de plus de 90 % de la perte de biodiversité au cours de cette période, affectant particulièrement le Brésil, l'Indonésie, le Mexique et Madagascar. L'équipe a utilisé des données satellitaires pour évaluer plus précisément les impacts à long terme des changements d'utilisation des terres sur la biodiversité, soulignant le lien complexe entre le commerce mondial et la perte de biodiversité. L'étude appelle à des mesures globales pour relever ce défi.

Lire plus

Est-il possible de créer une larme de Prince Rupert parfaitement sphérique ?

2024-12-14

Une question d'ingénierie explore la possibilité de créer une larme de Prince Rupert parfaitement sphérique. Les larmes de Prince Rupert sont des objets en verre formés en laissant tomber du verre fondu dans de l'eau froide, leurs contraintes internes uniques les rendent incroyablement résistantes, sauf à la queue. L'article discute comment, théoriquement, dans un environnement d'apesanteur, en contrôlant le taux de refroidissement et en éliminant les effets de la gravité, une larme de Prince Rupert sphérique pourrait être créée, mais des défis pratiques importants subsistent.

Lire plus

Test de précision du capteur Sensirion SGP41 TVOC : variations relatives, pas de valeurs absolues

2024-12-15

AirGradient a effectué des tests de précision et d’exactitude sur le capteur Sensirion SGP41 TVOC utilisé dans ses moniteurs de qualité de l’air. Les tests ont révélé que le capteur suit efficacement les variations relatives des niveaux de TVOC – en détectant les augmentations ou les diminutions – mais ne peut pas fournir de valeurs absolues précises. Cela est dû aux limitations inhérentes aux capteurs VOC peu coûteux, notamment le manque de spécificité, la sensibilité croisée, la sensibilité environnementale et la dérive de la ligne de base. Bien que le capteur ne puisse pas mesurer précisément les concentrations de TVOC, il conserve une valeur pratique pour identifier les sources de TVOC et pour la surveillance environnementale. Les tests futurs d’AirGradient exploreront les performances du capteur dans diverses conditions afin de mieux comprendre ses capacités et ses limites.

Lire plus

Attaque de la chaîne d'approvisionnement affectant Ultralytics : Analyse d'un incident de sécurité PyPI

2024-12-14

Le projet Python Ultralytics a récemment subi une attaque de la chaîne d'approvisionnement. Les attaquants ont compromis les workflows GitHub Actions du projet et volé un jeton d'API PyPI, entraînant des versions contaminées : 8.3.41, 8.3.42, 8.3.45 et 8.3.46. L'attaque n'a pas exploité de faille de sécurité dans PyPI, mais ciblé le cache GitHub Actions. PyPI, utilisant la publication de confiance et les journaux de transparence Sigstore, a rapidement identifié et supprimé les logiciels malveillants. L'incident a mis en évidence des lacunes dans les configurations des jetons d'API et des environnements GitHub. L'article souligne l'importance de sécuriser les forges de logiciels et les workflows de build/publication, fournissant aux développeurs des recommandations de sécurité : utiliser des éditeurs de confiance, verrouiller les dépendances, éviter les modèles non sécurisés et activer l'authentification multifactorielle.

Lire plus

AlphaFind : Une application nécessitant JavaScript

2024-12-14

AlphaFind est une application qui nécessite l'activation de JavaScript pour fonctionner. Si JavaScript est désactivé dans votre navigateur ou si votre appareil ne le prend pas en charge, l'application ne fonctionnera pas. Assurez-vous que JavaScript est activé dans votre navigateur pour accéder aux fonctionnalités d'AlphaFind.

Lire plus
Divers

L'anticorps bispécifique de BioNTech prometteur dans le cancer du sein triple négatif

2024-12-15

BioNTech a présenté des données d'essais cliniques préliminaires pour son nouvel anticorps bispécifique, BNT-327, lors du Symposium sur le cancer du sein de San Antonio. Ciblant PD-1/PD-L1 et VEGF, l'anticorps a montré des résultats positifs chez les patientes atteintes d'un cancer du sein triple négatif. S'appuyant sur la découverte des inhibiteurs de points de contrôle, cette recherche représente une avancée potentielle dans l'immunothérapie de nouvelle génération, offrant de l'espoir pour de nouveaux traitements du cancer du sein triple négatif et potentiellement d'autres cancers.

Lire plus

SVC16 : L'ordinateur virtuel le plus simple défie les programmeurs

2024-12-15

SVC16 est un ordinateur virtuel minimaliste 16 bits conçu pour une simplicité maximale. Il ne possède pas de registres CPU, effectuant toutes les opérations dans un seul bloc de mémoire. L'ensemble d'instructions est extrêmement simplifié, sans fonctionnalités sophistiquées comme le son ou la taille d'écran variable. Les programmeurs sont mis au défi d'écrire eux-mêmes du code machine et des compilateurs, créant des prouesses incroyables avec les outils les plus simples. Le projet fournit un émulateur pour exécuter des programmes créés par l'utilisateur et même des jeux. C'est un projet parfait pour apprendre les principes de bas niveau de l'informatique et améliorer ses compétences en programmation.

Lire plus

Le processeur Monaka de Fujitsu : ARMv9, SVE2 et empilement 3D

2024-12-14

Fujitsu s'apprête à lancer Monaka, un nouveau processeur pour les centres de données dont la sortie est prévue pour 2027. Monaka utilise l'architecture ARMv9, les extensions SVE2 et l'empilement 3D, similaire à l'architecture AMD EPYC avec une puce IO centrale et des unités SRAM et de calcul désagrégées. Chaque processeur Monaka comportera jusqu'à 144 cœurs répartis sur quatre chipsets de 36 cœurs, le tout fabriqué selon un processus de 2 nm. L'E/S offre 12 canaux de mémoire DDR5 (potentiellement dépassant 600 Go/s de bande passante), PCIe 6.0 avec prise en charge CXL 3.0 et un refroidissement par air. Contrairement à son prédécesseur, A64FX, Monaka omet la prise en charge HBM et se concentre sur le marché général des centres de données.

Lire plus
Matériel Empilement 3D

YouTube a discrètement dégradé ses intégrations web, impactant l'expérience utilisateur

2024-12-14

YouTube a récemment modifié son lecteur intégré pour les éditeurs (PfP), supprimant le lien de titre renvoyant vers YouTube. Ce changement, visant à protéger les annonceurs car le PfP permet aux éditeurs de vendre leurs propres annonces, signifie que de nombreux sites web, dont The Verge, ont maintenant des intégrations YouTube où cliquer sur le titre n'ouvre plus la vidéo sur YouTube.com ou l'application. Malgré les efforts de communication avec YouTube, y compris le contact avec le PDG Neal Mohan, le changement persiste. Cela souligne comment les grandes plateformes technologiques peuvent prioriser leurs propres intérêts au détriment de l'expérience utilisateur.

Lire plus
Technologie lecteur intégré

HP 9845C : Un pionnier coloré des graphiques informatiques des années 80

2024-12-13

En 1981, le HP 9845C, modèle haut de gamme de la série 9845, est devenu le premier ordinateur HP à prendre en charge la couleur, impressionnant le monde par ses puissantes capacités graphiques. Doté de fonctionnalités de dessin vectoriel accélérées par le matériel et de remplissage de polygones, et prenant en charge les opérations matricielles rapides pour le rendu de modèles 3D, cet ordinateur initialement conçu pour un usage scientifique et d'ingénierie est rapidement devenu un système multi-usages, contribuant même aux scènes graphiques du film "WarGames" de 1983. Son programme de démonstration était remarquable, avec plus de 4 000 lignes de code et mettant en avant des concepts de pointe tels que le shading 3D, le dithering ordonné, le rendu filaire, le contrôle interactif du stylet et les infographies couleur en haute résolution jusqu'à 4 913 couleurs.

Lire plus

Carte de Noël électronique sans batterie et à récupération d'énergie dévoilée

2024-12-14

En 2024, Jeff Keacher, Sean Beever et Sophie ont créé une carte de Noël électronique sans batterie. Cette carte ingénieuse récolte les ondes radio et la lumière ambiantes (et non un panneau solaire traditionnel) pour alimenter ses LED et peut être contrôlée à distance via un réseau WiFi 2,4 GHz. Conçue pour une efficacité énergétique maximale, elle ne consomme qu'une moyenne de 400 nanowatts et peut même être alimentée par l'énergie RF qui fuit d'un four à micro-ondes.

Lire plus

La science du routage des commandes d'impression chez Canva

2024-12-14

L'équipe d'ingénierie de Canva a construit un système de règles configurable pour la traversée de graphes afin d'optimiser le routage des commandes d'impression. La séparation de la construction du graphe, de la traversée et du processus de décision garantit une haute disponibilité et une évolutivité accrue. Il utilise des bases de données relationnelles pour la gestion des données et génère un graphe mis en cache de manière asynchrone pour des requêtes rapides. Un moteur de règles et un algorithme de flot de coût minimal modifié trouvent la meilleure route en quelques millisecondes, minimisant la distance de transport et les émissions de carbone, améliorant ainsi l'expérience utilisateur et l'efficacité opérationnelle.

Lire plus

Notes de publication HTMX v2.0.4 : corrections de bogues et améliorations

2024-12-14

Les notes de publication d’HTMX v2.0.4 détaillent de nombreux correctifs de bogues et améliorations. Cette version met l’accent sur l’amélioration de la stabilité et de la compatibilité, notamment des correctifs pour les problèmes de Shadow DOM imbriqués, un comportement amélioré de `hx-boost` dans les formulaires, une meilleure prise en charge des composants Web et de Shadow DOM, et des extensions mises à jour pour des performances et une fiabilité améliorées. Des ajustements à la fonction `htmx.ajax` et des optimisations du traitement des événements `hx-trigger` sont également inclus.

Lire plus
1 2 13 14 15 17 19 20 21 22