Attention par Produit Tensoriel : Tout ce dont vous avez besoin

2025-01-22
Attention par Produit Tensoriel : Tout ce dont vous avez besoin

L'adaptation à l'échelle des modèles linguistiques pour gérer des séquences d'entrée plus longues nécessite généralement de grands caches clé-valeur (KV), entraînant une surcharge mémoire importante pendant l'inférence. Cet article propose l'Attention par Produit Tensoriel (TPA), un nouveau mécanisme d'attention qui utilise des décompositions tensorielles pour représenter de manière compacte les requêtes, les clés et les valeurs, réduisant ainsi considérablement la taille du cache KV pendant l'inférence. En factorisant ces représentations en composants de faible rang contextuels (factorisation contextuelle) et en les intégrant de manière transparente avec RoPE, la TPA améliore la qualité du modèle tout en maintenant l'efficacité mémoire. Sur la base de la TPA, les auteurs introduisent le Transformateur d'Attention par Produit Tensoriel (T6), une nouvelle architecture de modèle pour la modélisation de séquences. Une évaluation empirique approfondie sur des tâches de modélisation linguistique montre que T6 surpasse les modèles de base standard du Transformer, notamment MHA, MQA, GQA et MLA, sur diverses métriques, notamment la perplexité et une gamme de benchmarks d'évaluation reconnus. Notamment, l'efficacité mémoire de la TPA permet le traitement de séquences beaucoup plus longues sous des contraintes de ressources fixes, ce qui répond à un défi d'évolutivité critique dans les modèles linguistiques modernes. Le code est disponible.

Lire plus

ELIZA Réanimée : Le Premier Chatbot au Monde Restauré

2025-01-18
ELIZA Réanimée : Le Premier Chatbot au Monde Restauré

Des chercheurs ont réussi à faire revivre ELIZA, généralement considéré comme le premier chatbot au monde, sur un système CTSS restauré, le premier système de partage de temps au monde (émulé sur un IBM 7094). Utilisant des imprimés originaux, le code MAD-SLIP et des documents de support trouvés dans les archives du Professeur Weizenbaum au MIT, ils ont recréé ELIZA et son célèbre script DOCTOR. L'ensemble du projet est open-source, permettant à quiconque disposant d'un système d'exploitation de type Unix d'exécuter ce chatbot révolutionnaire.

Lire plus
IA

Décryptage des mathématiques derrière le jeu de mots quotidien du NYT 'Waffle'

2025-01-17
Décryptage des mathématiques derrière le jeu de mots quotidien du NYT 'Waffle'

Un article sur arXiv explore les mathématiques derrière le jeu de mots quotidien du New York Times, Waffle. L'auteur S.P. Glasby se penche sur les propriétés combinatoires du jeu, expliquant pourquoi certains puzzles sont faciles tandis que d'autres sont exceptionnellement difficiles. La recherche révèle qu'une solution parfaite nécessite précisément 11 orbites parmi les 21 carrés, avec au moins une orbite de longueur 1. Cela fournit un cadre mathématique pour comprendre et potentiellement améliorer des jeux de mots similaires.

Lire plus
Jeux

Titans : Une nouvelle architecture neuronale pour apprendre à mémoriser au moment des tests

2025-01-16
Titans : Une nouvelle architecture neuronale pour apprendre à mémoriser au moment des tests

Les chercheurs présentent Titans, une nouvelle architecture neuronale qui combine un module de mémoire neuronale et un mécanisme d'attention pour mémoriser efficacement le contexte historique à long terme. Contrairement aux modèles récurrents traditionnels et aux mécanismes d'attention, Titans démontre une efficacité et une précision supérieures dans la gestion des longues séquences, excellant notamment dans les tâches de "recherche d'une aiguille dans une botte de foin". Il surpasse les Transformers et les modèles récurrents linéaires récents sur diverses tâches, notamment la modélisation du langage, le raisonnement de bon sens, la génomique et les séries temporelles, et s'adapte à des fenêtres de contexte supérieures à 2 millions de jetons.

Lire plus

Vers le raisonnement de système 2 dans les LLMs : apprendre à penser avec Meta Chain-of-Thought

2025-01-10
Vers le raisonnement de système 2 dans les LLMs : apprendre à penser avec Meta Chain-of-Thought

Les chercheurs proposent un nouveau cadre, Meta Chain-of-Thought (Meta-CoT), qui étend la méthode Chain-of-Thought (CoT) traditionnelle en modélisant explicitement le raisonnement sous-jacent nécessaire pour arriver à un CoT particulier. Meta-CoT utilise la supervision de processus, la génération de données synthétiques et des algorithmes de recherche. L'article décrit un pipeline d'entraînement intégrant l'ajustement d'instructions avec des traces de recherche linéarisées et l'apprentissage par renforcement. Ce travail fournit une feuille de route pour activer Meta-CoT dans les LLMs, promettant un raisonnement plus puissant et plus humain en IA.

Lire plus

Remettre en question le théorème CAP : une conjecture de progrès partiel sous asynchronisme

2025-01-08
Remettre en question le théorème CAP : une conjecture de progrès partiel sous asynchronisme

Un nouvel article remet en question le célèbre théorème CAP. Les auteurs émettent l’hypothèse qu’un progrès partiel est possible en cas de partition du réseau, ce qui signifie que le système peut rester réactif pour un sous-ensemble de clients et atteindre un débit non nul en cas de panne. Ils présentent la conception de leur protocole de consensus CASSANDRA, permettant aux répliques partitionnées d’ordonner les requêtes des clients, offrant ainsi une voie potentielle vers des systèmes à la fois cohérents et disponibles dans une certaine mesure, même pendant les partitions. Cette recherche propose une approche novatrice pour construire des systèmes distribués plus robustes.

Lire plus

Dix ans de revue : Plongez dans la détection d’anomalies de séries temporelles

2025-01-06
Dix ans de revue : Plongez dans la détection d’anomalies de séries temporelles

Les progrès de la technologie de collecte de données et l’explosion des données en streaming soulignent le besoin crucial d’analyse de séries temporelles. Cet article propose une revue de dix ans de la détection d’anomalies de séries temporelles, englobant des méthodes allant des mesures statistiques traditionnelles à l’essor des algorithmes d’apprentissage automatique. Il présente une taxonomie centrée sur les processus pour catégoriser et résumer les solutions existantes, offrant une méta-analyse de la littérature et soulignant les tendances générales du domaine. Cette étude exhaustive sert de ressource précieuse pour les chercheurs.

Lire plus

Des scientifiques décryptent le code du Cacio e Pepe parfait

2025-01-04
Des scientifiques décryptent le code du Cacio e Pepe parfait

Une équipe de scientifiques s'est penchée sur l'art culinaire, plus précisément sur le plat italien classique Cacio e Pepe, pour percer les secrets de sa texture crémeuse parfaite. Leurs recherches ont révélé que la concentration d'amidon est le facteur clé influençant la stabilité de la sauce. Des concentrations d'amidon inférieures à 1 % (par rapport à la masse du fromage) conduisent à la formation de grumeaux, un phénomène baptisé « phase mozzarella », qui donne une sauce séparée et désagréable. L'étude a également exploré l'impact du rapport fromage/eau à une concentration d'amidon fixe, observant une température critique de solution inférieure et développant un modèle d'énergie libre efficace minimal pour l'expliquer. Enfin, ils ont présenté une recette optimisée scientifiquement, garantissant un Cacio e Pepe impeccable et constant.

Lire plus

Reproduire OpenAI o1 : Une feuille de route du point de vue de l’apprentissage par renforcement

2025-01-03
Reproduire OpenAI o1 : Une feuille de route du point de vue de l’apprentissage par renforcement

Un nouvel article explore la voie à suivre pour reproduire le modèle énigmatique o1 d’OpenAI, du point de vue de l’apprentissage par renforcement. Les chercheurs affirment que la puissante capacité de raisonnement de o1 ne provient pas d’une seule technique, mais de la synergie de quatre composants clés : l’initialisation de la politique, la conception de la récompense, la recherche et l’apprentissage. L’initialisation de la politique dote le modèle d’un raisonnement semblable à celui d’un humain ; la conception de la récompense fournit des signaux denses et efficaces qui guident la recherche et l’apprentissage ; la recherche génère des solutions de haute qualité pendant l’entraînement et les tests ; l’apprentissage utilise les données de la recherche pour améliorer la politique, obtenant finalement de meilleures performances. Cet article offre des informations précieuses pour comprendre et reproduire o1, ouvrant de nouvelles voies pour le développement des LLM.

Lire plus

4,5 Millions d'Étoiles Fausses sur GitHub : Une Compétition de Popularité Sombre

2025-01-02
4,5 Millions d'Étoiles Fausses sur GitHub : Une Compétition de Popularité Sombre

Une nouvelle étude révèle 4,5 millions d'étoiles suspectées d'être fausses sur GitHub, principalement utilisées pour promouvoir des dépôts de logiciels malveillants de courte durée déguisés en logiciels piratés, en triches de jeux ou en bots de cryptomonnaie. Les chercheurs ont développé StarScout, un outil permettant de détecter les comportements anormaux liés aux étoiles. L'étude montre une augmentation rapide de l'activité d'étoiles fausses depuis 2024. Bien que les utilisateurs qui attribuent des étoiles fausses ne diffèrent pas significativement des utilisateurs moyens en termes de caractéristiques de profil, leurs schémas d'activité sont hautement anormaux. Bien qu'elles offrent des avantages promotionnels à court terme, les étoiles fausses finissent par devenir un fardeau à long terme. Cette recherche a des implications importantes pour les modérateurs de plateformes, les praticiens de l'open source et les chercheurs en sécurité de la chaîne d'approvisionnement.

Lire plus
Technologie

TinyStories : Des modèles linguistiques de petite taille peuvent-ils encore produire du texte anglais cohérent ?

2025-01-02
TinyStories : Des modèles linguistiques de petite taille peuvent-ils encore produire du texte anglais cohérent ?

Des chercheurs présentent TinyStories, un ensemble de données synthétique de courtes histoires utilisant uniquement le vocabulaire compris par des enfants typiques de 3 à 4 ans, généré par GPT-3.5 et GPT-4. Ils démontrent que les modèles linguistiques entraînés sur TinyStories, même ceux comportant moins de 10 millions de paramètres et des architectures simples (un seul bloc transformateur), peuvent générer des histoires cohérentes et fluides de plusieurs paragraphes, faisant preuve d’une grammaire et d’un raisonnement étonnamment bons. Cela remet en question l’idée que la génération de texte cohérent nécessite des modèles massifs et des architectures complexes, et introduit un nouveau paradigme d’évaluation utilisant GPT-4 pour noter les histoires générées comme le ferait un enseignant humain, surmontant ainsi les limites des benchmarks standard.

Lire plus

Ingénierie de l'activation : manipulation des traits de personnalité dans les LLM

2024-12-31
Ingénierie de l'activation : manipulation des traits de personnalité dans les LLM

Un article sur arXiv explore une nouvelle méthode pour identifier et manipuler les traits de personnalité dans les grands modèles de langage (LLM) à l'aide de l'« ingénierie de l'activation ». Inspirés par des recherches antérieures sur le refus et la direction des LLM, les chercheurs proposent une technique pour ajuster les directions d'activation liées aux traits de personnalité, permettant un réglage fin dynamique de la personnalité du LLM. Ce travail contribue à une meilleure compréhension de l'interprétabilité des LLM tout en soulevant des considérations éthiques cruciales.

Lire plus

Au-delà de la Moyenne des Gradients dans l'Optimisation Parallèle : Robustesse Améliorée grâce au Filtrage d'Accord des Gradients

2024-12-30
Au-delà de la Moyenne des Gradients dans l'Optimisation Parallèle : Robustesse Améliorée grâce au Filtrage d'Accord des Gradients

Cet article présente le Filtrage d'Accord des Gradients (FAG), une nouvelle méthode pour améliorer la moyenne des gradients dans l'optimisation de l'apprentissage profond distribué. Les méthodes traditionnelles moyennent les gradients de micro-lots pour calculer un gradient de macro-lot, mais cela peut conduire à des gradients orthogonaux ou négativement corrélés aux stades ultérieurs de l'entraînement, entraînant un sur-apprentissage. Le FAG réduit la variance du gradient en calculant la distance cosinus entre les micro-gradients et en filtrant les mises à jour conflictuelles avant la moyenne. Les expériences sur des benchmarks de classification d'images tels que CIFAR-100 et CIFAR-100N-Fine montrent que le FAG améliore significativement la précision de validation, même avec des tailles de micro-lots plus petites, atteignant jusqu'à 18,2 % d'amélioration par rapport aux approches traditionnelles tout en réduisant le coût de calcul.

Lire plus

Évaluation des capacités de génération de code des LLMs : Présentation de MultiCodeBench

2024-12-30
Évaluation des capacités de génération de code des LLMs : Présentation de MultiCodeBench

Les assistants de programmation basés sur l’IA et alimentés par des grands modèles de langage (LLM) de code sont devenus de plus en plus répandus, augmentant considérablement la productivité des développeurs. Cependant, les benchmarks existants de génération de code se concentrent principalement sur des scénarios à usage général, laissant les performances des LLM dans des domaines d’application spécifiques largement inconnues. Cet article présente MultiCodeBench, un nouveau benchmark composé de 2 400 tâches de programmation dans 12 domaines populaires de développement de logiciels et 15 langages de programmation. Des expériences sur onze LLM principaux révèlent leurs performances en matière de génération de code dans différents domaines, offrant des informations pratiques aux développeurs pour la sélection des LLM et des conseils aux développeurs de modèles pour améliorer les capacités de génération de code spécifiques à un domaine.

Lire plus
Développement Génération de Code

Percée dans l'évaluation des grands modèles de langage pour la génération de tests unitaires

2024-12-30
Percée dans l'évaluation des grands modèles de langage pour la génération de tests unitaires

Des chercheurs ont mené une évaluation complète du potentiel des grands modèles de langage (LLM) dans l'automatisation de la génération de tests unitaires. Ils ont comparé les performances de cinq LLM open source au GPT-4 propriétaire et à l'outil traditionnel Evosuite sur 17 projets Java, en étudiant l'impact de différentes stratégies d'invite. L'étude a révélé que les LLM open source offrent des avantages en matière de confidentialité des données et surpassent les autres dans certaines tâches, mais a également mis en évidence les limites de la génération de tests unitaires basée sur les LLM. Cette recherche fournit des informations précieuses pour guider les futures applications des LLM dans ce domaine.

Lire plus

Confusion d'identité dans les LLM : une crise de confiance émerge

2024-12-30
Confusion d'identité dans les LLM : une crise de confiance émerge

Une étude récente révèle la prévalence de la "confusion d'identité" dans les grands modèles de langage (LLM). Les chercheurs ont constaté que plus de 25 % des LLM présentent une mauvaise représentation de leurs origines ou de leur identité, principalement due à des hallucinations du modèle plutôt qu'à une réplication ou une réutilisation. Cette confusion d'identité érode considérablement la confiance des utilisateurs, en particulier pour les tâches critiques telles que l'éducation et l'utilisation professionnelle, dépassant l'impact négatif des erreurs logiques. Les résultats mettent en évidence les risques systémiques posés par la confusion d'identité des LLM et appellent à une plus grande attention à la fiabilité et à la crédibilité du modèle.

Lire plus

Expliquer les décisions des grands modèles de langage à l'aide des valeurs de Shapley

2024-12-28
Expliquer les décisions des grands modèles de langage à l'aide des valeurs de Shapley

Les grands modèles de langage (LLM) offrent des possibilités passionnantes pour simuler le comportement humain, mais leurs processus de prise de décision manquent de transparence. Cet article présente une nouvelle approche basée sur les valeurs de Shapley pour interpréter le comportement des LLM et quantifier la contribution de chaque composant de l'invite à la sortie du modèle. Grâce à deux applications, l'étude révèle que les décisions des LLM sont sensibles au « bruit des jetons », où le modèle réagit de manière disproportionnée aux jetons ayant un contenu informatif minimal. Cela soulève des inquiétudes quant à la robustesse et à la généralisation des informations obtenues à partir des LLM dans la simulation du comportement humain, soulignant la nécessité d'une ingénierie minutieuse des invites et d'une compréhension plus nuancée de leurs limites lorsqu'ils sont utilisés dans la recherche.

Lire plus

Invariants : Calcul et applications

2024-12-27
Invariants : Calcul et applications

Un article tutoriel publié dans les actes d'ISSAC 2023 explore le calcul et les applications des invariants en mathématiques. L'article se concentre sur l'interaction entre les théories des invariants différentiels et algébriques, présentant une adaptation algébrique de la méthode du repère mobile de la géométrie différentielle pour calculer un ensemble générateur d'invariants rationnels. Il discute également du rôle des signatures d'invariants différentiels dans la résolution des problèmes d'équivalence en géométrie et en algèbre, et des défis liés à la conception d'algorithmes basés sur ce concept.

Lire plus

Des politiques adversariales battent les IA de Go surhumaines

2024-12-24
Des politiques adversariales battent les IA de Go surhumaines

Des chercheurs ont atteint un taux de victoire supérieur à 97 % contre KataGo, un système d'IA de Go de pointe, en entraînant des politiques adversariales. Ces adversaires n'ont pas gagné en jouant bien au Go, mais en trompant KataGo pour qu'il commette des erreurs critiques. L'attaque s'est transférée sans réentraînement à d'autres IA de Go surhumaines et était suffisamment simple pour que des experts humains puissent la reproduire sans assistance algorithmique. La vulnérabilité a persisté même après que KataGo a été entraîné de manière adversariale à se défendre contre elle, soulignant des modes de défaillance surprenants même dans les systèmes d'IA surhumains.

Lire plus

Des données sur les supernovae suggèrent un changement fondamental dans les modèles cosmologiques

2024-12-23
Des données sur les supernovae suggèrent un changement fondamental dans les modèles cosmologiques

Une nouvelle étude présente une analyse statistique indépendante du modèle cosmologique de l'ensemble de données spectroscopiques de supernovae de Type Ia Pantheon+, améliorant la méthodologie standard utilisée par Lane et al. En utilisant uniquement l'équation de Tripp pour la standardisation des supernovae, l'étude évite les corrélations potentielles dans les distributions d'étirement et de couleur. Les résultats favorisent fortement la cosmologie « Timescape » par rapport au modèle ΛCDM standard pour expliquer les données, fournissant des preuves de la nécessité de revoir les fondements de la cosmologie théorique et observationnelle. Même en restreignant l'échantillon aux décalages vers le rouge au-delà des échelles conventionnelles d'homogénéité statistique (z > 0,075), Timescape reste préféré à ΛCDM.

Lire plus

L'apprentissage par renforcement hors ligne améliore le raisonnement en plusieurs étapes des LLMs

2024-12-23
L'apprentissage par renforcement hors ligne améliore le raisonnement en plusieurs étapes des LLMs

Les chercheurs présentent OREO, une méthode d'apprentissage par renforcement hors ligne conçue pour améliorer les capacités de raisonnement en plusieurs étapes des grands modèles de langage (LLMs). S'appuyant sur l'apprentissage par renforcement à entropie maximale, OREO apprend conjointement un modèle de politique et une fonction de valeur en optimisant l'équation de Bellman douce. Cela résout les limitations de l'optimisation directe des préférences (DPO) dans le raisonnement en plusieurs étapes, notamment le besoin de données de préférence appariées étendues et le défi de l'attribution de crédit efficace. Les expériences montrent la supériorité d'OREO par rapport aux méthodes d'apprentissage hors ligne existantes sur les benchmarks impliquant le raisonnement mathématique et le contrôle d'agent incarné.

Lire plus

Le problème de la tokenisation prouvé NP-complet, doublant les défis de la compression de données

2024-12-22
Le problème de la tokenisation prouvé NP-complet, doublant les défis de la compression de données

Un article publié sur arXiv prouve la complétude NP de deux variantes de la tokenisation, définie comme le problème de compression d'un ensemble de données à au plus δ symboles, soit en trouvant un vocabulaire directement (tokenisation directe), soit en sélectionnant une séquence d'opérations de fusion (tokenisation ascendante). Cette découverte a des implications significatives pour la compression de données et le traitement du langage naturel, soulignant l'immense défi de résoudre efficacement le problème de la tokenisation pour les ensembles de données à grande échelle.

Lire plus

Progrès révolutionnaire : compilation sécurisée de C vers Rust

2024-12-21
Progrès révolutionnaire : compilation sécurisée de C vers Rust

Des chercheurs ont mis au point une nouvelle méthode permettant de compiler du code C en Rust de manière sécurisée. Cette technique utilise l'analyse statique et la traduction dirigée par les types pour éviter de dépendre des blocs `unsafe` de Rust, garantissant ainsi la sécurité mémoire. La méthode a été appliquée avec succès à des codes de la bibliothèque cryptographique HACL* et des bibliothèques EverParse, donnant naissance à une bibliothèque cryptographique moderne vérifiée de 80 000 lignes en Rust pur, une première du genre.

Lire plus

Classification de sécurité légère utilisant des modèles de langage élagués

2024-12-19
Classification de sécurité légère utilisant des modèles de langage élagués

Des chercheurs présentent la Classification Améliorée par Couches (LEC), une nouvelle technique légère pour la classification de la sécurité du contenu et de l'injection d'invite dans les grands modèles de langage (LLM). LEC entraîne un classificateur de régression logistique pénalisée (PLR) optimisé sur l'état caché de la couche de transformateur intermédiaire optimale d'un LLM. En combinant l'efficacité du PLR avec la compréhension sophistiquée du langage des LLM, LEC surpasse GPT-4o et les modèles spécialisés. Les petits modèles polyvalents comme Qwen 2.5 et les architectures comme DeBERTa v3 s'avèrent être de robustes extracteurs de caractéristiques, s'entraînant efficacement avec moins de 100 exemples de haute qualité. Il est crucial que les couches de transformateur intermédiaires surpassent généralement la couche finale. Un seul LLM polyvalent peut classer la sécurité du contenu, détecter les injections d'invite et générer une sortie, ou les LLM plus petits peuvent être élagués à leur couche intermédiaire optimale pour l'extraction de caractéristiques. Des résultats cohérents sur différentes architectures suggèrent que l'extraction robuste de caractéristiques est inhérente à de nombreux LLM.

Lire plus

Les algorithmes de tri classiques révèlent des compétences inattendues dans un modèle minimal d'intelligence basale

2024-12-19
Les algorithmes de tri classiques révèlent des compétences inattendues dans un modèle minimal d'intelligence basale

Une nouvelle étude utilise les algorithmes de tri classiques comme modèle de morphogenèse, remettant en question la sagesse conventionnelle sur ces algorithmes. En brisant les hypothèses de contrôle descendant et de matériel parfaitement fiable, les chercheurs ont découvert que les tableaux d'éléments autonomes se trient de manière plus fiable et robuste que les implémentations traditionnelles, même en présence d'erreurs. De manière surprenante, ces algorithmes présentent la capacité de réduire temporairement les progrès pour contourner les défauts et un comportement de clustering inattendu entre les éléments dans les tableaux chimériques suivant différents algorithmes. Cette découverte offre une nouvelle perspective sur l'intelligence diverse, démontrant comment des formes basales d'intelligence peuvent émerger dans des systèmes simples sans encodage explicite dans leur mécanique sous-jacente.

Lire plus

Évolution culturelle de la coopération entre agents LLM

2024-12-18
Évolution culturelle de la coopération entre agents LLM

Des chercheurs ont étudié si une « société » d'agents de grands modèles de langage (LLM) peut apprendre des normes sociales mutuellement bénéfiques malgré les incitations à la défection. Les expériences ont révélé des différences significatives dans l'évolution de la coopération entre les modèles de base, Claude 3.5 Sonnet surpassant largement Gemini 1.5 Flash et GPT-4o. De plus, Claude 3.5 Sonnet a utilisé un mécanisme de punition coûteux pour obtenir des scores encore plus élevés, une prouesse non reproduite par les autres modèles. Cette étude propose une nouvelle référence pour les LLM, axée sur les implications sociales du déploiement d'agents LLM, offrant des informations sur la construction d'agents d'IA plus robustes et coopératifs.

Lire plus

Plus d'Adam : L'adaptation du taux d'apprentissage à l'initialisation est tout ce dont vous avez besoin

2024-12-18
Plus d'Adam : L'adaptation du taux d'apprentissage à l'initialisation est tout ce dont vous avez besoin

Les chercheurs présentent SGD-SaI, un nouvel optimiseur améliorant la descente de gradient stochastique. SGD-SaI traite les déséquilibres d'entraînement en adaptant le taux d'apprentissage à l'initialisation pour différents groupes de paramètres, en fonction de leur rapport signal/bruit du gradient. Bien plus efficace en mémoire qu'AdamW, SGD-SaI égale ou surpasse les performances d'AdamW sur diverses tâches basées sur les Transformers, incluant la classification ImageNet et le pré-entraînement des LLM. Sa robustesse et son aspect pratique sont démontrés dans diverses applications, en faisant une alternative convaincante.

Lire plus
IA

Le Jailbreaking Best-of-N : Une nouvelle attaque contre les systèmes d'IA

2024-12-15
Le Jailbreaking Best-of-N : Une nouvelle attaque contre les systèmes d'IA

Des chercheurs ont développé un nouvel algorithme d'attaque IA appelé Best-of-N (BoN). Cet algorithme boîte noire modifie à plusieurs reprises les invites — en mélangeant aléatoirement ou en mettant en majuscules le texte, par exemple — jusqu'à ce qu'il obtienne une réponse nuisible du système IA. Le BoN a atteint des taux de réussite d'attaque (ASR) impressionnants sur des modèles de langage fermés tels que GPT-4o (89 %) et Claude 3.5 Sonnet (78 %), contournant efficacement les défenses existantes. De plus, le BoN s'étend facilement aux modèles de langage visuel et audio, soulignant la vulnérabilité même des systèmes IA avancés aux variations d'entrée apparemment inoffensives. Cette recherche souligne d'importantes préoccupations de sécurité dans le domaine de l'IA.

Lire plus

Usine d'insectes cyborgs automatisée : système d'assemblage automatique pour construire des robots hybrides insectes-ordinateurs

2024-12-15
Usine d'insectes cyborgs automatisée : système d'assemblage automatique pour construire des robots hybrides insectes-ordinateurs

Des chercheurs ont mis au point un système automatisé pour assembler des robots hybrides insectes-ordinateurs. Ce système utilise un bras robotique guidé par la vision pour implanter précisément des électrodes bipolaires personnalisées sur le dos de blattes siblantes de Madagascar. L'ensemble du processus ne prend que 68 secondes, et les robots assemblés atteignent un contrôle de la direction et de la décélération comparable à celui des systèmes assemblés manuellement. Un système multi-agents de 4 robots a réussi à naviguer sur un terrain accidenté, démontrant la faisabilité de la production de masse et des applications dans le monde réel. Cette recherche ouvre la voie à une production et un déploiement à grande échelle de robots insectes.

Lire plus

CCxTrust : Plateforme de calcul confidentiel basée sur la confiance collaborative TEE et TPM

2024-12-12
CCxTrust : Plateforme de calcul confidentiel basée sur la confiance collaborative TEE et TPM

CCxTrust est une plateforme de calcul confidentiel innovante qui combine les avantages des environnements d'exécution fiables (TEE) et des modules de plateforme sécurisés (TPM) pour établir un cadre de confiance collaboratif. En tirant parti de la racine de confiance (RoT) en boîte noire intégrée aux TEE de processeur et de la RoT en boîte blanche flexible des TPM, CCxTrust assure la protection de bout en bout des données et modèles sensibles, surmontant les limites liées à la dépendance à une seule RoT matérielle. La plateforme implémente des racines de confiance pour la mesure (RTM) indépendantes et une racine de confiance pour les rapports (RTR) collaborative, améliorée par un protocole d'attestation composite pour une sécurité et une efficacité accrues. Les résultats expérimentaux démontrent des avantages de performance significatifs.

Lire plus
1 2 4