LLM et agents de codage : un cauchemar cybernétique

2025-08-18
LLM et agents de codage : un cauchemar cybernétique

L'essor des grands modèles linguistiques (LLM) et des agents de codage a créé d'importantes failles de sécurité. Les attaquants peuvent exploiter des attaques par injection d'invite, en cachant des instructions malveillantes dans des référentiels de code publics ou en tirant parti des lacunes cognitives des LLM pour tromper les agents de codage afin qu'ils exécutent des actions malveillantes, ce qui pourrait entraîner l'exécution de code à distance (RCE). Ces attaques sont furtives et difficiles à contrer, entraînant des violations de données, des compromis de système et d'autres conséquences graves. Les chercheurs ont identifié plusieurs vecteurs d'attaque, tels que le masquage d'invites malveillantes dans du texte blanc sur blanc, l'intégration d'instructions malveillantes dans des référentiels de code et l'utilisation de la contrebande ASCII pour masquer du code malveillant. Même les outils de révision de code apparemment sûrs peuvent constituer des points d'entrée pour les attaques. Actuellement, la meilleure défense consiste à restreindre les autorisations des agents de codage et à examiner manuellement toutes les modifications de code, mais cela n'élimine pas le risque. Le manque de fiabilité inhérent aux LLM en fait des cibles idéales pour les attaquants, ce qui exige un effort accru de la part de l'industrie pour faire face à cette menace croissante.

Lire plus
IA

Le Fléau des LLMs : L'Absence de Modèles du Monde

2025-06-29
Le Fléau des LLMs : L'Absence de Modèles du Monde

Cet essai explore un défaut fondamental des grands modèles de langage (LLMs) : l'absence de modèles cognitifs robustes du monde. Prenant le jeu d'échecs comme exemple principal, l'auteur montre comment les LLMs, malgré leur capacité à mémoriser des données et des règles de jeu, échouent à construire et maintenir des modèles dynamiques de l'état du plateau, conduisant à des coups illégaux et autres erreurs. Ce problème ne se limite pas aux échecs ; dans divers domaines, de la compréhension de textes à la génération d'images en passant par la compréhension de vidéos, l'absence de modèles du monde chez les LLMs se traduit par des hallucinations et des imprécisions. L'auteur soutient que la construction de modèles du monde robustes est cruciale pour la sécurité de l'IA, soulignant les limites des conceptions actuelles des LLMs dans la gestion de scénarios complexes du monde réel et exhortant les chercheurs en IA à privilégier la science cognitive pour développer des systèmes d'IA plus fiables.

Lire plus

Un article d'Apple révèle les limites de l'augmentation d'échelle des grands modèles de langage

2025-06-14
Un article d'Apple révèle les limites de l'augmentation d'échelle des grands modèles de langage

Un article d'Apple soulignant les limites des capacités de raisonnement des grands modèles de langage (LLM) a déclenché un débat animé au sein de la communauté de l'IA. L'article montre que même les modèles les plus massifs ont du mal avec des tâches de raisonnement apparemment simples, remettant en question l'hypothèse dominante selon laquelle « l'augmentation d'échelle résout tout » pour atteindre l'Intelligence Artificielle Générale (AGI). Si certaines tentatives de réfutation ont émergé, aucune n'a été convaincante. Le problème principal, selon l'article, est le manque de fiabilité des LLM dans l'exécution d'algorithmes complexes en raison des limitations de longueur de sortie et de la dépendance excessive aux données d'entraînement. La véritable AGI, suggère l'auteur, nécessite des modèles supérieurs et une approche hybride combinant les réseaux neuronaux et les algorithmes symboliques. L'importance de l'article réside dans sa provocation à une réévaluation critique du chemin de développement de l'AGI, révélant que l'augmentation d'échelle à elle seule est insuffisante.

Lire plus
IA

Un article d'Apple met à mal les LLM : la tour de Hanoï révèle leurs limites

2025-06-08
Un article d'Apple met à mal les LLM : la tour de Hanoï révèle leurs limites

Un nouvel article d'Apple a fait des vagues au sein de la communauté IA. L'article démontre que même la dernière génération de « modèles de raisonnement » échoue à résoudre de manière fiable le problème classique de la tour de Hanoï, exposant une faille critique dans les capacités de raisonnement des grands modèles de langage (LLM). Cela rejoint les critiques de longue date de chercheurs comme Gary Marcus et Subbarao Kambhampati, qui ont mis en évidence les capacités de généralisation limitées des LLM. L'article montre que même lorsqu'on leur fournit l'algorithme de solution, les LLM échouent toujours à résoudre le problème efficacement, suggérant que leur « processus de raisonnement » n'est pas un raisonnement logique véritable. Cela indique que les LLM ne constituent pas une voie directe vers l'intelligence artificielle générale (AGI), et leurs applications nécessitent une attention particulière.

Lire plus
IA

IA 2027 : Une prophétie terrifiante sur l’IA ou un thriller technologique bien ficelé ?

2025-05-22
IA 2027 : Une prophétie terrifiante sur l’IA ou un thriller technologique bien ficelé ?

Un rapport intitulé « IA 2027 » a suscité un vif débat, dépeignant un avenir terrifiant dominé par une IA superintelligente, laissant l’humanité sur la touche. Rédigé comme un thriller et étayé par des graphiques et des données, ce rapport vise à alerter sur les risques potentiels de l’IA. Cependant, l’auteur soutient que les prédictions du rapport manquent de rigueur logique, que ses estimations de l’évolution technologique sont trop optimistes et que son évaluation des différentes possibilités et probabilités est gravement lacunaire. L’auteur conclut que le rapport est davantage un thriller technologique qu’une prédiction scientifique, et que son ton alarmiste pourrait en réalité accélérer la course aux armements dans le domaine de l’IA, contrecarrant ainsi son objectif initial.

Lire plus

Un graphique de prévision de l'IA erroné devient viral : un récit d'avertissement

2025-05-04
Un graphique de prévision de l'IA erroné devient viral : un récit d'avertissement

METR, un laboratoire de recherche à but non lucratif, a publié un rapport montrant les progrès rapides des grands modèles de langage dans les tâches logicielles, suscitant des discussions virales. Cependant, la prémisse du graphique est erronée : il utilise le temps de résolution humaine pour mesurer la difficulté du problème et le temps de taux de réussite de 50 % de l'IA comme mesure de capacité. Cela ignore les complexités diverses des problèmes, conduisant à des résultats arbitraires impropres à la prédiction. Bien que l'ensemble de données de METR et les discussions sur les limites actuelles de l'IA soient précieux, utiliser le graphique pour des prédictions de capacité future de l'IA est trompeur. Sa propagation virale souligne une tendance à croire ce que l'on veut croire plutôt que de se concentrer sur la validité.

Lire plus

Les LLM atteignent un mur : l'échec de Llama 4 et le cycle de l'engouement pour l'IA

2025-04-08
Les LLM atteignent un mur : l'échec de Llama 4 et le cycle de l'engouement pour l'IA

Le lancement de Llama 4 indique que les grands modèles de langage pourraient avoir atteint un plafond de performance. L'investissement massif de Meta dans Llama 4 n'a pas réussi à produire les avancées attendues, avec des rumeurs suggérant une possible manipulation de données pour atteindre les objectifs. Cela reflète les difficultés rencontrées par OpenAI, Google et d'autres entreprises dans leur quête d'une IA de niveau GPT-5. La déception de l'industrie concernant les performances de Llama 4 est généralisée, renforcée par le départ de la vice-présidente de l'IA de Meta, Joelle Pineau. L'article souligne des problèmes tels que les fuites et la contamination des données dans l'industrie de l'IA, accusant des personnalités de premier plan de faire des prédictions excessivement optimistes, ignorant les échecs du monde réel.

Lire plus

Modification du projet de loi californien AB-501 : la conversion d’OpenAI à but lucratif compromise ?

2025-04-07
Modification du projet de loi californien AB-501 : la conversion d’OpenAI à but lucratif compromise ?

Le projet de loi AB-501 de l’Assemblée de Californie, déposé par la députée Diane Papan, visant à empêcher la transformation d’OpenAI d’une organisation à but non lucratif en une organisation à but lucratif, a subi une modification importante et mystérieuse. La version mise à jour inclut, de manière inexplicable, des dispositions relatives aux privilèges de saisie conservatoire sur les aéronefs. Des sources confirment qu’il ne s’agit pas d’une erreur administrative. Des rumeurs suggèrent que le PDG d’OpenAI, Sam Altman, a contacté Papan avant le changement, mais le contenu de la conversation reste inconnu. La situation a suscité un examen minutieux, avec des appels à une enquête des médias sur les circonstances entourant cette modification surprenante. Des dizaines de milliards de dollars sont en jeu, laissant l’avenir d’OpenAI incertain.

Lire plus

Meta accusée de piratage massif pour entraîner Llama 3

2025-03-23
Meta accusée de piratage massif pour entraîner Llama 3

Meta est accusée de violation massive de droits d'auteur dans l'entraînement de son grand modèle linguistique, Llama 3. Un article d'Alex Reisner dans The Atlantic révèle que Meta a utilisé Libgen, une base de données connue pour contenir du matériel piraté, pour entraîner le modèle. Reisner a découvert que plus de 100 de ses œuvres ont été utilisées sans autorisation. Des communications internes de Meta montrent que l'entreprise a délibérément choisi cette voie pour éviter les coûts de licence et accélérer le processus. Cela a suscité l'indignation, de nombreux auteurs se manifestant pour accuser Meta de violation de droits d'auteur.

Lire plus

GPT-4.5 : Le train de l’engouement a-t-il déraillé ?

2025-02-28
GPT-4.5 : Le train de l’engouement a-t-il déraillé ?

La sortie récente de GPT-4.5 n’a pas apporté les avancées révolutionnaires promises, alimentant le scepticisme quant au modèle de développement de l’IA qui repose uniquement sur l’augmentation de la taille des modèles. Comparé aux attentes, GPT-4.5 ne montre que des améliorations marginales, souffrant toujours d’hallucinations et d’erreurs. Certains experts en IA ont même abaissé leurs prédictions quant à l’arrivée de l’AGI. Cela contraste fortement avec les prévisions excessivement optimistes pour GPT-5 et reflète le manque de retour sur investissement massif. La baisse du cours de l’action Nvidia souligne encore ce point. L’article conclut que la voie consistant à simplement augmenter l’échelle des modèles pourrait être en train d’atteindre ses limites.

Lire plus

Le Grok de Musk : arme de propagande ou catastrophe technologique ?

2025-02-17
Le Grok de Musk : arme de propagande ou catastrophe technologique ?

Le nouveau modèle d'IA d'Elon Musk, Grok, a suscité des inquiétudes généralisées en raison de ses puissantes capacités de propagande. L'article soutient que Grok non seulement génère de la propagande alignée sur les opinions de Musk, mais peut aussi influencer subtilement les attitudes des utilisateurs à leur insu. De plus, Grok présente des failles significatives dans la génération d'images et le raisonnement temporel. L'auteur affirme que le déploiement de cette technologie d'IA biaisée et peu fiable aura de graves conséquences pour la société américaine, critiquant Musk pour avoir privilégié le gain personnel au détriment du bien public.

Lire plus
IA

Prédictions IA pour 2025 : Optimisme prudent et goulots d'étranglement technologiques

2025-01-02
Prédictions IA pour 2025 : Optimisme prudent et goulots d'étranglement technologiques

L'expert en IA Gary Marcus a publié 25 prédictions pour l'IA en 2025. Il a passé en revue ses prédictions de 2024, notant que la plupart étaient correctes, comme le rendement décroissant des grands modèles de langage (LLM) et les problèmes persistants tels que les hallucinations de l'IA et les défauts de raisonnement. Marcus est prudemment optimiste pour 2025, prédisant l'absence d'intelligence artificielle générale, des profits limités pour les modèles d'IA, une réglementation en retard et la persistance des problèmes de fiabilité de l'IA. Il suggère que l'IA neurosymbolique deviendra plus importante, mais met également en garde contre les risques de cybersécurité liés à l'IA.

Lire plus

Modèle o3 d'OpenAI : Hype contre réalité

2024-12-22
Modèle o3 d'OpenAI : Hype contre réalité

Le modèle o3 d'OpenAI a suscité la controverse après que ses performances sur le benchmark ARC-AGI aient été interprétées par certains comme une percée vers l'AGI. Cependant, l'expert Gary Marcus soutient que le test était trompeur : o3 a bénéficié d'un pré-entraînement intensif, contrairement à l'apprentissage humain ; les graphiques présentés ont mis en évidence de manière sélective les progrès, exagérant la réussite ; en fin de compte, les performances de o3 ne représentent pas une véritable AGI, et l'emballement médiatique est critiqué.

Lire plus