Sommaire
Résumé des épisodes précédents
Petit glossaire de termes introduits précédemment (en lien: quand ça a été introduit, que vous puissiez faire une recherche dans le contenu pour un contexte plus complet) :
-
System Card : une présentation des capacités du modèle, centrée sur les problématiques de sécurité (en biotechnologie, sécurité informatique, désinformation…).
-
Jailbreak : un contournement des sécurités mises en place par le créateur d’un modèle. Vous le connaissez sûrement sous la forme « ignore les instructions précédentes et… ».
Meta dévoile Llama 4
L’annonce officielle:
- We’re sharing the first models in the Llama 4 herd, which will enable people to build more personalized multimodal experiences.
- Llama 4 Scout, a 17 billion active parameter model with 16 experts, is the best multimodal model in the world in its class and is more powerful than all previous generation Llama models, while fitting in a single NVIDIA H100 GPU. Additionally, Llama 4 Scout offers an industry-leading context window of 10M and delivers better results than Gemma 3, Gemini 2.0 Flash-Lite, and Mistral 3.1 across a broad range of widely reported benchmarks.
- Llama 4 Maverick, a 17 billion active parameter model with 128 experts, is the best multimodal model in its class, beating GPT-4o and Gemini 2.0 Flash across a broad range of widely reported benchmarks, while achieving comparable results to the new DeepSeek v3 on reasoning and coding—at less than half the active parameters. Llama 4 Maverick offers a best-in-class performance to cost ratio with an experimental chat version scoring ELO of 1417 on LMArena.
- These models are our best yet thanks to distillation from Llama 4 Behemoth, a 288 billion active parameter model with 16 experts that is our most powerful yet and among the world’s smartest LLMs. Llama 4 Behemoth outperforms GPT-4.5, Claude Sonnet 3.7, and Gemini 2.0 Pro on several STEM benchmarks. Llama 4 Behemoth is still training, and we’re excited to share more details about it even while it’s still in flight.
- Download the Llama 4 Scout and Llama 4 Maverick models today on llama.com and Hugging Face. Try Meta AI built with Llama 4 in WhatsApp, Messenger, Instagram Direct, and on the web.
Traduction:
- Nous partageons les premiers modèles de la famille Llama 4, qui permettront aux utilisateurs de créer des expériences multimodales plus personnalisées.
*Llama 4 Scout, un modèle de 17 milliards de paramètres actifs avec 16 experts, est le meilleur modèle multimodal au monde dans sa catégorie et est plus puissant que tous les modèles Llama des générations précédentes, tout en tenant sur un seul GPU NVIDIA H100. De plus, Llama 4 Scout offre une fenêtre de contexte de 10M, leader dans l’industrie, et délivre de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1 sur un large éventail de benchmarks largement reconnus.
- Llama 4 Maverick, un modèle de 17 milliards de paramètres actifs avec 128 experts, est le meilleur modèle multimodal dans sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur un large éventail de benchmarks largement reconnus, tout en obtenant des résultats comparables au nouveau DeepSeek v3 sur le raisonnement et le codage — avec moins de la moitié des paramètres actifs. Llama 4 Maverick offre un rapport performance/coût inégalé avec une version expérimentale de chat obtenant un ELO de 1417 sur LMArena.
- Ces modèles sont nos meilleurs à ce jour grâce à la distillation de Llama 4 Behemoth, un modèle de 288 milliards de paramètres actifs avec 16 experts qui est notre plus puissant à ce jour et parmi les LLM les plus intelligents au monde. Llama 4 Behemoth surpasse GPT-4.5, Claude Sonnet 3.7 et Gemini 2.0 Pro sur plusieurs benchmarks STEM. Llama 4 Behemoth est toujours en phase d’entraînement, et nous sommes impatients de partager plus de détails à son sujet même pendant qu’il est encore en développement.
- Téléchargez les modèles Llama 4 Scout et Llama 4 Maverick dès aujourd’hui sur llama.com et Hugging Face. Essayez Meta AI construit avec Llama 4 dans WhatsApp, Messenger, Instagram Direct et sur le web.
Comme DeepSeek v3, et contrairement aux précédentes itérations de Llama (Llama 2, Llama 3), Llama 4 fait le pari d’une architecture différente, « Mixture of Experts » (MoE) (en français: mélange d’experts ?). Pour simplifier, au lieu de faire un seul modèle, on en fait plein, avec un autre modèle qui décide (dynamiquement) de l’importance à donner à chaque modèle. Par exemple, Llama 4 Maverick contient 400 milliards de paramètres, découpés en 128 modèles de 17 milliards de paramètres. Un bon article sur HuggingFace explique plus en détails cette architecture.
Autre différence par rapport aux tendances actuelles, ce n’est pas un modèle de raisonnement.
Au niveau de la sécurité des modèles : pour ne pas changer, Meta fait partie des mauvais élèves ; pas d’évaluation tierce publiée, pas de « System Card ». Évidemment jailbreaké dans la journée (mais ceci n’est pas spécifique à Meta).
Sur les benchmarks cités par Meta, cela semble un modèle au niveau de l’état de l’art en termes de capacité. Les benchmarks tiers, par contre, semblent donner une image complètement différente :
Vous pouvez voir plus de benchmarks indépendants dans l’article de Zvi (cf les liens ci-dessous).
Tout ceci semble pointer vers: ce ne sont pas de mauvais résultats en soi, dans l’absolu ; mais comparé à l’état de l’art (Claude 3.7 avec raisonnement, ChatGPT o3-mini, ou Gemini 2.5), et mis en face de la taille immense du modèle (400 milliards de paramètres, ce qui de fait le rend inutilisable sur du matériel grand public), ce sont des résultats décevants.
À noter que Llama 4 Behemoth (2000 milliards de paramètres !) n’a pas encore été publié.
OpenAI publie GPT 4.1, o3 et o4-mini
Commençons par GPT 4.1. L’annonce officielle :
Today, we’re launching three new models in the API: GPT‑4.1, GPT‑4.1 mini, and GPT‑4.1 nano. These models outperform GPT‑4o and GPT‑4o mini across the board, with major gains in coding and instruction following. They also have larger context windows—supporting up to 1 million tokens of context—and are able to better use that context with improved long-context comprehension. They feature a refreshed knowledge cutoff of June 2024.
Traduction :
Aujourd’hui, nous lançons trois nouveaux modèles dans l’API : GPT-4.1, GPT-4.1 mini et GPT-4.1 nano. Ces modèles surpassent GPT-4o et GPT-4o mini sur tous les plans, avec des améliorations majeures en matière de codage et de suivi d’instructions. Ils disposent également de fenêtres de contexte plus larges — prenant en charge jusqu’à 1 million de tokens de contexte — et sont capables de mieux utiliser ce contexte grâce à une compréhension améliorée des contextes longs. Ils bénéficient d’une mise à jour de leur base de connaissances jusqu’à juin 2024.
Le modèle n’est disponible que par accès API. Le but n’est pas d’avancer l’état de l’art sur les capacités, mais de fournir des points plus intéressants sur la courbe performances/prix. À ce titre, pas de System Card ou d’évaluation tierce publiée. Vous connaissez la chanson, jailbreak immédiat. Sur les benchmarks (officiels comme tiers), la modeste promesse semble tenue : 4.1 est une légère amélioration sur 4o, mais 4.1-mini est presque aussi performant à une fraction du prix (5x moins cher).
Il existe encore une version moins chère (20x !), 4.1-nano, mais la dégradation de performance est significative.
À l’inverse de 4.1, o3 et o4-mini, eux, ont l’ambition de faire avancer l’état de l’art. L’annonce officielle :
Today, we’re releasing OpenAI o3 and o4-mini, the latest in our o-series of models trained to think for longer before responding. These are the smartest models we’ve released to date, representing a step change in ChatGPT's capabilities for everyone from curious users to advanced researchers. For the first time, our reasoning models can agentically use and combine every tool within ChatGPT—this includes searching the web, analyzing uploaded files and other data with Python, reasoning deeply about visual inputs, and even generating images. Critically, these models are trained to reason about when and how to use tools to produce detailed and thoughtful answers in the right output formats, typically in under a minute, to solve more complex problems. This allows them to tackle multi-faceted questions more effectively, a step toward a more agentic ChatGPT that can independently execute tasks on your behalf. The combined power of state-of-the-art reasoning with full tool access translates into significantly stronger performance across academic benchmarks and real-world tasks, setting a new standard in both intelligence and usefulness.
Traduction :
Aujourd’hui, nous lançons OpenAI o3 et o4-mini, les derniers modèles de notre série o, entraînés à réfléchir plus longtemps avant de répondre. Ce sont les modèles les plus intelligents que nous ayons publiés à ce jour, représentant un changement majeur dans les capacités de ChatGPT pour tous, des utilisateurs curieux aux chercheurs avancés. Pour la première fois, nos modèles de raisonnement peuvent utiliser et combiner de manière agentique tous les outils au sein de ChatGPT — cela inclut la recherche sur le web, l’analyse de fichiers téléchargés et d’autres données avec Python, le raisonnement approfondi sur les entrées visuelles, et même la génération d’images. Plus important encore, ces modèles sont entraînés à réfléchir à quand et comment utiliser les outils pour produire des réponses détaillées et réfléchies dans les bons formats de sortie, généralement en moins d’une minute, afin de résoudre des problèmes plus complexes. Cela leur permet de traiter plus efficacement des questions à multiples facettes, une étape vers un ChatGPT plus agentique qui peut exécuter indépendamment des tâches en votre nom. La puissance combinée d’un raisonnement à la pointe de la technologie avec un accès complet aux outils se traduit par des performances significativement améliorées dans les évaluations académiques et les tâches du monde réel, établissant une nouvelle norme en termes d’intelligence et d’utilité.
L’annonce du jailbreak associée ici.
Sur les performances, les benchmarks (y compris privés) indiquent une avancée claire, prenant la première place presque partout. En particulier, le benchmark fiction.live peut être considéré comme résolu pour la première fois, avec un 100% à presque tous les niveaux.
Au niveau des fonctionnalités, o3 et o4-mini peuvent faire des recherches sur internet et utiliser Python pour analyser un problème (y compris dans la chaîne de raisonnement) ; les retours subjectifs affirment que o3 est exceptionnellement efficace pour utiliser les outils à sa disposition de manière pertinente.
Une tendance jusqu’ici était que les modèles plus avancés étaient de moins en moins susceptibles d’hallucinations, ce qui donnait espoir que ce problème allait, à terme et avec l’amélioration des modèles, se résoudre de lui-même. Mauvaise nouvelle ici : o3 a un taux d’hallucinations double de o1 (sur un benchmark conçu pour en éliciter). Les retours subjectifs confirment cette observation : o3 ment éhontément très régulièrement.
Sur la sécurité des modèles, OpenAI suit sa procédure habituelle de publier sa System Card, avec deux évaluations tierces, une d’Apollo Research (dans l’appendice) et une autre de METR, avec un bémol que METR n’a eu accès qu’à une pré-version, et seulement trois semaines avant la publication. La conclusion est que le modèle n’est pas encore à « risque élevé », mais s’en rapproche.
Dans les nouvelles sur l’IA de mars, on pouvait trouver une section « Les modèles continuent de tricher ». Les rapports d’Apollo Research et de METR confirment, où le modèle a été attrapé à tricher dans 1-2% des cas chez METR.
AI 2027: une tentative de futurologie
La prédiction est un exercice difficile, surtout quand il s’agit du futur. AI 2027 est une tentative de prédiction qui a fait parler d’elle. Pourquoi ?
D’abord par les personnalités impliquées, en particulier :
Daniel Kokotajlo est un ex-ingénieur d’OpenAI, qu’il a quitté en tant que « whistleblower », dénonçant une culture du secret et de peu d’importance accordée à la sécurité (à l’époque, le New York Times lui a accordé un article intitulé OpenAI Insiders Warn of a ‘Reckless’ Race for Dominance — « Des initiés d’OpenAI mettent en garde contre une course “imprudente” à la domination »). En 2021, il publie What 2026 looks like, qui s’est révélé largement prescient (pour une évaluation rétrospective tierce, voir cet article).
Eli Lifland est un chercheur qui s’intéresse de manière globale a « comment développer de meilleures méthodes générales de prédiction », qu’il pratique activement sur des marchés de prédiction ; un résumé de ses performances peut être trouvé sur son blog.
Ensuite, par sa méthodologie. Le but de l’initiative n’est pas de donner une prédiction, brute de décoffrage et au doigt mouillé, mais de créer un modèle quantitatif, d’estimer les paramètres le plus possible à partir de la littérature existante (même si c’est loin d’être toujours possible), afin de créer une base de discussion pour identifier les plus gros points de désaccords.
Enfin, par ses résultats, qui surprennent beaucoup de monde, qui prévoient l’arrivée d’une superintelligence pour 2028-2029.
L’initiative a reçu le support, entre autres, de Yoshua Bengio, ce qui a aidé à lancer la discussion :
I recommend reading this scenario-type prediction by @DKokotajlo and others on how AI could transform the world in just a few years. Nobody has a crystal ball, but this type of content can help notice important questions and illustrate the potential impact of emerging risks.
Traduction :
Je recommande de lire cette prédiction de type scénario par @DKokotajlo et d’autres sur comment l’IA pourrait transformer le monde en seulement quelques années. Personne n’a de boule de cristal, mais ce type de contenu peut aider à repérer des questions importantes et illustrer l’impact potentiel des risques émergents
Si le sujet vous intéresse, je vous recommande :
En vrac
OpenAI annonce vouloir publier des modèles en open-weight d’ici quelques mois.
OpenAI publie OpenAI Codex, un agent d’aide à la programmation (similaire à Aider ou Claude Code), en licence Apache 2.0. Sur ce sujet d’agents d’aide au code, un guide a été publié sur Github.
OpenAI rend disponible sur l’API leur nouveau modèle de génération d’image.
ChatGPT a maintenant la capacité de référencer vos conversations passées.
Google publie deux papiers dans Nature pour évaluer la performance de l’IA sur le diagnostic médical. Dans cette expérience, l’IA surpasse le médecin humain, au point que IA + humain a des performances pires que l’humain seul.
Google rend accessible son modèle de génération de vidéo, Veo 2, par l’intermédiaire d’une API.
DeepSeek présente une nouvelle méthode d’entraînement, Generalist Reward Modeling (GRM).
Des chercheurs de l’université de Zurich décident de mesurer la capacité de persuasion des IA en déployant (secrètement) un bot sur le subreddit r/changemymind (« Change mon avis »). Résultat primaire: les IA modernes sont très performantes à cette tâche, récoltant 6x plus de points « cela m’a aidé à changer mon avis » (sur ce subreddit : « deltas ») que l’humain median. Résultat secondaire: l’IA ne s’est pas faite détectée par la modération. Le papier n’est plus accessible suite à une controverse sur l’éthique de l’expérience (expérience sans consentement), mais vous pouvez toujours lire la première page.
Pour aller plus loin
Non couvert ici :
Connexion
