On a tous déjà vu ça avec les intelligences artificielles : plus le texte est long, plus le modèle perd le fil. Au bout de quelques milliers de mots, la mémoire sature, le contexte se brouille, et les réponses deviennent approximatives. Pour les chercheurs du MIT, c’est un vrai plafond de verre. Leur solution tient en trois lettres : RLM, pour Recursive Language Model. L’idée est simple mais maligne. Plutôt que de charger un document entier dans la mémoire du modèle — ce qui l’étouffe — le texte reste stocké à l’extérieur. Le système ne transmet au modèle que les fragments utiles, au fur et à mesure. Un peu comme si l’IA feuilletait un énorme classeur au lieu d’essayer de tout mémoriser d’un coup.Concrètement, le RLM reçoit d’abord une vue d’ensemble : nombre de sections, taille du document, structure générale. Ensuite, il génère du code pour aller chercher précisément les passages pertinents, les analyser un par un, puis assembler la réponse finale. Résultat : il garde le contexte global sans nécessiter de réentraînement. Les tests sont parlants. Sur des documents gigantesques, entre 6 et 11 millions de jetons, le RLM basé sur GPT-5 a extrait correctement 91 % des réponses attendues sur le benchmark BrowseComp-Plus. Le modèle standard, lui, n’a rien retrouvé. Sur des tâches de raisonnement complexe, il passe de presque zéro à 58 % de bonnes réponses. Et pour l’analyse de code, les performances doublent, de 24 % à 62 %.Le système repose sur deux briques : un « modèle racine », chargé de planifier et d’orchestrer la recherche, et un « modèle travailleur », plus léger, qui traite chaque extrait. Alex Zhang, co-auteur au MIT CSAIL, compare ça à un programmeur qui ouvre un énorme fichier morceau par morceau pour éviter de faire planter son ordinateur. Compatible avec des techniques comme le RAG, le RLM peut s’intégrer sans changer l’interface habituelle. Et bonne nouvelle : le code est déjà disponible sur GitHub.GithubÉtude d'Alex Zhang Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related