Au mois de juin, des chercheurs annonçaient déjà une perte de fiabilité du modèle ChatGPT et une tendance à se tromper dans des réponses à des questions assez simples. Il y a trois ans déjà, ce phénomène d'hallucinations artificielles avait été découvert par une équipe de scientifiques du laboratoire de Los Alamos. Loin d'être anodin, cet effet peut provoquer de réels préjudices : désinformations, erreurs lors de recherches ou perte de confiance envers les systèmes d'IA. Plus l'IA générative devient courante dans le paysage numérique, plus ces manifestations sont logiquement nombreuses. C'est dans ce contexte qu'une équipe de quatre chercheurs ont voulu s'engager afin de trouver un remède pour contrer ce mal virtuel.Très récemment, la startup norvégienne Iris.ai a dévoilé une solution, qui vise à réduire drastiquement la proportion d'erreurs et d'hallucinations à un pourcentage à un chiffre seulement. Leur objectif ? Développer un outil alimenté par intelligence artificielle spécialisée dans la compréhension de publications scientifiques. Leur programme est capable de naviguer à travers une très vaste quantité de données, de les catégoriser et de les résumer.Utiliser une IA pour vérifier qu'une autre IA ne se trompe pas, ne serait-ce pas l'équivalent du serpent qui se mord la queue ? En tout cas, cette start-up utilise plusieurs méthodes pour mesurer la précision des données générées par les modèles d'intelligences artificielles. Leur technique principale se nomme « validating factual correctness » (validation de correction factuelle). En clair, l'équipe établit les concepts à l'avance qu'elle souhaite voir apparaître dans une réponse valide. Ensuite, elle vérifie si l'IA est capable d'intégrer ces concepts dans la réponse et examine ensuite si la source sur laquelle elle se base est fiable. Une sorte de fact-checking en somme. D'autres méthodes appuient également celles-ci. Par exemple, la comparaison entre une « vérité fondamentale » et la réponse donnée par l'IA. Grâce à une évaluation spécifique pour évaluer la performance d'un modèle, leur logiciel établit des similitudes avec la « vérité fondamentale », en parallèle du contenu généré par l'IA. Reste à savoir si cette technique pourra bénéficier à tout le monde, même si pour l’instant, la start-up s'oriente clairement vers un usage de son programme dans le domaine de la recherche, et non pour le grand public. Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related