La société technologique Saturn a analysé la performance des modèles d'IA les plus populaires dans le domaine financier. ChatGPT, Claude, Copilot, Grok, Gemini et plusieurs autres systèmes répandus ont participé à l'étude. Lorsqu'ils répondaient à des questions courantes et relativement simples, les réseaux neuronaux commettaient des erreurs dans 57 % des cas. Pour des tâches financières plus complexes, ce taux d'erreur atteignait 99 %. Les experts soulignent que le coût de l'erreur est particulièrement élevé en finance ; par conséquent, se fier aux réponses des réseaux neuronaux sans vérification supplémentaire est prématuré. L'étude a utilisé plus de 100 questions financières différentes. Celles-ci ont été posées à des modèles d'IA gratuits et payants : ChatGPT, Gemini, Claude et Copilot. Chaque question a été répétée jusqu'à cinq fois. Au total, plus de 10 000 questions ont été posées à 18 modèles d'IA différents. Les réponses contenaient des erreurs de calcul et les modèles ignoraient les modifications fiscales à venir ou créaient des réglementations inexistantes. Dans le pire des cas, se fier à de telles réponses fiscales pourrait entraîner des pertes financières considérables, soulignent les auteurs du rapport.

Amal Jolly, PDG de Saturn, a souligné : « Des millions de personnes font confiance aux modèles d'IA pour obtenir des conseils financiers, mais elles reçoivent des réponses incorrectes qui peuvent leur coûter des pertes financières importantes. » Un bug dans le modèle d'IA gratuit de Claude Haiku 4.5, destiné au calcul des impôts sur les pensions, aurait pu entraîner une surtaxe de 17 500 £ pour un retraité britannique, imputée par le fisc britannique (HM Revenue & Customs). Par ailleurs, interrogé sur les prêts étudiants, Claude a « inventé » une règle permettant soi-disant à un diplômé de cesser de rembourser son prêt après son départ à l'étranger. Les versions payantes fournissaient généralement des réponses plus précises que les versions gratuites, et les nouveaux modèles d'IA étaient nettement plus performants que les anciens. Claude Opus 5 a obtenu ses meilleurs résultats en mode « raisonnement », avec un taux d'erreur de 39 %. Même ce taux reste élevé pour des conseils financiers.

Dans le même temps, les experts soulignent que les chatbots peuvent encore être utiles pour des tâches plus simples, comme l'établissement d'un budget ou l'analyse des situations où les gens ont tendance à dépenser plus que ce qu'ils gagnent par rapport à leurs revenus et à leurs dépenses. L'Autorité de conduite financière (FCA) britannique a indiqué précédemment qu'un adulte britannique sur cinq est prêt à laisser l'IA prendre des décisions à sa place. La demande est particulièrement forte dans des domaines complexes tels que la dette, les retraites et les investissements. Les jeunes investisseurs sont plus enclins à faire confiance à l'IA qu'aux influenceurs financiers ou aux émissions de télévision : deux tiers d'entre eux prévoient d'utiliser plus fréquemment ces outils informatiques d'ici 2027.