Les humains sont généralement assez bons pour reconnaître quand ils se trompent, mais les systèmes d’intelligence artificielle ne le sont pas. Selon une nouvelle étude, l’IA souffre généralement de limitations inhérentes en raison d’un paradoxe mathématique vieux d’un siècle.
Comme certaines personnes, les systèmes d’IA ont souvent un degré de confiance qui dépasse de loin leurs capacités réelles. Et comme une personne trop confiante, de nombreux systèmes d’IA ne savent pas quand ils font des erreurs. Parfois, il est encore plus difficile pour un système d’IA de se rendre compte qu’il fait une erreur que de produire un résultat correct.
Des chercheurs de l’Université de Cambridge et de l’Université d’Oslo affirment que l’instabilité est le talon d’Achille de l’IA moderne et qu’un paradoxe mathématique montre les limites de l’IA. Les réseaux de neurones, l’outil de pointe de l’IA, imitent à peu près les liens entre les neurones du cerveau. Les chercheurs montrent qu’il existe des problèmes là où des réseaux de neurones stables et précis existent, mais qu’aucun algorithme ne peut produire un tel réseau. Ce n’est que dans des cas spécifiques que les algorithmes peuvent calculer des réseaux de neurones stables et précis.
Traitement des données – impression artistique. Crédit image : PiqselsCC0 Domaine public
Les chercheurs proposent une théorie de la classification décrivant quand les réseaux de neurones peuvent être formés pour fournir un système d’IA fiable dans certaines conditions spécifiques. Leur résultats sont signalés dans le Actes de l’Académie nationale des sciences.
L’apprentissage en profondeur, la principale technologie d’IA pour la reconnaissance des formes, a fait l’objet de nombreux titres haletants. Les exemples incluent le diagnostic des maladies avec plus de précision que les médecins ou la prévention des accidents de la route grâce à la conduite autonome. Cependant, de nombreux systèmes d’apprentissage en profondeur ne sont pas fiables et facile à tromper.
« De nombreux systèmes d’IA sont instables, et cela devient un handicap majeur, d’autant plus qu’ils sont de plus en plus utilisés dans des domaines à haut risque tels que le diagnostic des maladies ou les véhicules autonomes », a déclaré le co-auteur, le professeur Anders Hansen du département de mathématiques appliquées et de physique théorique de Cambridge. . « Si les systèmes d’IA sont utilisés dans des domaines où ils peuvent causer de réels dommages s’ils tournent mal, la confiance dans ces systèmes doit être la priorité absolue. »
Le paradoxe identifié par les chercheurs remonte à deux géants des mathématiques du XXe siècle : Alan Turing et Kurt Gödel. Au début du XXe siècle, les mathématiciens ont tenté de justifier les mathématiques en tant que langage cohérent ultime de la science. Cependant, Turing et Gödel ont montré un paradoxe au cœur des mathématiques : il est impossible de prouver si certains énoncés mathématiques sont vrais ou faux, et certains problèmes de calcul ne peuvent être résolus avec des algorithmes. Et, chaque fois qu’un système mathématique est suffisamment riche pour décrire l’arithmétique que nous apprenons à l’école, il ne peut pas prouver sa propre cohérence.
Des décennies plus tard, le mathématicien Steve Smale a proposé une liste de 18 problèmes mathématiques non résolus pour le 21e siècle. Le 18e problème concernait les limites de l’intelligence pour les humains et les machines.
« Le paradoxe identifié pour la première fois par Turing et Gödel a maintenant été introduit dans le monde de l’IA par Smale et d’autres », a déclaré le co-auteur, le Dr Matthew Colbrook du Département de mathématiques appliquées et de physique théorique. « Il existe des limites fondamentales inhérentes aux mathématiques et, de la même manière, les algorithmes d’IA ne peuvent pas exister pour certains problèmes. »
Les chercheurs disent qu’en raison de ce paradoxe, il existe des cas où de bons réseaux de neurones peuvent exister, mais qu’un réseau intrinsèquement fiable ne peut pas être construit. « Peu importe la précision de vos données, vous ne pouvez jamais obtenir les informations parfaites pour construire le réseau de neurones requis », a déclaré le co-auteur, le Dr Vegard Antun de l’Université d’Oslo.
L’impossibilité de calculer le bon réseau de neurones existant est également vraie quelle que soit la quantité de données d’apprentissage. Peu importe la quantité de données auxquelles un algorithme peut accéder, il ne produira pas le réseau souhaité. « Ceci est similaire à l’argument de Turing : il existe des problèmes de calcul qui ne peuvent pas être résolus, quelle que soit la puissance de calcul et la durée d’exécution », a déclaré Hansen.
Les chercheurs affirment que toutes les IA ne sont pas intrinsèquement défectueuses, mais qu’elles ne sont fiables que dans des domaines spécifiques, en utilisant des méthodes spécifiques. « Le problème concerne les domaines où vous avez besoin d’une garantie, car de nombreux systèmes d’IA sont une boîte noire », a déclaré Colbrook. « Dans certaines situations, il n’y a rien de mal à ce qu’une IA fasse des erreurs, mais elle doit être honnête à ce sujet. Et ce n’est pas ce que nous voyons pour de nombreux systèmes – il n’y a aucun moyen de savoir quand ils sont plus confiants ou moins confiants quant à une décision.
« Actuellement, les systèmes d’IA peuvent parfois avoir une touche de conjecture », a déclaré Hansen. « Vous essayez quelque chose, et si cela ne fonctionne pas, vous ajoutez plus de choses, en espérant que cela fonctionne. À un moment donné, vous en aurez assez de ne pas obtenir ce que vous voulez et vous essaierez une méthode différente. Il est important de comprendre les limites des différentes approches. Nous sommes à un stade où les succès pratiques de l’IA sont bien en avance sur la théorie et la compréhension. Un programme sur la compréhension des fondements de l’informatique IA est nécessaire pour combler cette lacune.
« Lorsque les mathématiciens du XXe siècle ont identifié différents paradoxes, ils n’ont pas arrêté d’étudier les mathématiques. Ils n’avaient qu’à trouver de nouvelles voies, car ils comprenaient les limites », a déclaré Colbrook. « Pour l’IA, il peut s’agir de changer de voie ou d’en développer de nouvelles pour construire des systèmes capables de résoudre des problèmes de manière fiable et transparente, tout en comprenant leurs limites. »
La prochaine étape pour les chercheurs consiste à combiner la théorie de l’approximation, l’analyse numérique et les fondements des calculs pour déterminer quels réseaux de neurones peuvent être calculés par des algorithmes et lesquels peuvent être rendus stables et fiables. Tout comme les paradoxes sur les limites des mathématiques et des ordinateurs identifiés par Gödel et Turing ont conduit à de riches théories des fondements – décrivant à la fois les limites et les possibilités des mathématiques et des calculs – peut-être qu’une théorie des fondements similaire pourrait s’épanouir dans l’IA.
La source: L’université de Cambridge
