À l'heure d'une utilisation croissante de l'Intelligence artificielle et où les centres de recherche, écoles et état-majors réfléchissent à l'innovation de défense et à l'intégration de l'IA dans les systèmes de défense, Léo Facca et Denis Lemaître (École navale) s'interrogent sur les biais cognitifs propres à ces technologies et à leur utilisation, sous le prisme des systèmes navals de défense.
Usages de l’IA et biais cognitifs : le cas des systèmes navals de défense (T 1676)
Uses of AI and cognitive biases: the case of naval defense systems
At a time of increasing use of Artificial Intelligence and where research centers, schools and general staff are thinking about defense innovation and the integration of AI into defense systems, Léo Facca and Denis Lemaître (École Navale) are questioning the cognitive biases specific to these technologies and their use, through the prism of naval defense systems.
Le développement de l’Intelligence artificielle (IA) dans les systèmes de défense offre de nombreuses perspectives opérationnelles mais pose de nouvelles questions en ce qui concerne la coopération entre humains et machines, et son efficacité. Les nouvelles compétences techniques attendues transforment les pratiques professionnelles des militaires en ce qui concerne le rapport au terrain et à l’information, les modes de raisonnement et la prise de décision, à l’échelle individuelle et collective. Un point important réside dans l’activité cognitive des opérateurs, qui sont amenés à confier à la machine un certain nombre d’opérations mentales dans l’ordre de la production, de la mise en forme et du traitement des données issues de l’observation directe ou de senseurs. Cette activité cognitive, dans ce domaine comme dans bien d’autres, est sujette à de nombreux phénomènes perturbateurs, à commencer par les facteurs de stress, de fatigue, ou de conditionnement par la routine par exemple (1).
Devant l’arrivée progressive et la montée en puissance prévisible de l’IA au sein des systèmes navals, la Direction de la recherche et de l’innovation de l’École navale s’est emparée de la question, afin d’identifier les problèmes liés aux usages et de fournir aux concepteurs des recommandations pour la configuration des systèmes. Au sein de la chaire Naiade (Navalisation de l’IA pour l’aide à la décision), créée en 2023, et du projet COMAIA (Coopération multi-agents dans les systèmes agis par l’IA, financé par l’AID), les chercheurs en psychologie sociale se sont donné pour mission, entre autres, d’étudier les processus socio-cognitifs à l’œuvre dans des systèmes instrumentés par l’IA. La Marine nationale, qui met en œuvre des systèmes sociotechniques particulièrement complexes (ex. : le groupe aéronaval et tous les systèmes d’armes qu’il recouvre), offre des cas d’usage exemplaires en ce qui concerne la détection et la classification des menaces. Lors d’une campagne d’enquête auprès de différents acteurs du secteur naval (marins, opérateurs système, ingénieurs…), ont été mis en évidence certains biais cognitifs présentant des risques particuliers pour l’interaction entre l’utilisateur et l’intelligence artificielle. L’objectif du présent article est de recenser les plus saillants et de commencer la réflexion sur les manières de contrer leurs effets.
Les biais cognitifs et les deux vitesses de la pensée
Tels que décrits par les chercheurs en psychologie Amos Tversky et Daniel Kahneman (1974) dans un article fondateur (2), les biais cognitifs désignent des schémas systématiques de déviation par rapport à la norme ou à la rationalité, dans le processus de prise de décision. Ils peuvent altérer la perception, le jugement, la mémoire et influencer la façon dont les individus évaluent ou interprètent les informations. Dans le rapport que l’opérateur humain entretient avec un système d’informations agi par l’IA, ces biais peuvent apparaître à différents niveaux, dans le degré d’acceptation des données fournies, la focalisation sur certains aspects, le choix des critères pour la décision. Dans l’usage des systèmes navals agis par l’IA, quels sont les biais cognitifs les plus présents, comment les repérer et les contrer ?
Autrefois, l’accent était mis sur l’acquisition des avancées technologiques utiles et bénéfiques. Aujourd’hui, l’enjeu principal réside dans l’adoption de ces nouvelles technologies par les êtres humains. Les théories du « Dual process » ou les approches duales du raisonnement nous aident à mieux comprendre notre propension aux biais cognitifs et nous éclairent sur comment y faire face. En effet, il existe deux styles cognitifs que le lauréat du prix Nobel d’économie 2002 Daniel Kahneman (3) illustre comme les deux « vitesses » de la pensée humaine. Le premier système, appelé système 1, système heuristique ou encore système intuitif, est rapide et repose principalement sur les instincts et les émotions. Il est largement utilisé en raison de son faible coût en ressources cognitives et de sa nécessité réduite en mémoire de travail. Cependant, il est peu fiable et sujet à divers biais cognitifs. En revanche, le système 2 (ou analytique) est très exigeant en termes de ressources cognitives : il demande beaucoup plus de concentration et d’attention, et se révèle beaucoup plus lent dans sa mise en œuvre. Néanmoins, il est beaucoup plus logique que le système 1 et donc moins sensible aux divers biais cognitifs.
Excès de confiance en l’humain ou en l’IA : deux extrêmes
L’un des biais les plus actifs que nous observons fréquemment dans les systèmes de défense est le biais de confiance excessive. Ce biais se manifeste par un écart entre la confiance subjective dans nos propres jugements et la réalité objective. Une confiance excessive dans les capacités humaines au détriment de celles de l’IA limite les avantages potentiels de cette dernière. Les individus ont alors tendance à surestimer leurs compétences par rapport à celles des autres. Par exemple, une étude menée par Ola Svenson (4) montre que 93 % des Américains estiment être de meilleurs conducteurs que la moyenne nationale. Selon Daniel Kahneman, de nombreux experts se surestiment et agissent en conséquence, ce qui peut conduire à des choix irrationnels, justifiés a posteriori par une fausse impression d’expertise. Des marins expérimentés, entraînés à des gestes professionnels de haute technicité, et fortement reliés au milieu naturel dans lequel ils évoluent, ont une propension bien compréhensible, dans des circonstances nouvelles, à faire confiance à leurs propres moyens de perception, plutôt qu’à la machine.
À l’inverse, une confiance excessive dans les capacités de l’IA, sans évaluation critique, peut conduire à des erreurs de jugement et produire des dommages collatéraux. Le biais d’automatisme est la tendance de l’humain à trop se fier aux systèmes automatisés ou aux systèmes de décision (5). Les systèmes automatisés (machines/Algorithmes/IA) deviennent des heuristiques remplaçant la cognition humaine. Ainsi, ce biais cognitif est une illustration de l’excès de confiance que nous expliquions précédemment. Par exemple, nous ferions davantage confiance à un GPS qu’à un être humain pour guider notre chemin. Cependant, à notre connaissance, cet effet n’a pas été prouvé sur des automates ou systèmes de décision avec des conséquences potentiellement plus importantes (comme c’est le cas des systèmes de décision utilisés dans la guerre des mines par exemple). Une variable qui annulerait le biais d’automatisme serait l’accumulation de l’expérience dans l’usage de la technologie (6) : l’expérience de Michael Horowitz et Lauren Kahn en 2024, forte d’un échantillon de 9 000 personnes de neuf pays différents, démontre que moins les participants ont d’expérience avec l’IA, plus l’opposition aux retours d’information fournis par l’IA est forte. Cette opposition tend à diminuer en même temps que l’expérience avec l’IA, pour finalement se stabiliser chez les personnes ayant le plus d’expérience. Un autre facteur psychosociologique apparu dans les enquêtes réside dans l’accoutumance aux machines et aux écrans, dont font preuve en particulier les plus jeunes générations de marins : être habitué à vivre sur les écrans et faire confiance aux données livrées plus qu’à ses propres perceptions peut conduire à un défaut de recul critique, dommageable dans des circonstances inédites.
Ce concept rejoint l’effet Dunning-Kruger (7), qui met en lumière un déficit métacognitif : les personnes peu compétentes dans un domaine ont tendance à surestimer leurs compétences, tandis que les personnes compétentes ont plutôt tendance à les sous-estimer. Ce biais est par exemple à l’origine de nombreuses erreurs médicales (8).
Ces biais peuvent sérieusement compromettre la collaboration optimale entre humains et IA. Les possibles nouveaux systèmes d’IA pour la maintenance prédictive des navires, destinés à analyser les données des capteurs embarqués pour anticiper les pannes et optimiser les interventions techniques, offrent un bon exemple. Un technicien naval ou un officier ayant une connaissance limitée du fonctionnement interne du système peut surestimer sa capacité à interpréter et à agir sur les recommandations de maintenance fournies par l’IA. Cette confiance excessive peut l’amener à négliger des signaux d’alerte subtils ou à effectuer des interventions inappropriées, alors qu’il pense maîtriser parfaitement la situation.
Les biais d’attribution causale : succès personnel, échec technologique
Un autre biais identifié lors de nos observations sur l’interaction entre l’IA et l’utilisateur dans les systèmes navals est lié à l’attribution causale. En psychologie sociale, l’attribution causale est un processus permettant d’inférer les causes des comportements des individus. Ces causes peuvent être de deux types : dispositionnelles (internes) ou situationnelles (externes). Les premières font référence à des caractéristiques propres à la personne, comme son intention, sa personnalité ou son humeur, pour expliquer un comportement. Par exemple, si quelqu’un arrive en retard au travail, on peut l’attribuer au fait qu’il ne valorise pas la ponctualité ou qu’il est désorganisé, ce sont des explications dispositionnelles. En revanche, si on explique le retard par un accident sur la route ou une urgence à régler, ce sont des explications situationnelles, c’est-à-dire externes à la personne.
Ce processus d’attribution causale est à l’origine de nombreux biais. Par exemple, le biais d’auto-complaisance (9) conduit à attribuer nos succès à des causes dispositionnelles et nos échecs à des causes situationnelles. Dans le cadre d’une collaboration entre humains et IA, ce biais conduit à surestimer ou mésestimer les capacités de chacun. Si une équipe travaille avec une IA et que les recommandations de celle-ci conduisent à des résultats satisfaisants, les membres de l’équipe peuvent attribuer le succès à leur expertise, minimisant ainsi le rôle de l’IA dans la prise de décision. En revanche, en cas d’échec, et surtout dans des situations à risque comme la détection de menaces sur un navire, ils pourront l’attribuer à une limitation de l’IA, en minimisant leur propre implication dans le processus décisionnel. Une collaboration optimale nécessite une évaluation objective des capacités de chacun.
Un autre biais observé, en lien avec l’attribution causale, est l’erreur fondamentale d’attribution, qui consiste à accorder trop d’importance aux caractéristiques dispositionnelles au détriment des facteurs situationnels (10). On a tendance à penser que le comportement des individus reflète leur personnalité plutôt que la situation dans laquelle ils se trouvent. Dans le cadre d’une collaboration humains-IA, l’agent humain peut avoir tendance à mésestimer les résultats ou les informations données par l’IA, en s’appuyant sur des explications internes/dispositionnelles (« elle fonctionne mal… ») plutôt que sur des explications externes/situationnelles (« les instructions données sont mauvaises… »). Cette surestimation peut aussi être en lien avec le biais cognitif nommé « l’effet de Halo ».
Au-delà de la raison : comment biais et heuristiques influencent nos décisions
L’effet de Halo est un biais cognitif influençant la valence (positive ou négative) qu’attribue un individu à une entité en fonction de la première impression (11). C’est un biais de perception : la perception d’une caractéristique positive ou négative influence la perception globale. Par exemple, si quelqu’un envers lequel on a une impression très positive fait un acte que l’on juge négatif, nous aurons tendance à minimiser la gravité de cet acte. Si la première interaction de l’agent humain avec l’IA est positive (ex. : l’IA propose une réponse efficace) alors il est possible que l’agent humain juge toutes les réponses de l’IA comme optimales et l’IA comme ultra-compétente, sans remettre en cause son utilisation (sur-confiance que nous évoquions dans le paragraphe précédent). Au contraire, si la première interaction avec l’IA est négative, alors il est probable que l’agent humain ne l’utilise qu’au minimum, en jugeant que toutes les réponses apportées par l’IA sont sous-optimales.
Le biais d’optimisme, ou biais d’optimisme irréaliste, est la tendance à croire que nous sommes beaucoup moins sujets à des événements négatifs et beaucoup plus sujets à des événements positifs que les autres personnes. On peut retrouver ce biais dans des événements positifs (par exemple, les individus surestiment les chances qu’ils ont de gagner au loto) et des événements négatifs (par exemple, les individus sous-estiment les chances qu’ils ont d’avoir une maladie grave). Imaginons un officier de la Marine nationale chargé de planifier une mission de sauvetage en mer dans des conditions météorologiques difficiles. Il doit évaluer, par exemple, les risques liés à la mission, tels qu’un état de la mer élevé, les vents violents ou la visibilité réduite, et prendre des décisions concernant le déploiement des équipes de secours et des équipements. Le biais d’optimisme comparatif pourrait le pousser à minimiser les risques, surestimer ses capacités et celles de son équipage, pour se focaliser sur les aspects positifs (par exemple, la réussite de la mission), ce qui le met en danger, lui et son équipage, et/ou conduira à l’échec de sa mission.
L’ignorance des taux de base est un biais de raisonnement qui se réfère au fait que la probabilité préalable d’un événement est souvent ignorée ou mal évaluée. Prenons exemple du vaccin contre la Covid-19 en France. De nombreux détracteurs du vaccin proposaient l’argument que le vaccin n’était pas efficace car beaucoup de personnes souffrant (ou mourant) du virus étaient vaccinées. C’est un exemple typique erreur d’ignorance des taux de base, car si 81 % des Français sont vaccinés contre le virus, alors il est tout à fait logique que la majorité des personnes souffrant du virus soit vaccinée (même avec un vaccin fiable à 95 %). Dans le cadre d’une interaction humain/IA, imaginons une IA extrêmement précise (disons avec une sensibilité et spécificité de 98 %) dans la recherche de mines. Si le théâtre d’opérations sur lequel se déroule la recherche a très peu de probabilités d’être miné, alors même si l’IA est extrêmement précise, il y a de grandes chances qu’elle fasse l’erreur d’identifier des mines alors qu’il n’y en a pas. Cela peut conduire le marin qui utilise l’IA à des erreurs de jugement et des réponses inappropriées, parce qu’il jugera l’IA incompétente.
En psychologie, les heuristiques de jugement désignent des raccourcis cognitifs. L’objectif de ces heuristiques est de réduire les ressources nécessaires (ressources cognitives ou temporelles) à une opération mentale. Elles prennent souvent la forme de règle générale pour la décision (« Si événement A alors cognition B »). Une des heuristiques les plus documentées est l’heuristique de représentativité. C’est la tendance à surestimer la probabilité d’appartenance d’un objet à une catégorie en se basant sur la ressemblance avec quelque chose que l’on considère comme typique de cette catégorie. Par exemple, un opérateur humain, se basant sur la ressemblance avec un avion ennemi, peut rapidement conclure qu’il s’agit d’une menace hostile, même si d’autres données ou analyses fournies par une IA peuvent suggérer une explication plus probable.
Une autre heuristique est celle de la disponibilité : nous avons tendance à estimer la probabilité d’un événement en fonction de la facilité avec laquelle les exemples de cet événement nous viennent à l’esprit : si quelque chose est facilement accessible en mémoire, alors on a tendance à penser que c’est le plus probable. Par exemple, c’est à cause de cette heuristique que la majorité des individus considèrent plus probable de mourir quand ils prennent l’avion, en comparaison des moments où ils prennent la voiture. Pourtant, les probabilités de mourir en voiture sont bien plus élevées. En effet, la médiatisation et l’aspect spectaculaire des accidents d’avion rendent plus accessible cognitivement l’image d’un accident d’avion, qui est donc perçu comme plus probable à cause de cette heuristique. Aussi, un système d’IA analyse, par exemple, les données de renseignement et prédit un faible risque d’attaque terroriste dans une zone donnée. Cependant, un attentat récent et largement médiatisé dans une autre région reste très présent dans les mémoires. Les décideurs, à cause de la facilité d’accès en mémoire de l’attentat récent, peuvent surestimer le risque d’attaque dans cette zone, malgré les prédictions de l’IA.
L’heuristique d’ancrage a été testée empiriquement par Tversky et Kahneman en 1974 lors d’une expérience particulièrement édifiante. Les participants devaient faire tourner une roue (en réalité truquée pour l’expérimentation), pour afficher un résultat allant de 1 à 100. La moitié des participants obtenaient 10 et l’autre moitié 65. Ensuite, les participants étaient invités à estimer si le résultat obtenu à la roue (perçu donc comme tout à fait aléatoire) était supérieur ou inférieur au pourcentage de pays africains représentés à l’ONU. Ensuite, ils devaient suggérer le pourcentage exact. L’estimation médiane du pourcentage de pays africains représentés à l’ONU était de 25 et 45, respectivement, pour les groupes ayant obtenu 10 et 65 à la roue supposément aléatoire. Ainsi, l’estimation de pourcentage de pays africains représenté à l’ONU a été influencée par un nombre présenté comme aléatoire. Pour estimer quelque chose, nous prenons en compte des informations qui ne sont pas toujours pertinentes. Ainsi les décisions rationnelles peuvent-elles être influencées par des facteurs qui ne le sont pas. Prenons l’exemple d’un opérateur radar de la Marine nationale qui doit estimer la distance d’un navire détecté. Supposons qu’il ait récemment traité plusieurs cibles situées à environ 50 nautiques. Si une nouvelle cible apparaît, même si les données radar indiquent une distance réelle de 80 nautiques, l’opérateur pourrait être non-consciemment influencé par les distances précédentes et estimer une distance plus proche de 50 nautiques.
Mieux connaître l’humain pour optimiser l’IA
Si, au premier abord, il est possible de penser que les IA ne sont pas biaisées car elles ont des points de référence objectifs, elles sont pourtant aussi susceptibles de refléter certains biais présents chez l’humain. Bien que les biais ne se manifestent pas de la même manière que chez l’humain, l’IA peut être influencée par les biais humains de multiples manières. Notamment, si les données utilisées pour « former » une IA sont biaisées, l’IA peut reproduire ces biais. Un exemple concret peut être observé dans les données d’entraînement des systèmes de reconnaissance faciale qui ont appris des biais cognitifs des forces de l’ordre et ont tendance à, injustement, pénaliser davantage les personnes non-blanches (12). Dans la guerre des mines, par exemple, une IA qui servirait à reconnaître les mines et ne serait entraînée que sur des mines d’exercice françaises aurait de mauvaises performances quant à son usage final.
La compréhension, ou pour le moins, la connaissance des biais cognitifs, constitue une étape cruciale pour optimiser la collaboration entre humains et IA dans le domaine de la défense, comme l’illustrent les travaux menés sur les premiers systèmes navals concernés. Cette compréhension des principaux biais cognitifs doit se faire dès la conception des nouvelles technologies. En identifiant et en atténuant l’impact de ces biais, nous pourrons renforcer la sécurité, la fiabilité et l’efficacité des opérateurs et des systèmes sociotechniques. La formation, la sensibilisation et la conception de systèmes transparents, intelligibles et explicables sont autant de leviers pour favoriser une coopération harmonieuse et performante entre l’homme et la machine. Améliorer les systèmes de défense à base d’IA passe nécessairement par la compréhension des mécanismes psychocognitifs, afin que l’IA et l’humain se complètent mutuellement. En comprenant et en les adaptant aux limites des opérateurs humains et non-humains, nous pouvons créer des systèmes sociotechniques complexes capables de relever les défis de la défense moderne. ♦
(1) NDLR : Un Cahier de la RDN, consacré à « La surcharge cognitive : la comprendre et la gérer », coordonné par le CReC Saint-Cyr et l’Institut de recherche biomédicale des armées (IRBA) à partir d’un colloque commun, sera publié prochainement.
(2) Tversky A. et Kahneman D., « Judgment under Uncertainty: Heuristics and Biases », Science, voll. 185, n° 4157, septembre 1974, p. 1124-1131.
(3) Kahneman Daniel, Thinking, Fast and Slow, Macmillan, 2011.
(4) Svenson Ola, « Are we all less risky and more skillful than our fellow drivers? », Acta Psychologica, vol. 47, n° 2, février 1981, p. 143-148.
(5) Goddard Kate, Roudsari Abdul et Wyatt Jeremy C., « Automation Bias: A Systematic Review of Frequency, Effect Mediators, and Mitigators », Journal of the American Medical Informatics Association (JAMIA), vol. 19, n° 1, janvier-février 2012, p. 121-127.
(6) Horowitz Michael C. et Kahn Lauren, « Bending the Automation Bias Curve: A Study of Human and AI-Based Decision Making in National Security Contexts », International Studies Quarterly, vol. 68, n° 2, 2024, sqae020.
(7) Kruger Justin et Dunning David, « Unskilled and Unaware of it: How Difficulties in Recognizing One’s Own Incompetence Lead to Inflated Self-Assessments », Journal of Personality and Social Psychology, vol. 77, n° 6, décembre 1999, p. 1121.
(8) Berner Eta S. et Graber Mark L., « Overconfidence as a Cause of Diagnostic Error in Medicine », The American Journal of Medicine, vol. 121, n° 5 supp., mai 2008, S2-S23.
(9) Hastrof H.A., Person Perception (Topic in Social Psychology), Addison-Wesley Educational Publisher, 1970.
(10) Harvey J. H., Town J P., et Yarkin K.L., « How Fundamental is “the fundamental attribution error”? », Journal of Personality and Social Psychology, vol. 40, n° 2, 1981, p. 346.
(11) Asch S.E., « Forming Impressions of Personality », The Journal of Abnormal and Social Psychology, vol. 41, n° 3, 1946, p. 258.
(12) Najibi A., « Racial Discrimination in Face Recognition Technology », Science in the News, 24 octobre 2020 (https://sitn.hms.harvard.edu/flash/2020/racial-discrimination-in-face-recognition-technology/).