L'IA en temps de crise : le cep Berlin/Fribourg met en garde contre des risques inaperçus

« L'utilisation de l'IA peut être très utile en cas de crise. Toutefois, les algorithmes optimisés avec des données normales peuvent alors conduire inconsciemment à des décisions erronées. Il faut donc des règles sensibles aux risques pour l'IA en cas de crise, surtout dans des environnements de plus en plus automatisés », explique Anselm Küsters, expert numérique du cep Berlin/Fribourg, qui a étudié la dernière approche réglementaire de la Commission.

Küsters cite comme exemple les algorithmes utilisés pour calculer le risque de fraude à la carte de crédit pendant la pandémie Corona. « Soudain, beaucoup de gens n'achetaient plus que sur Internet. Les outils basés sur l'IA ont été dépassés par cela et ont bloqué inutilement de nombreuses transactions ». Une approche basée sur le risque, telle qu'elle est prévue par la loi européenne sur l'IA, pourrait donc ne pas être suffisante, car il est impossible de connaître le risque dynamique d'un système en crise, en particulier dans des environnements qui changent de manière spectaculaire. « Toutefois, si l'on accepte l'approche basée sur le risque du projet actuel, les dangers qui surviennent en période de polycrise pourraient être pris en compte en classant une plus grande proportion de systèmes pilotés par l'IA comme sensibles aux crises et donc à haut risque », recommande l'expert du cep. Il est en outre décisif de procéder régulièrement à des audits de l'IA avec suffisamment de personnel et de ressources techniques - sans surcharger les start-up.

Selon Küsters, les politiques, les entrepreneurs et les journalistes férus d'IA devraient mieux prendre en compte le potentiel de dommages de l'IA dans les polycrises.