L’intelligence artificielle générative est un moteur d’accélération des risques pour les entreprises. La révolution de l’IA peut alors tourner au cauchemar. Mais il n’y a pas de fatalité, pour peu que les dirigeants suivent les règlements, les recommandations et les guides de bonnes pratiques.
Par Antoine Gravereaux, avocat associé*, FTPA Avocats
L’intelligence artificielle générative transforme en profondeur les paradigmes de la cybersécurité. En s’appuyant sur des modèles entraînés à partir de volumes de données considérables, cette technologie offre des applications variées dans la défense contre les menaces ou la gestion des attaques cyber. Mais l’IA générative permet également le développement d’usages malveillants, donnant ainsi naissance à une nouvelle vague de cybermenaces. Dans ce contexte, les entreprises doivent concilier innovation et sécurité, tout en respectant un cadre réglementaire européen en pleine évolution.
Cybermenaces externes et internes
Grâce à ses capacités d’automatisation de traitement de données à grande échelle et d’apprentissage autonome, l’IA générative permet aujourd’hui de concevoir des attaques plus efficaces, ciblées et difficile à détecter. Dans le premier rapport international sur la sécurité de l’intelligence artificielle, intitulé « International AI Safety Report » (1) et publié en janvier 2025, les experts soulignent que les menaces cybernétiques se renforcent du fait que l’IA à usage général est favorisée par une exécution rapide, simultanée et à grande échelle d’opérations, tout en abaissant les coûts et les obstacles techniques. Parmi les pratiques, le phishing (hameçonnage) ne cesse de gagner en crédibilité, l’IA permettant de générer de façon automatique tous types de contenus, tels que des deepfakes (hypertrucages) personnalisés.
Les virus polymorphes sont capables de muter leur signature pour échapper aux détections. Ils ont la capacité de modifier leur empreinte numérique pour (suite)
ne pas être repérés par un antivirus. L’empoisonnement des données vient également altérer les prédictions d’un système d’intelligence artificielle s’appuyant sur le machine learning. Les ransomware (rançongiciels) tiennent également toujours une place importante dans l’univers des menaces, bien qu’en baisse depuis ces quatre dernières années. D’autres types d’attaques peuvent aussi permettre de s’emparer de données confidentielles, de perturber le processus de classification des données, ou d’effectuer une ingénierie inversée du modèle afin de le répliquer. Face à l’essor des cyberattaques amplifiées par l’IA générative, le modèle « Zero Trust » – autrement dit « ne faire aucune confiance, toujours vérifier » – s’impose comme une stratégie incontournable pour les entreprises. Ce cadre de sécurité repose sur une surveillance continue, une authentification renforcée et une segmentation stricte des réseaux. En intégrant des outils pilotés par l’IA, le Zero Trust (2) permet d’automatiser la détection des menaces, de prévenir l’exfiltration de données sensibles et de limiter la propagation des attaques au sein des systèmes. Cette approche proactive devient essentielle pour contrer les risques émergents tels que les malwares (logiciels malveillants) évolutifs ou les deepfakes utilisés dans des campagnes de phishing sophistiquées. En intégrant des outils alimentés par l’intelligence artificielle, les entreprises peuvent automatiser la détection des comportements anormaux et accélérer la réponse aux incidents, renforçant ainsi leur résilience face aux attaques générées par l’IA. Cependant, l’usage de l’IA générative par les développeurs informatiques est susceptible d’accroître le risque de failles de sécurité du logiciel et l’exploitation de vulnérabilités par les cyberattaquants des systèmes d’IA.
Selon le laboratoire d’innovation numérique de la Cnil (Linc), il existe trois grandes familles d’attaques de systèmes d’IA : les attaques par manipulation, qui ont pour objectif de contourner les résultats attendus ou d’induire des actions imprévues pour que le système d’IA effectue des tâches inattendues; les attaques par infection qui visent à compromettre la fiabilité des décisions produites par l’IA en compromettant les données utilisées pour l’entraînement du modèle, notamment par des attaques par empoisonnement via des logiciels malveillants ; les attaques par exfiltration qui ont pour objectif l’appropriation des données des systèmes d’IA, portant ainsi atteinte à la confidentialité des informations de l’entreprise et au respect de la vie privée des personnes concernées (3).
IA générative et système d’information
Ainsi, face à ces risques, les entreprises doivent adopter une approche raisonnée dans la mise en œuvre et le déploiement de systèmes d’IA afin de prévenir les atteintes à la sécurité de leurs systèmes d’informations, lesquels font un usage croissant de l’IA générative. Aussi, les entreprises doivent repenser leurs stratégies de cybersécurité. Dans ce contexte, la vérification continue des identités, le contrôle strict des accès et la segmentation fine des réseaux sont des pratiques de nature à limiter le risque. Il est ainsi stratégique pour toute organisation de sécuriser les actifs numériques selon cette approche « risque » dans un environnement marqué par des menaces toujours plus complexes. Le groupe d’experts de haut niveau sur l’IA – l’« AI HLEG » constitué par la Commission européenne en 2018 (4) – décrit sept principes éthiques destinés à rendre l’IA digne de confiance : action humaine et contrôle humain ; robustesse technique et sécurité ; respect de la vie privée et gouvernance des données ; transparence ; diversité, non-discrimination et équité ; bien-être sociétal et environnemental ; et responsabilité.
Encadrement normatif européen renforcé
Le règlement européen sur l’IA – l’AI Act entré en vigueur depuis le 1er août 2024 (5) – établit des règles harmonisées pour la mise sur le marché et l’utilisation des systèmes d’IA dans l’Union européenne (UE), en mettant en place notamment une obligation de vigilance à la charge des fournisseurs et des déployeurs de systèmes d’IA, tout particulièrement pour les systèmes d’IA à haut risque. Les entreprises doivent ainsi classifier leurs systèmes d’IA et adapter leurs pratiques selon le niveau de risque. Concrètement, elles doivent procéder à une analyse interne en faisant une cartographie de leurs applications, une évaluation des risques spécifiques liés à l’IA envisagée, et des analyses d’impact. Il est nécessaire de mettre en place des mesures de transparence, particulièrement pour les systèmes d’IA générative utilisés pour générer justement ou manipuler des contenus, et de prévoir des explications sur les décisions fondées sur leur système d’IA à haut risque, du fait de leur impact sur les droits des utilisateurs.
En outre, l’AI Act impose que les systèmes d’IA soient encadrés par un processus de gestion des risques planifié, évolutif et mis à jour régulièrement, de la phase d’entraînement jusqu’à son déploiement. Cela vise à garantir une meilleure anticipation des menaces cyber et réduit les risques notamment via une conception sécurisée par défaut (security by design). Cette logique rejoint les exigences du règlement général sur la protection des données (RGPD), de la directive NIS2 en cours de transposition ou du règlement DORA applicable au secteur financier et de l’assurance (6).
Sur le plan humain, le règlement sur l’IA impose de former et de responsabiliser les personnes impliquées. Les entreprises doivent redoubler de vigilance dans la protection de leurs systèmes afin de lutter efficacement contre la compromission de leurs infrastructures d’hébergement de données ou de leur chaîne d’approvisionnement. Au stade de la prévention du risque, la mise en place d’une procédure destinée à évaluer et suivre la conformité en interne des systèmes d’IA est un enjeux clé pour les entreprises. La mise en place de politiques internes destinées à encadrer l’utilisation de l’IA par les salariés, ou encore le contrôle systématique de toute nouvelle application introduite sur le système d’information de l’entreprise, afin d’éradiquer le « shadow AI » (autrement dit l’IA fantôme), sont des facteurs de diminution des risques. La mise en œuvre concrète des exigences réglementaires implique pour les entreprises de prendre en compte les recommandations produites par les régulateurs, sources d’informations précieuses pour anticiper les risques. En France, l’Agence nationale de la sécurité des systèmes d’information (Anssi) a publié le 29 avril 2024 un guide de recommandations de sécurité pour les systèmes d’IA générative (7). Ce guide propose une série de mesures pour sécuriser ces systèmes tout au long de leur cycle de vie, depuis l’entraînement jusqu’à la production. On y trouve ainsi des recommandations générales visant à intégrer la sécurité dès la conception et dans toutes les phases du projet de développement d’un système d’IA, mais également en phases d’entraînement, de déploiement et de production. L’Anssi recommande par exemple de prévoir des audits de sécurité – avant déploiement en production ou encore journaliser – de l’ensemble des traitements réalisés au sein du système d’IA. En février 2025, lors du Sommet de l’IA à Paris, l’Anssi a publié le guide intitulé « Développer la confiance dans l’IA à travers une approche par les risques cyber » (8), où elle élabore des bonnes pratiques pour un déploiement sécurisé des systèmes d’IA, donnant ainsi des orientations à destination des développeurs, des fournisseurs et des décideurs. Outre la mise en place d’un processus de veille technologique et réglementaire, elle recommande de procéder à un contrôle strict des chaînes d’approvisionnement en cartographiant les composants logiciels, en vérifiant la fiabilité des fournisseurs, et en protégeant les données d’entraînement contre l’empoisonnement.
En matière de protection des données personnelles, la Cnil exige de décliner les principes du RGPD aux usages de l’IA. Elle a publié le 7 février 2025 plusieurs recommandations pour la mise en place d’un système d’IA (9), en donnant des bonnes pratiques visant notamment à l’information des personnes concernées qui voient leurs données intégrées dans une base de données d’apprentissage. En outre, la Cnil invite les fournisseurs à anonymiser les données d’entraînement ou, à défaut de pouvoir le faire, à s’assurer que le modèle d’IA est anonyme à l’issu de son entraînement.
Adopter une approche security by design
Lors du Forum InCyber, début avril 2025 à Lille, plusieurs bonnes pratiques ont été mises en avant pour encadrer les risques liés à l’intelligence artificielle. Parmi celles-ci, l’importance de la collaboration entre les acteurs publics et privés a été soulignée pour renforcer la résilience numérique. Le forum a également insisté sur la nécessité d’adopter une approche security by design, intégrant des mécanismes de sécurité dès la conception des systèmes d’IA. Enfin, la formation continue des professionnels et la sensibilisation des utilisateurs ont été identifiées comme des leviers essentiels pour prévenir les cybermenaces et garantir une utilisation éthique et sécurisée de l’intelligence artificielle. @
* Antoine Gravereaux est avocat associé chez FTPA Avocats,
au département « Technologies, Data & Cybersécurité ».