La Commission européenne 2019-2024 part en quête d’un « leadership numérique » face aux GAFA et aux BATX

Entre le marteau des géants américains de l’Internet et l’enclume de leurs homologues chinois, la nouvelle Commission européenne, présidée par Ursula von der Leyen et installée depuis le 1er décembre, va tenter de s’imposer dans le monde numérique. Pas moins de quatre commissaires ont le digital au coeur de leurs attributions.

C’est d’abord sur les épaules de la Danoise Margrethe Vestager (photo) que repose la charge de faire « une Europe préparée à l’ère numérique ». Cet objectif est justement le libellé de ses attributions au sein de la nouvelle Commission européenne, dont elle a été nommée viceprésidente exécutive. Très redoutée des GAFA qu’elle a mis pour certains à l’amende lorsqu’elle était commissaire européenne en charge de la concurrence (2014-2019), la voici en haut de l’affiche dans cette Commission « Leyen » qui remplace la Commission « Juncker » et qui a pris ses quartiers à Bruxelles depuis le 1er décembre pour un mandat de cinq ans (2019-2024). Margrethe Vestager devra composer avec trois autres commissaires européens qui auront eux aussi affaire avec la stratégie digitale du Vieux Continent : la Bulgare Mariya Gabriel qui se retrouve avec le portefeuille « Innovation et Jeunesse » (après avoir été auparavant en charge de l’Economie et de la Société numériques), le Français Thierry Breton qui fait son entrée à Bruxelles avec la responsabilité du Marché intérieur, et le Belge Didier Reynders qui est aussi un nouveau venu pour prendre en charge la Justice.

Vers une nouvelle « loi sur les services numériques »
La réussite ou pas de « l’Europe digitale » dépend donc de ce « quadriumvirat » où chacun a de près ou de loin le numérique dans son portefeuille. « La transition numérique aura des répercussions sur tous les aspects de notre économie et de notre société. Votre tâche consistera à faire en sorte que l’Europe saisisse pleinement le potentiel de l’ère numérique et renforce sa capacité industrielle et d’innovation. Ce sera un élément-clé du renforcement de notre leadership technologique et de notre autonomie stratégique », a écrit la présidente de la nouvelle Commission européenne, Ursula von der Leyen, dans la lettre de mission qu’elle a adressée à Margrethe Vestager. Cela passera par une nouvelle stratégie à long terme pour l’avenir industriel de l’Europe, une maximisation de l’investissement dans la recherche et l’innovation, et une nouvelle stratégie pour les PME et les start-up, « notamment en réduisant la charge réglementaire et en leur permettant de tirer le meilleur parti de la numérisation ». Pour les cent premiers jours du mandat de Margrethe Vestager, la présidente de la Commission européenne lui demande de « coordonner les travaux sur une approche européenne de l’intelligence artificielle (IA), y compris ses Continuer la lecture

Cédric O, porte-voix « French Tech » d’Emmanuel Macron, est secrétaire d’Etat chargé du Numérique depuis 6 mois

Cédric O fut le coorganisateur de la soirée « French Tech » à Las Vegas en 2016, événement qui donna le coup d’envoi de la campagne présidentielle d’Emmanuel Macron. Depuis plus de 6 mois maintenant, l’ancien trésorier d’En marche (devenu LREM) est au pouvoir et pousse les feux sur le numérique et surtout les start-up.

Six mois maintenant qu’il est à Bercy où il a remplacé Mounir Mahjoubi. Cédric O (photo) est l’un des plus jeunes (36 ans) membres du gouvernement, secrétaire d’Etat chargé du Numérique auprès du ministre de l’Economie et des Finances (Bruno Le Maire) et du ministre de l’Action et des Comptes publics (Gérald Darmanin). Ce portefeuille « par délégation », il l’a remporté à la faveur de l’élection présidentielle d’Emmanuel Macron, qui fut lui-même ministre de l’Economie, de l’Industrie et du Numérique (août 2014 à août 2016). Comme Mounir Mahjoubi, Cédric O a été désigné par le locataire de l’Elysée en raison de son engagement politique à ses côtés lorsque ce dernier était candidat aux plus hautes fonctions de l’Etat. Proche conseiller d’Emmanuel Macron, Cédric O a remplacé le 31 mars dernier Mounir Mahjoubi, lequel venait de quitter le gouvernement en vue de se porter candidat aux élections municipales à Paris en 2020 – la macronie ayant finalement préféré investir Benjamin Griveaux. Mais Mounir Mahjoubi avait entre temps retrouvé son siège de député de Paris (1) où il avait été élu en juin 2017, avec comme suppléante une certaine… Delphine O, la soeur cadette de Cédric O.

Celui qui murmure « digital » à l’oreille de Macron
Celle-ci est devenue députée au moment où Mounir Mahjoubi fut de mai 2017 à mars 2019 le « Monsieur numérique » du gouvernement. Redonnant alors son siège de députation à Mounir Mahjoubi en avril 2019, Delphine O intègre le ministère de l’Europe et des Affaires étrangères et est nommée le mois suivant ambassadrice, secrétaire générale de la conférence mondiale de l’Organisation des Nations unies (ONU) sur les femmes depuis juin dernier. Son frère, lui, a profité de ce jeu de chaises musicales en étant nommé secrétaire d’Etat chargé du Numérique. Concours de circonstance ou népotisme ? Quoi qu’il en soit, les deux O, nés d’une Française et d’un Coréen, ne manquent pas d’entregent. Diplômé de HEC Paris en 2006, Cédric O est attiré par la politique et fera partie – avec notamment Benjamin Griveaux – de l’équipe de campagne de Dominique Strauss-Kahn pour la primaire PS de 2006 en vue de l’élection présidentielle à l’époque. Il participe en outre à la création du Continuer la lecture

Les priorités 2019 du nouveau président du CSPLA

En fait. Le 21 janvier prochain se réunira le prochain « trilogue » de négociation sur le projet de directive européenne « Droit d’auteur dans le marché unique numérique ». Pendant ce temps-là, le nouveau président du CSPLA, Olivier Japiot, a fixé les priorités de son mandat de trois ans.

En clair. Edition Multimédi@ a demandé ses priorités pour l’année 2019 à Olivier Japiot, conseiller d’Etat nommé le 28 novembre dernier – par arrêté de la ministre de
la Justice et du ministre de la Culture (publié au JO du 4 décembre) – président du Conseil supérieur de la propriété littéraire et artistique (CSPLA). « En principe, devraient être présentés à la réunion plénière du printemps prochain les trois rapports suivants : “Ventes passives” [c’est-à-dire les ventes non sollicitées par le vendeur de contenus audiovisuels à l’échelle transfrontière au sein du marché unique numérique, ndlr], “Preuve de l’originalité” [d’une oeuvre pour justifier de sa protection légale, y compris sur Internet, ndlr], “Intelligence artificielle” [dans les secteurs de la création culturelle, notamment lorsque l’IA se substitue à l’humain, ndlr] », nous at- il répondu. Quant à la mission que son prédécesseur, Pierre- François Racine, lui avait confiée
il y a tout juste un an sur l’impression 3D, elle devrait déboucher au cours de ce 1er semestre 2019 sur l’adoption d’« une charte de bonnes pratiques dans le domaine de l’art ». Cette mission-là a déjà le rapport qu’Olivier Japiot lui-même avait rendu au CSPLA en juin 2016 et intitulé « L’impression 3D et le droit d’auteur : des menaces à prévenir, des opportunités à saisir ». Il y préconisait justement d’« établir une charte des bonnes pratiques afin notamment de les inciter à afficher systématiquement un appel pédagogique au respect de la propriété intellectuelle » pour prévenir du piratage,
« principalement sur les oeuvres d’art plastique » (1). La charte « Impression 3D », établie avec Vincent Ploquin-Duchefdelaville, a pris du retard car elle devait être proposée le 31 juillet dernier (2). Concernant l’IA, le rapport d’Alexandra Bensamoun
et de Joëlle Farchy lui sera remis fin avril. Le rapport sur la preuve de l’originalité, par Josée-Anne Bénazeraf et Valérie Berthez, est attendu pour fin mars. Celui sur les ventes passives devait être remis à l’automne dernier. Le CSPLA a déjà publié de nombreux rapports (blockchain, licences libres, données et contenus numériques, etc.). « Nous proposerons des coopérations sur des sujets d’intérêt commun, notamment en matière d’études et de manifestations, à des partenaires (…) tels que l’Hadopi, le CNAC (3), le Conseil national du numérique et l’INPI (4) », a aussi écrit Olivier Japiot dans un courrier (5) adressé aux membres du CSPLA le 14 décembre. @

L’éthique, mode alternatif de régulation de l’IA et vecteur de confiance dans l’innovation

Les intelligences artificielles (IA) fascinent et semblent faciliter nos vies. Pourtant, elles nourrissent aussi des craintes et de véritables questionnements quant à leur impact sur la société, voire l’humanité. L’éthique peut constituer l’un des piliers de la confiance nécessaire au développement de l’IA.

Par Mahasti Razavi, associé gérant, et Laura Ziegler, avocat senior, August Debouzy

Il existe une distinction entre des IA dites
« faibles » et des IA dites « fortes ». L’IA faible permet de reproduire, le plus fidèlement possible, à l’aide d’un programme informatique, le résultat d’un comportement spécifique prévu à l’avance, dans la majorité des cas de façon bien plus efficace et rapide que l’homme, mais sans aucune forme d’improvisation. Si elle peut simuler le raisonnement, inclure une dimension apprenante et résoudre des problèmes, ce type d’intelligence artificielle ne permet en aucun cas de reproduire les fonctions cognitives de l’intelligence humaine.

IA « faible » : source de préoccupations
Chatbots, outils de reconnaissance vocale (Assistant/Google, Cortana/Microsoft, Siri/Apple, Alexa/Amazon) ou de reconnaissance d’images, ou encore robotique : cette forme d’IA « faible » est celle qui nous accompagne dans notre vie de tous les jours.
A cette IA « faible » est opposée une « IA forte », qui serait non seulement capable
de reproduire des aptitudes à la réflexion et à l’interaction intelligente (analyse, raisonnement, actions rationnelles), mais pourrait en outre comprendre son propre fonctionnement et avoir ainsi une réelle « conscience » d’elle-même. A cette étape, l’intelligence de la machine dépasserait donc celle de l’homme dans tous les domaines, y compris dans la créativité et dans l’agilité sociale. Si l’IA forte fait l’objet d’une préoccupation légitime en termes d’éthique, il n’en demeure pas moins que l’IA
« faible » doit également nous interpeller à cet égard.
Dans ce cadre, l’éthique apparaît comme un enjeu majeur pour penser et développer une IA responsable. L’une des premières sources d’inquiétude et de questionnements se concentre autour de l’effet pervers des algorithmes et de l’IA pouvant répercuter
et surtout amplifier un certain nombre de discriminations. En effet, si l’IA permet un traitement plus efficace de la donnée et a priori plus objectif de la donnée, l’algorithme est toujours le reflet d’un système de valeurs et de choix de société, à travers son paramétrage, ou ses données d’apprentissage. Aussi, les critères sur lesquels reposent les systèmes prédictifs peuvent être à l’origine de la reproduction et/ou de l’accentuation d’inégalités, de phénomènes d’exclusions et de discrimination, généralement causés par des biais cognitifs (1). Ces biais peuvent affecter directement ou indirectement les algorithmes (dès leur conception ou parce qu’ils n’auront pas été assez entraînés) mais encore les données intégrées dans le système ou générées par celui-ci (manque de diversité des bases de données d’apprentissage, par exemple).
Un algorithme permettant le fonctionnement d’un outil de reconnaissance faciale, s’entraînant sur une base de données qui ne serait pas assez diverse, peut ainsi présenter des défaillances dans la reconnaissance de visages. Autre illustration : les biais de genre révélés par la plateforme publicitaire de Google, AdSense, par laquelle les femmes se voyaient proposer des offres d’emploi bien moins rémunérées que celles adressées aux hommes, à un niveau similaire de qualification et d’expérience. Les algorithmes de prédiction, qui présentent aussi des risques d’exclusions, peuvent permettre aux entreprises d’anticiper les comportements ou les tendances de comportement de leurs clients, et d’automatiser en grande partie certains processus
ou d’aider à la prise de décision (2). Cette automatisation et cette dynamique de personnalisation des offres et des services peuvent naturellement avoir pour effet d’exclure l’accès de certaines personnes à ces services. C’est d’ailleurs l’une des raisons pour laquelle ce sujet a été très strictement encadré par la législation applicable en matière de données à caractère personnel et renforcée avec l’entrée en application du RGPD (3).
L’effet algorithmique qui consiste à classer et à filtrer des données, analysées en grande masse, est également un sujet préoccupant : ces algorithmes apprenants analysant nos comportements auront tendance à nous proposer constamment des objets (en fonction des achats effectués et des prédictions de nos futurs besoins),
des personnes (nos amis visibles sur les réseaux sociaux), des cultures (profilage
« Netflix ») conformes à nos goûts.

Risque d’enfermement algorithmique
Cela n’aura-t-il pas pour effet de nuire à un certain pluralisme et plus généralement
à la diversité culturelle ? A l’échelle de la société, ce phénomène pourrait constituer
– notamment en matière politique – un danger pour la qualité du débat public, la diversité de l’information et plus généralement le fonctionnement de notre démocratie. Alors que l’IA investit même les rédactions journalistiques et permet de traiter un grand nombre d’informations, de rédiger automatiquement certains articles ou encore de faire de la veille d’actualité, la mise en place – dans ce cadre précis – d’une IA responsable et éthique permettant d’éviter cet enfermement algorithmique, de lutter contre les fakes news, de respecter les engagements de diversité, de pluralisme et de déontologie de l’information paraît là encore indispensable.

Equilibre entre traitement et accès
En outre, l’IA impliquant l’utilisation massive des données à des fins d’apprentissage, elle pose là encore de nombreuses interrogations sur l’équilibre entre le traitement et l’accès aux données par les acteurs de l’IA et la protection des données à caractère personnel et des droits des personnes concernées. Sans algorithme, les données sont muettes, et sans donnée, l’algorithme est aveugle. A ce sujet, les principes de
« minimisation des données », l’encadrement du profilage, de la prise de décision exclusivement automatisée et les obligations de transparence figurant dans le RGPD marquent déjà les premières bases d’une technologie souhaitée plus responsable et respectueuse des droits et libertés des individus, même si ce n’est pas sans générer
de nombreuses difficultés en pratique. Plus généralement, la recherche de ce point d’équilibre entre la nécessaire protection des libertés individuelles et le développement libéré d’une technologie utile pour l’homme nourrit l’ensemble des réflexions autour de l’IA. S’il n’existe pas aujourd’hui de cadre juridique global et déterminé permettant de prendre en compte toute la complexité de ces nouvelles technologies intelligentes, les principales problématiques juridiques en matière notamment de propriété intellectuelle, de responsabilité, de protection des données à caractère personnel peuvent être aujourd’hui tout à fait encadrées par les textes existants. Parce qu’il s’agit par nature d’une technologie en mouvement, il nous semble « urgent de ne rien faire ! » et souhaitable que l’IA s’appuie sur la régulation existante et évolue de manière progressive avec celle-ci. Les règles et les limites qui lui sont applicables peuvent être par ailleurs conçues, dans un premier temps, de manière non contraignante, telle une soft law de plus, afin d’atteindre une certaine maturité. C’est ici tout le sens de l’éthique pensée comme une méthode alternative aux régulations, permettant de déclencher les consciences individuelles et collectives, devenue outil d’accompagnement du droit. L’éthique est constituée par un ensemble de normes édictées par l’industrie auxquelles celle-ci choisit de donner une force contraignante. Le contenu de ces normes peut reprendre en partie le droit existant, mais également aller bien au-delà. C’est en ce sens que s’est positionnée la Cnil (4) dans son rapport, publié le 15 décembre 2017, sur les enjeux éthiques des algorithmes et de l’IA (5). Elle a décliné six recommandations opérationnelles dans ce domaine – plaçant l’éthique au cœur de celles-ci en insistant notamment sur la nécessité de : former à l’éthique tous les acteurs-maillons de la chaîne algorithmique, rendre les algorithmes compréhensibles, constituer une plateforme nationale d’audit des algorithmes, encourager la recherche sur l’IA éthique ; et renforcer la fonction éthique au sein des entreprises (6). L’éthique apparaît désormais comme un enjeu crucial et un outil indispensable pour sensibiliser les utilisateurs mais également ceux qui contribuent à la conception et la commercialisation de ces systèmes d’IA aux enjeux attachés à son usage. Cette prise de conscience est très présente notamment chez les professionnels du secteur privé qui ont intégré l’éthique au cœur de leurs transformations digitales (lire encadré ci-dessous).
A ce jour, le développement d’une IA éthique semble être à l’évidence porté par une régulation alternative, choisie et sectorielle, à la recherche d’une gouvernance adaptée. Elle nécessitera toutefois inévitablement une mobilisation internationale d’ampleur, ou à tout le moins européenne, pour permettre l’identification des grand enjeux de société et éviter l’émergence d’éventuelles dérives : un « shopping éthique » (7) ou encore un nouveau phénomène d’« Ethicwashing » (8). L’IA éthique pourrait au contraire constituer la clé de l’attractivité des entreprises, puis des Etats conscients de son importance pour leur leadership en matière d’innovation. @

ZOOM

Les initiatives pour une IA éthique se multiplient
De très nombreux acteurs provenant de l’industrie de la tech – mais pas uniquement – se sont saisis du sujet et ont mis en place un grand nombre d’outils, au sein même de leurs organisations, pour développer une IA éthique et de confiance (9). Microsoft ou IBM, ont adopté, par exemple, des chartes et des codes éthiques sur l’utilisation de l’IA. Google annonçait le 7 juin 2018 – en réaction à une mobilisation d’une partie de ses salariés (10)– le lancement d’une charte éthique, articulée autour de sept principes très concrets applicables à l’IA (11). Ces sociétés ont également très récemment uni leurs forces en créant le 28 septembre 2018 un partenariat dans ce domaine : « Partnership on Artificial Intelligence to Benefit People and Society » (12), afin de définir de bonnes pratiques dans ce domaine. Du côté de la justice cette fois, le comité éthique et scientifique de la justice prédictive a adopté le 19 novembre 2018 une charte éthique qui est à ce jour uniquement contraignante pour la « Legaltech Predictice » qui s’y est volontairement soumise, mais qui a vocation à terme à servir à l’ensemble des acteurs utilisant l’IA dans le monde du droit. Plus récemment encore, le 3 décembre 2018, le Conseil de l’Europe adoptait la première charte européenne relative à l’usage de l’IA dans le monde judiciaire (13). Enfin, le monde scientifique, de la recherche et de l’industrie a appelé à un développement responsable de l’IA (14) en créant vingt-trois principes fonda-mentaux d’orientation de la recherche et des applications de l’IA (15). @

Le français Archos a vraiment du mal à s’en sortir

En fait. Le 3 octobre, Archos, le fabricant français de smartphones et tablettes,
a publié via l’AMF son document de référence annuel, ce qu’il n’avait pas fait depuis… 2011. Ce rapport financier porte sur trois ans et le 1er semestre 2018.
Il illustre la difficulté de faire du « made in France » high-tech.

En clair. Archos – anagramme de « Crohas », du nom de son fondateur Henri Crohas, actuel président du conseil d’administration et son premier actionnaire (6 % du capital et 11,2 % des droits de vote), mais aussi « maître » en grec () – est mal en point pour ses trente ans. La capitalisation boursière de l’entreprise française de smartphones et tablettes – fabriqués en Chine pour le compte d’« Archos Chine » (1) – n’a cessé de dégringoler ces dernières années pour ne peser aujourd’hui qu’à peine 22,5 millions d’euros (au 12-10-18). Le document de référence 2018 publié début octobre montre une PME exsangue : sur les six premiers mois de l’exercice en cours, les pertes nettes atteignent 5 millions d’euros, soit presque autant que durant toute l’année 2017 (6,4 millions d’euros de pertes nettes). Tout en creusant son déficit, l’entreprise du « Steve Jobs auvergnat » – dixit Challenges il y a dix ans dans son classement des grandes fortunes françaises (2) – a vu son chiffre d’affaires fondre au fil des années, passant de son plus haut niveau de 171,4 millions d’euros en 2011 – unique année positive avec 5,6 millions de bénéfice net – à seulement 114,1 millions en 2017 (-26,1 % sur un an). Le premier semestre de cette année montre un recul des revenus de 35,8 % en un an, à 32,2 millions d’euros, ne laissant rien augurer de bon pour cette année. L’endettement d’Archos atteint, lui, 25 millions d’euros (3). Le 1er mai 2013, Henri Crohas avait dû laisser la direction générale de son entreprise à Loïc Poirier, après 38,7 millions d’euros de pertes l’année précédente. Les déboires de cette PME française, basée à Igny (Essonne), illustrent les difficultés d’être un « fabricant français » de smartphones, viable et pérenne, sur un marché mondial dominé par Samsung, Apple, Sony, LG et
les chinois Huawei, Oppo ou Xiaomi. Leur puissance de feu, sur fond de guerre des prix, a été écrasante pour Archos.
Sa diversification surprenante semble être une fuite en avant : dans les trottinettes et vélos électriques depuis février 2017, dans les portefeuilles de cryptomonnaies depuis juillet 2018, et dans les assistants vocaux à écran – avec l’intelligence artificielle de Google Assistant depuis fin septembre et, à partir de janvier 2019, d’Amazon Alexa.
« L’objectif de la société est de réaliser environ 50 % de son chiffre d’affaires en 2020 sur les deux nouveaux piliers “Intelligence artificielle” et “Sécurité des transactions Blockchain” », indique le document de référence. @

Faut-il réguler l’intelligence artificielle et, si oui, de façon globale ou sectorielle ?

Plutôt que de créer un « code de l’intelligence artificielle » ou une nouvelle personnalité juridique (solvable ?) pour les systèmes d’IA, une régulation mesurée de l’IA pourrait faire l’affaire. Mais la faut-il globale avec un super-régulateur de l’IA, ou bien sectorielle avec les régulateurs existants ?

Par Winston Maxwell, avocat associé, Hogan Lovells, et David Bounie, professeur d’économie, Telecom ParisTech

L’intelligence artificielle (IA) – qui regroupe plusieurs technologies dont l’apprentissage machine (ou apprentissage automatique, en anglais machine learning) – est une forme avancée de logiciel.
Un logiciel est simplement un ensemble de programmes destiné à faire fonctionner un système informatique. Il n’existe pas de régulation spécifique dédiée aux seuls logiciels. Faut-il traiter l’IA différemment ?

Bon équilibre entre sécurité, prix et utilité
Examinons d’abord la question de la responsabilité civile. Sur le plan économique, les règles de responsabilité civile sont destinées à encourager le déploiement de nouvelles technologies, tout en s’assurant que ces technologies s’entourent de mesures de sécurité adéquates. Si les règles de responsabilité sont trop strictes, certaines technologies utiles pour la société ne seront pas déployées. Si les règles de responsabilité sont trop laxistes, la technologie créera des dommages pour la population dépassant largement les bénéfices de la technologie. Il faut chercher le bon équilibre. Pour illustrer, il suffit de penser à la voiture : une technologie utile mais relativement dangereuse car responsable de milliers de morts et de blessés par an. Si nous exigions un niveau de sécurité absolu, la vitesse de chaque voiture serait bridée à 30 km par heure, et la voiture serait construite comme un char d’assaut. Mais cela réduirait son utilité et augmenterait sensiblement son prix ! Comme pour la voiture, le défi pour l’IA est de trouver le bon équilibre entre mesures de sécurité, prix et utilité. L’entreprise qui déploie un système d’IA – par exemple, un constructeur automobile ou une banque – sera incitée par les règles de responsabilité civile à s’assurer de la sécurité du système. L’une des particularités des systèmes d’apprentissage machine est leur utilisation de données d’entraînement. Le concepteur du modèle d’apprentissage fournira un modèle vierge. Ce modèle apprendra ensuite en utilisant les données de l’entreprise A. Amélioré par les données de l’entreprise A, le modèle se nourrira ensuite des données de l’entreprise B, et ainsi de suite. Lorsque le modèle produit une erreur, l’origine de l’anomalie sera difficile à identifier. S’agit-il d’un défaut dans le modèle d’origine, ou est-ce que l’anomalie provient des données d’apprentissage de l’entreprise A ou B ? Il est donc important pour chaque entreprise qui déploie un système d’IA de préciser par contrat comment ses données seront utilisées pour améliorer le modèle et prévoir des règles de responsabilité, de sécurité et de partage de valeur relatif au modèle amélioré. Le modèle devient plus intelligent grâce aux données d’entraînement ; le propriétaire des données d’entraînement pourrait donc exiger une rémunération. Les contrats devront également prévoir des dispositions pour garantir que le modèle amélioré ne peut pas indirectement révéler des données confidentielles de l’entreprise, ou des données à caractère personnel contenues dans les données d’entraînement. Entre les entreprises, la plupart des questions de responsabilité seront régulées par contrat. Les décisions d’un système d’apprentissage automatique sont souvent opaques — on ne comprendra pas pourquoi un système a décidé A au lieu de B. Cela pose problème pour l’application des règles de responsabilité civile et pour la régulation en général – les tribunaux, experts et régulateurs doivent pouvoir comprendre a posteriori pourquoi un système a commis une erreur afin d’en tirer des leçons et d’allouer la responsabilité à l’acteur approprié. De nombreux travaux sont actuellement consacrés aux problèmes de la transparence et de l’« auditabilité » des algorithmes, à l’« explicabilité » et à la responsabilisation (accountability) des décisions IA (1). Ces travaux ne font pas consensus. Sur le thème de la transparence et de l’auditabilité des algorithmes, deux camps s’affrontent. Le premier défend l’idée qu’un algorithme propriétaire qui prend des décisions de nature à causer des préjudices devrait pourvoir être rendu transparent et audité de manière à découvrir l’origine des erreurs,
et à pouvoir les corriger. La chancelière d’Allemagne, Angela Merkel, a récemment plaidé pour la transparence des algorithmes.

L’Europe veut de la transparence
En Europe, la transparence est également au cœur du règlement général sur la protection des données (RGPD) qui énonce que pour les décisions automatisées basées sur des données personnelles et qui créent des effets juridiques, les individus ont droit à « des informations utiles concernant la logique sous-jacente, ainsi que l’importance et les conséquences prévues de ce traitement ». Le deuxième camp considère que l’idéal de transparence n’a pas de sens car, d’une part, les chercheurs sont souvent dans l’incapacité de comprendre les résultats produits par des algorithmes sophistiqués (réseaux de neurones), et d’autre part, que rendre transparents les algorithmes menacerait à terme les investissements et briserait les secrets. En France, la Commission nationale de l’informatique et des libertés (Cnil) a semble-t-il choisi son camp en proposant récemment une plateforme nationale pour auditer les algorithmes. Sur le thème de la discrimination ensuite, les débats également sont animés.

Secret, discrimination et responsabilité
Des travaux récents aux Etats-Unis ont montré que des algorithmes étaient biaisés envers certaines catégories de personnes, et conduisaient donc à des discriminations. L’originalité du préjudice vient cependant d’un problème nouveau lié à l’IA : les algorithmes ont appris à discriminer à partir de données d’entraînement qui étaient biaisées, ou par simple association
de variables corrélées entre elles : les personnes d’une certaine origine nationale ou ethnique résident en majorité dans certains quartiers, etc.
Les algorithmes n’ont pas intentionnellement discriminé : dès lors qui est responsable ? L’entreprise qui utilise l’algorithme, celle qui a mis au point l’algorithme, celle qui a entraîné l’algorithme ? Outre ces questions qui divisent, la charge de la preuve se révèle beaucoup plus difficile pour les plaignants : comment prouver l’origine de la discrimination (non-intentionnelle) sans un accès à l’algorithme ?
Enfin, quand bien même la preuve serait établie, comment corriger le problème s’il est difficile de comprendre comment la technologie IA a produit le résultat ? Dernière question liée au cas particulier d’un algorithme causant une discrimination : comment corriger une discrimination sur le genre, par exemple, s’il est impossible de collecter des informations personnelles sur le genre (du fait de la protection des données) ? Devant la complexité des décisions, une autre question émerge : faut-il créer une personnalité juridique pour les systèmes d’IA ? Pour que
la responsabilité civile puisse fonctionner, il faut identifier une personne responsable, et cette personne devra disposer de suffisamment de ressources ou d’assurances pour dédommager les victimes. En matière d’IA, la personne responsable sera généralement l’entreprise qui exploite le système – la banque ou le constructeur automobile par exemple. Cette personne sera généralement responsable en première ligne, et se retournera ensuite contre ses fournisseurs du système IA en amont. L’entreprise exploitante sera généralement assurée contre les risques de responsabilité civile, et vérifiera que ces fournisseurs en amont le sont également. La création d’une personnalité juridique pour les systèmes d’IA ne changera rien par rapport à la situation actuelle, car le problème restera celui de la solvabilité de la personne morale responsable, et de son niveau d’assurance. Les navires marchands illustrent bien le point : ils sont chacun détenus par une société dédiée – une société par navire. Lors d’un naufrage, la société propriétaire du navire sera généralement insolvable, son seul actif étant le navire. L’enjeu sera celui de l’assurance et éventuellement la recherche d’autres personnes morales responsables à travers des théories de responsabilité indirecte (vicarious liability). La création d’une société ou personne morale ad hoc pour les systèmes IA n’avancerait pas le débat par rapport à l’existant. Fautil une régulation spécifique de l’IA ? Deux points de vue s’opposent. Selon le premier point de vue, l’IA doit être régulée dans son ensemble car les risques pour la société traversent différents secteurs économiques et peuvent avoir des effets cumulatifs néfastes qui ne seraient pas visibles par des régulateurs sectoriels. Selon l’autre point de vue, les risques de l’IA sont étroitement liés à chaque type d’exploitation, et il vaut mieux laisser chaque régulateur sectoriel traiter les risques dans son secteur. La régulation bancaire s’occuperait des risques de l’IA dans le secteur bancaire et la régulation des transports s’occuperait des risques
de l’IA dans les voitures autonomes.
Un super-régulateur de l’IA ne rajouterait rien par rapport aux régulateurs sectoriels spécialisés, et pire, créerait une couche de régulation potentiellement en friction avec la régulation sectorielle. En matière de régulation, il faut avancer avec précaution lorsqu’il s’agit de technologies en mouvement. Comme un médicament, une régulation peut créer des effets secondaires imprévus (2). La régulation de l’Internet a évolué de manière progressive en s’appuyant sur la législation existante. L’IA devrait suivre le même chemin. Au lieu d’un « code de l’intelligence artificielle »,
il faudrait privilégier une série d’améliorations de la réglementation existante. Les normes ISO (3) en matière de sécurité des véhicules sont déjà en cours de modification pour intégrer l’IA (4). Le régulateur américain de la santé, la Food & Drug Administration (FDA), a développé des procédures pour homologuer des dispositifs médicaux utilisant l’IA (5). Le seul problème lié à cette approche sectorielle est l’apparition de risques cumulatifs pour la société qui échapperaient à la vigilance des régulateurs sectoriels. Est-ce que la généralisation de l’IA dans la vie des citoyens pourrait rendre les individus plus idiots, détruire le tissu social, ou affaiblir les institutions démocratiques ? Ce genre de risque ne doit pas être ignoré, et pourrait échapper à la vigilance des régulateurs sectoriels.

Observatoire des effets de l’IA sur la société ?
Un récent rapport de la fondation World Wide Web (6) prend l’exemple
des « fake news » propagées à travers les réseaux sociaux : quelle structure faut-il mettre en place pour changer les incitations des acteurs à communiquer des fausses nouvelles sur la plateforme et comment réparer les préjudices causés à la société ? Comment définir et mesurer ces préjudices, et quels acteurs sont au final responsables ? La Commission européenne favorise en premier lieu des solutions d’auto-régulation pour limiter l’impact de la désinformation sur la société. La surveillance de ce type de risque plus diffus pourrait être confiée à une institution dédiée – une sorte d’observatoire des effets de l’IA sur la société. L’objectif de cette institution serait de tirer la sonnette d’alarme en cas de remontée des indices de nocivité sociale, à l’image d’un canari dans une mine de charbon. Encore faut-il définir les indices ! @

Justice prédictive et « boîtes noires » : qui gardera les algorithmes dans notre démocratie numérique ?

Le prédictif — à grand renfort d’intelligence artificielle et d’algorithmes — nous apporte un nouveau type de connaissances. Mais il faut identifier les possibles effets pervers de « la boîte noire » et éviter que la justice prédictive ne devienne une justice « performative » ou « auto-réalisatrice ».

Fabrice Lorvo*, avocat associé, FTPA.

Le rapport Villani (1) sur l’intelligence artificielle (IA) – laquelle est, rappelonsle, le fait de créer des processus cognitifs comparables à ceux de l’être humain – préconise que la France avec l’Europe devienne un leader mondial de l’intelligence artificielle. Il s’agit de donner un sens à cette intelligence, qui doit seconder et non remplacer l’intelligence humaine.

Prédire jusqu’aux comportements humains
L’essor de l’IA est irrémédiable car il constitue a priori, aux yeux de tous, un progrès. Cette évolution technologique ne doit cependant pas nous faire oublier l’expérience acquise et la relativité du progrès, lequel peut apporter une amélioration immédiate puis être aussi porteur à plus long terme d’effets extrêmement néfastes sur les humains. L’amiante en est un exemple topique. Vanté au début du XIXe siècle pour ses vertus techniques, utilisé à outrance notamment pour la reconstruction d’aprèsguerre, il est apparu postérieurement que les effets à long terme de ce type de minéral à texture fibreuse étaient létaux pour l’homme.
Outre ce caractère irrémédiable, force est de constater que le progrès numérique (2) est ambivalent, c’est-à-dire qu’il amplifie à la fois des effets positifs comme des effets négatifs, et qu’il est difficile de tenter de corriger les effets négatifs sans impacter les effets positifs. L’IA n’échappe donc pas à des réserves. Ce nouveau type d’intelligence et de connaissance — avec l’ingénierie inversée (3) — offre des possibilités multiples, et l’on se prend à rêver d’un algorithme permettant de lutter contre, par exemple, le piratage sur Internet ou les contenus illicites en lignes. Nous nous intéresserons uniquement à la justice prédictive. On peut distinguer deux grands types de débouchés possibles : prédire les décisions de justice (sur la base des décisions de justice rendues dans le passé) ou prédire les comportements humains individuels à venir. Cette dernière catégorie concerne principalement l’aspect pénal de la justice. Elle est déjà utilisée depuis plus de dix ans aux Etats-Unis pour mesurer les risques de dangerosité ou de récidive d’un individu. En principe, en France, une telle utilisation n’est pas possible dès lors qu’elle est interdite par la loi. Cette interdiction doit cependant être nuancée car si la loi « Informatique et Libertés » de 1978 interdit que les décisions de justice impliquant une appréciation sur le comportement d’une personne soient prises par des algorithmes (4), la jurisprudence limite l’interdiction à l’exclusivité du fondement de la décision, considérant ainsi que ladite loi n’a ni pour objet ni pour effet d’interdire
à la juridiction de prendre en compte, parmi d’autres éléments d’appréciation, les résultats d’un tel traitement (5). Une étude parue en janvier 2018 dans Science Advances (6) démontre que le logiciel d’évaluation des risques Compas (7), commercialisé par une société privée américaine (Northpointe) et largement utilisé
par — selon cette société — l’équipement de 200 systèmes de justice pénale aux
Etats-Unis et au Canada, n’est pas plus précis ou équitable que les prédictions faites par des personnes ayant peu ou pas d’expertise en justice pénale. Cette étude démontre en outre qu’avec beaucoup moins d’informations que Compas (seulement
7 critères comparés aux 137 du questionnaire de Compas (8)), une petite foule de personnes inexpérimentées est aussi précise que Compas pour prédire la récidive.
A priori et à ce jour, les algorithmes prédictifs n’ont pas démontré une suprématie
par rapport à la décision humaine en termes d’efficacité. En France, par exemple, le Conseil d’Etat cite un rapport de l’Institut Montaigne publié en 2017 et intitulé « Justice : faites entrer le numérique », selon lequel « le taux actuel de sûreté des algorithmes prédictifs en droit ne semble pas, en l’état, excéder 70 %, ce qui n’est pas si élevé et
ne saurait fonder des certitudes » (9). A l’inverse, de tels algorithmes sont critiqués car sujets à de nombreux biais cognitifs principalement des biais sexistes, raciaux et de classes sociales (10).

Boîte noire et secret des affaires : risques
Outre l’efficacité relative des algorithmes, au moins deux critiques essentielles doivent être conservées à l’esprit en matière de justice prédictive, à savoir, le syndrome de
« la boîte noire » et le risque de « performativité » de la justice. Pour la boîte noire,
il ne s’agit pas ici de celle de l’aéronautique (qui est en fait orange) mais bien de la représentation d’un système sans comprendre son fonctionnement interne. Les codes sources des algorithmes sont généralement incompréhensibles pour le commun des mortels, et confidentiels car couverts par le secret des affaires. Une des causes de cette opacité réside dans le fait que les algorithmes utilisés, notamment par le pouvoir régalien (justice, police, défense, etc.), nécessitent de tels investissements financiers qu’ils ne sont développés que par le secteur privé.

Transparence, intégrité et capacité de jugement
Outre les questions de souveraineté, lorsque le prestataire est d’une nationalité différente, se pose de manière prégnante la question du secret des affaires. On peut comprendre qu’une société privée souhaite conserver son avantage concurrentiel, fruit de ses investissements et du risque pris en R&D, en gardant secret le fonctionnement de ces algorithmes. A l’inverse, dès lors que lesdits algorithmes sont de nature à avoir un impact sur la liberté des citoyens, il est plus que légitime que de pouvoir comprendre la manière dont il fonctionne et de pouvoir vérifier l’intégrité et la pertinence du modèle. L’exemple magistral du scandale récent du « Dieselgate » a démontré qu’un algorithme pouvait être trompeur et que le résultat qui s’affiche à l’écran peut travestir la réalité.
De plus, il faut être en mesure de pouvoir vérifier la neutralité des algorithmes. Il se pose, là encore, la question de savoir si l’homme est prédictible et jusqu’où il peut être modélisé de manière mathématique. Les algorithmes peuvent implicitement se référer
à un concept d’homme idéal ou de norme socialement acceptable. Sans défiance particulière pour les mathématiciens et/ou ingénieurs du secteur privé, ce type de questions relève du débat de société et l’établissement de telles normes – qui constituent déjà une sérieuse entorse à l’indispensable diversité humaine, sociale
ou culturelle – est de la compétence exclusive des pouvoirs publics, protecteurs de l’intérêt général et des droits fondamentaux. Reste aussi la question de la complétude, l’exactitude et l’intégrité de la base de données sur lequel les algorithmes vont travailler.
Cette nécessité de transparence et de compétences, ainsi que les problèmes éthiques induits que posent des algorithmes, a suscité diverses propositions qu’il convient de continuer à explorer. Le rapport Villani évoque « la constitution d’un corps d’experts publics assermentés en mesure de procéder à des audits d’algorithmes, des bases
de données et de procéder à des tests par tous moyens requis ». De même, le Québec a récemment proposé la création d’une « organisation mondiale de l’intelligence artificielle pour travailler sur les enjeux sociétaux et éthiques de cette technologie » (11). Une des grandes questions de la démocratie depuis l’Antiquité a été de savoir
« Qui gardera les gardes ? » ; celle de notre démocratie numérique sera probablement : « Qui gardera les algorithmes ? ». A la vitesse à laquelle l’intelligence artificielle progresse, tout cela ne constitue que des balbutiements et des ajustements temporaires, et que les algorithmes seront prochainement d’une grande fiabilité. Cet espoir n’est pas illusoire mais il est insuffisant. Ne négligeons pas le fait que le prédictif nous apporte un nouveau type de connaissances et qu’il nous faut en identifier les possibles effets pervers. Il faut avoir conscience et éviter que la justice prédictive ne devienne une justice performative ou auto-réalisatrice. En effet, si l’analyse des décisions passées permet de dégager une opinion majoritaire, il faut garder à l’esprit la possibilité que le juge soit influencé par ce résultat : soit qu’il renonce spontanément à sa liberté d’appréciation du fait de la quantité de jugements passés rendus dans un sens, soit qu’il ne souhaite pas prendre le risque de soutenir une position contraire.
En d’autres termes, le résultat produit par les algorithmes peut être de nature à s’imposer, volontairement ou non, au juge. Les algorithmes pourraient donc affecter la capacité de jugement des juges et/ou ôter à la jurisprudence son rôle qui permet de faire évoluer le droit en prenant en considération l’évolution de la société. Dans ces conditions, le règne des décisions passées serait de nature à empêcher toute variation dans le futur. Quant au juge, il pourrait sous la pression des décisions de ses prédécesseurs, réduire sa capacité de juger et limiter son rôle à celui de répétiteur du passé et non plus, de facilitateur de l’avenir.

Équilibre entre conviction et uniformisation
Un autre élément serait de nature à figer la jurisprudence, à savoir l’absence de prise en compte de la hiérarchie des décisions judiciaires qui sont pourtant de nature très diverse (première instance, appel ou de cassation). Cette hiérarchie a une fonction :
« Les arrêts des formations supérieures viennent poser, dans une navigation juridictionnelle parfois périlleuse, des phares et des balises aidant au repérage que la multitude des décisions d’espèce ne doit pas masquer » (12) (*). Le risque, c’est que l’exploitation de ces décisions en ligne ne prenne plus en considération cette hiérarchie. Notre système judiciaire est le fruit d’un mécanisme d’horloger permettant un difficile équilibre entre l’intime conviction du juge et l’uniformisation de la jurisprudence. C’est un titanesque défi de vouloir transcrire cet équilibre en une équation mathématique. @

* Auteur du livre « Numérique : de la révolution au naufrage ? »,
paru en 2016 chez Fauves Editions.