« AI Act », comment l’Europe veut réguler les machines

Com­ment abor­de-t-on les ques­tions régle­men­taires en intel­li­gence artificielle ?

Les ques­tions régle­men­taires doivent se con­fron­ter à la réal­ité tech­nique. À Télé­com Paris, nous adop­tons une approche inter­dis­ci­plinaire à tra­vers le pro­gramme Oper­a­tional AI Ethics qui regroupe six dis­ci­plines : math­é­ma­tiques appliquées, sta­tis­tiques, infor­ma­tique, économie, droit et soci­olo­gie. L’interdisciplinarité est pas­sion­nante, mais demande du tra­vail ! Nous par­lons cha­cun des lan­gages dif­férents, nous devons donc con­stru­ire des ponts entre nos dif­férentes dis­ci­plines scientifiques.

Où en est la régle­men­ta­tion en matière d’IA en Europe ?

L’IA n’est pas une zone de non-droit. La régle­men­ta­tion exis­tante s’applique déjà à l’IA, que ce soit le RGPD pour les don­nées à car­ac­tère per­son­nel, ou des régle­men­ta­tions sec­to­rielles dans le domaine de la san­té (dis­posi­tifs médi­caux), la finance (mod­èles de trad­ing, de solv­abil­ité), ou l’automobile par exemple.

Alors pourquoi le « Euro­pean AI Act » pro­pose-t-il d’ajouter une régle­men­ta­tion spécifique ?

Les logi­ciels d’IA, et en par­ti­c­uli­er ceux du Machine Learn­ing (ML), posent des prob­lèmes nou­veaux. Les logi­ciels « tra­di­tion­nels » — l’IA sym­bol­ique appelée par­fois « good old fash­ioned IA — GOFIA » — sont dévelop­pés à par­tir de spé­ci­fi­ca­tions pré­cis­es, avec des don­nées de sor­tie cer­taines et prou­vables. Ce sont des algo­rithmes déter­min­istes : la don­née d’entrée « a » plus la don­née d’entrée « b » con­duiront tou­jours à la don­née de sor­tie « c ». Si ce n’est pas le cas, il y a un bug. 

En ML, les algo­rithmes se créent eux-mêmes en apprenant à par­tir de grands vol­umes de données.

Copié !

En ML, les algo­rithmes se créent eux-mêmes en apprenant à par­tir de grands vol­umes de don­nées et fonc­tion­nent de façon prob­a­biliste. Leurs résul­tats sont exacts la plu­part du temps. De plus, ils peu­vent fonder leurs pré­dic­tions sur des cor­réla­tions non per­ti­nentes qu’ils ont appris­es dans les don­nées d’apprentissage. Le risque d’erreurs est une car­ac­téris­tique inévitable des mod­èles de ML prob­a­bilistes, ce qui soulève de nou­velles ques­tions sur le plan de la régu­la­tion, notam­ment pour des sys­tèmes d’IA à haut risque. Est-il pos­si­ble d’utiliser un algo­rithme prob­a­biliste dans un sys­tème cri­tique, comme la recon­nais­sance d’images dans une voiture autonome ? D’autant que les algo­rithmes de ML sont rel­a­tive­ment inintelligibles.

L’accident en Ari­zona de la voiture autonome Uber en 2018 est une illus­tra­tion par­faite du prob­lème. Le sys­tème de recon­nais­sance d’images a appris qu’un humain tra­verse la route générale­ment près d’un pas­sage clouté. Un pié­ton tra­ver­sait la route avec son vélo loin du pas­sage pié­ton, et le sys­tème a clas­si­fié l’image comme étant un véhicule, non un pié­ton, jusqu’à la dernière sec­onde avant la col­li­sion. La voiture n’a pas freiné à temps et le pié­ton a été tué. De plus, le con­duc­teur cen­sé super­vis­er le sys­tème était inat­ten­tif (l’inattention est un phénomène fréquent appelé « automa­tion com­pla­cen­cy »). Le défi pour l’avenir sera d’entourer ces sys­tèmes prob­a­bilistes — qui sont très per­for­mants pour des tâch­es comme la recon­nais­sance d’images — de garde-fous. Des sys­tèmes hybrides, qui com­bi­nent le ML et l’IA sym­bol­ique, sont une voie prometteuse.

Com­ment peut-on régle­menter pour répon­dre à ce problème ?

Le pro­jet de règle­ment européen sur l’IA va exiger des tests de con­for­mité et un mar­quage « CE » pour tout sys­tème d’IA à haut risque mis sur le marché en Europe. Le pre­mier défi est de définir ce qu’on entend par un sys­tème d’IA à haut risque ! Actuelle­ment, cela intè­gr­erait les logi­ciels util­isés par la police, pour la nota­tion de solv­abil­ité pour l’octroi de crédits, pour l’étude des dossiers de can­di­dats à l’université ou à un poste en entre­prise, les logi­ciels embar­qués dans des voitures, etc. La liste sera évo­lu­tive. La recon­nais­sance faciale en temps réel util­isée par la police à des fins d’identification sera soumise à des con­traintes par­ti­c­ulières, notam­ment à des tests indépen­dants, et à l’intervention d’au moins deux opéra­teurs humains avant de con­firmer un « match ».

Pour les autres sys­tèmes à haut risque, le pro­jet de règle­ment envis­age des tests de con­for­mité par l’entreprise elle-même. Chaque sys­tème devra faire l’objet d’une étude de risques et être accom­pa­g­né d’une doc­u­men­ta­tion les expli­quant, si exis­tants. Les sys­tèmes devront garan­tir un con­trôle humain effi­cace. L’exploitant du sys­tème devra génér­er des jour­naux d’événements (logs) per­me­t­tant l’auditabilité du sys­tème. Pour les sys­tèmes d’IA inté­grés dans des sys­tèmes déjà cou­verts par la régle­men­ta­tion (les dis­posi­tifs médi­caux, par exem­ple), le régime de tests et de con­for­mité sera régi par la régle­men­ta­tion sec­to­rielle. On évite ain­si de créer des dou­blons dans la réglementation.

Pourquoi les algo­rithmes de ML sus­ci­tent-ils autant de méfi­ance alors que l’on accepte des risques dans d’autres domaines ?

Cette méfi­ance n’est pas nou­velle. Le rap­port Tri­cot de 1975 — le rap­port qui a con­duit en France à l’adoption de la loi infor­ma­tique et lib­ertés en 1978 — évo­quait déjà la méfi­ance à l’égard de sys­tèmes infor­ma­tiques qui réduisent l’être humain à une série de prob­a­bil­ités sta­tis­tiques. En nous réduisant à des chiffres, de tels sys­tèmes nient notre indi­vid­u­al­ité et notre human­ité. Nous sommes habitués au pro­fi­lage sta­tis­tique lorsqu’il s’agit de recevoir une pub­lic­ité sur Face­book ou une recom­man­da­tion de musique sur Deez­er. Mais pour des déci­sions plus graves — une déci­sion d’embauche, l’admission à une uni­ver­sité, le déclenche­ment d’un con­trôle fis­cal, ou l’obtention d’un prêt — être jugé unique­ment sur un pro­fil sta­tis­tique pose prob­lème, surtout lorsque l’algorithme qui crée le pro­fil est inintelligible !

L’algorithme doit apporter un éclairage sta­tis­tique à la ques­tion, mais ne rem­place pas le dis­cerne­ment et la nuance d’un déci­sion­naire humain.

Copié !

L’algorithme doit donc apporter un éclairage sta­tis­tique à la ques­tion, mais jamais rem­plac­er le dis­cerne­ment et la nuance d’un déci­sion­naire humain. Mais atten­tion, il ne faut pas non plus min­imiser les défauts humains — aux États-Unis, des don­nées sug­gèrent que les juges adoptent des déci­sions d’emprisonnement plus lour­des avant la pause déje­uner lorsqu’ils ont faim. Les algo­rithmes peu­vent aider à com­penser ces biais humains.