IA : pourquoi il faut ouvrir la boîte noire

Plus les algo­rithmes d’IA se dif­fusent, plus leur opac­ité ques­tionne. Dans les Face­book files, ces doc­u­ments internes que Frances Hau­gen, spé­cial­iste des classe­ments algo­rith­miques, a emportés avec elle en quit­tant l’entreprise, pour ensuite les trans­met­tre au régu­la­teur et au Con­grès améri­cain, se des­sine un sys­tème algo­rith­mique devenu telle­ment com­plexe qu’il échappe à la maîtrise des ingénieurs mêmes qui l’ont dévelop­pé. Alors que le rôle du réseau social dans la prop­a­ga­tion de con­tenus dan­gereux et de fake news inquiète, l’incapacité de ces ingénieurs, par­mi les meilleurs au monde dans leur domaine, à com­pren­dre le fonc­tion­nement de leur créa­tion inter­pelle. L’affaire braque à nou­veau les pro­jecteurs sur les prob­lèmes posés par l’(in)explicabilité de ces algo­rithmes qui pro­lifèrent dans de nom­breuses industries.

L’opacité des algo­rithmes ne con­cerne certes pas la total­ité d’entre eux. Elle est surtout car­ac­téris­tique des algo­rithmes dits apprenants (machine learn­ing), notam­ment du deep learn­ing tel que les réseaux de neu­rones. Cepen­dant, face à la place crois­sante que ces algo­rithmes pren­nent dans nos sociétés, il n’est pas sur­prenant que le souci de leur explic­a­bil­ité — de notre capac­ité à pou­voir com­pren­dre leur fonc­tion­nement — mobilise régu­la­teurs et comités d’éthique.

Com­ment pour­rions-nous faire con­fi­ance à des sys­tèmes à qui nous allons con­fi­er nos vies, par exem­ple pour la con­duite de nos véhicules ou le diag­nos­tic d’une mal­adie grave, si nous ne les com­prenons pas ? Et, plus large­ment, le devenir de nos sociétés par les infor­ma­tions qui cir­cu­lent, les idées poli­tiques qui se propa­gent, les dis­crim­i­na­tions qui s’y cachent ? Com­ment attribuer la respon­s­abil­ité d’un acci­dent ou d’un effet sec­ondaire nocif s’il n’est pas pos­si­ble d’ouvrir la « boîte noire » ?

Au sein des organ­i­sa­tions qui dévelop­pent et utilisent ces algo­rithmes opaques, cette quête de l’explicabilité entremêle au fond deux enjeux, qu’il est utile de dis­tinguer. Il s’agit d’une part d’expliquer pour com­pren­dre (inter­pretabil­i­ty), dans le but d’améliorer l’algorithme, par­faire sa robustesse et prévoir ses failles. D’autre part, expli­quer pour ren­dre compte (account­abil­i­ty) du fonc­tion­nement du sys­tème aux mul­ti­ples par­ties prenantes, externes (régu­la­teurs, util­isa­teurs, parte­naires) ou internes à l’organisation (man­agers, chefs de pro­jet). Cette account­abil­i­ty est cru­ciale pour que la respon­s­abil­ité des effets — bons et moins bons — de ces sys­tèmes puisse être attribuée et assumée.

Tout un champ de recherche se développe donc aujourd’hui pour ten­ter de répon­dre au chal­lenge tech­nique d’ouvrir la « boîte noire » de ces algo­rithmes : l’Explainable Arti­fi­cial Intel­li­gence (XAI). Mais est-ce suff­isant de ren­dre trans­par­ent ces sys­tèmes pour répon­dre à ce dou­ble enjeu de l’explicabilité : inter­pretabil­i­ty et account­abil­i­ty ? Dans notre dis­ci­pline, les sci­ences de ges­tion, des travaux s’interrogent en effet sur les lim­ites de la trans­parence. Nous avons alors étudié la manière dont les indi­vidus au sein des organ­i­sa­tions s’emparent des out­ils d’explication qui ont été dévelop­pés tels les cartes de chaleur¹, ain­si que des courbes de per­for­mance², sou­vent asso­ciées à ces out­ils dans une démarche d’appréhension de ces algo­rithmes. Nous avons cher­ché à com­pren­dre les jeux organ­i­sa­tion­nels qu’ils suscitent.

En effet, ces deux types d’outils sem­blent aujourd’hui en voie de stan­dard­i­s­a­tion pour répon­dre à la pres­sion des régu­la­teurs d’expliquer les algo­rithmes, pres­sion illus­trée par l’article L4001‑3 du code de la san­té publique : « III.-Les con­cep­teurs d’un traite­ment algo­rith­mique… s’assurent de l’explicabilité de son fonc­tion­nement pour les util­isa­teurs » (loi n° 2021–1017 du 2 août 2021). Nos pre­miers résul­tats met­tent en lumière les ten­sions qui se nouent au sein des organ­i­sa­tions autour de ces out­ils. Prenons deux exem­ples caractéristiques.

Le pre­mier exem­ple illus­tre les ambiguïtés de ces out­ils lorsqu’ils sont util­isés dans des con­textes organ­i­sa­tion­nels, par des experts méti­er qui ne les maîtrisent pas. La fig­ure 1, extraite de Whebe et al. (2021), repro­duit des cartes de chaleur util­isées pour expli­quer le fonc­tion­nement d’un algo­rithme dévelop­pé pour détecter le Covid-19 à par­tir de radi­ogra­phies des poumons. Ce sys­tème affiche dans les tests une très bonne per­for­mance, com­pa­ra­ble, et sou­vent meilleure, à celle d’un radi­o­logue humain. En étu­di­ant ces images, on note que dans les cas A, B, et C, ces cartes de chaleur nous indiquent que l’IA s’est pronon­cée à par­tir d’une zone cor­re­spon­dant aux poumons. Dans le cas D, la zone illu­minée est cepen­dant située autour de la clav­icule du patient.

Cette obser­va­tion met en lumière un prob­lème sou­vent retrou­vé dans notre étude sur l’usage de ces out­ils dans les organ­i­sa­tions : pen­sés par les développeurs pour repér­er des raison­nements inadéquats de l’IA, ces out­ils sont sou­vent, dans la pra­tique, util­isés pour se pronon­cer sur la valid­ité d’un cas par­ti­c­uli­er. Or ces cartes de chaleur ne sont pas conçues pour cela, et pour un util­isa­teur final, ce n’est pas la même chose de dire : « le diag­nos­tic de cette IA sem­ble pré­cis » ou « le proces­sus par lequel elle procède pour déter­min­er son diag­nos­tic sem­ble valide ».

Deux prob­lèmes sont alors mis en exer­gue : pre­mière­ment se pose la ques­tion de la for­ma­tion des util­isa­teurs, non seule­ment à l’IA, mais aus­si aux fonc­tion­nements de ces out­ils d’explication. Et plus fon­da­men­tale­ment, cet exem­ple ques­tionne sur les usages de ces out­ils en matière d’attribution de la respon­s­abil­ité d’une déci­sion : en les dif­fu­sant, on risque d’amener les util­isa­teurs à engager leur respon­s­abil­ité à par­tir d’outils qui sont détournés de leur usage pre­mier. Autrement dit, ces out­ils, créés pour un usage d’inter­pretabil­i­ty, risquent d’être mobil­isés dans des sit­u­a­tions où l’enjeu est de ren­dre compte (account­abil­i­ty).

Un deux­ième exem­ple per­me­t­tra d’illustrer les effets équiv­o­ques des jeux organ­i­sa­tion­nels qui se nouent autour d’outils d’explication comme les courbes de per­for­mances. Un développeur tra­vail­lant dans le secteur de la pub­lic­ité sur inter­net nous con­fia que, dans son domaine, si la per­for­mance de l’algorithme n’atteignait pas plus de 95 %, les clients n’achetaient pas la solu­tion. Cette norme avait des effets con­crets sur les proces­sus d’innovation : elle pous­sa son entre­prise, sous la pres­sion des com­mer­ci­aux, à choisir de com­mer­cialis­er et focalis­er ses efforts de R&D sur un algo­rithme très per­for­mant, mais peu explic­a­ble. Ce faisant, elle aban­don­na le développe­ment d’un autre, plus explic­a­ble, mais qui n’atteignait pas ce niveau de performance.

Le prob­lème est que l’algorithme retenu — con­traire­ment à celui qui fut écarté — n’était pas capa­ble de gér­er des change­ments rad­i­caux d’habitudes de con­som­ma­tion, comme durant le Black Fri­day, pous­sant l’entreprise à ne pas recom­man­der à ces clients d’engager de cam­pagne mar­ket­ing à cette péri­ode, car il était dif­fi­cile de recon­naître que la per­for­mance de l’algorithme chutait. Là encore, l’outil est dévoyé : au lieu d’être util­isées comme un élé­ment par­mi d’autres pour faire le choix du meilleur algo­rithme pour une activ­ité don­née, ces courbes de per­for­mances étaient util­isées par les acheteurs pour jus­ti­fi­er le choix d’un prestataire par rap­port à une norme sec­to­rielle — c’est-à-dire de pour ren­dre des comptes.

Pour nous, chercheurs en sci­ences de ges­tion, intéressés par les proces­sus de prise de déci­sion et d’innovation, le rôle des out­ils pour les épauler, et la manière dont les acteurs légiti­ment les choix qu’ils font au sein de leurs organ­i­sa­tions, ces deux exem­ples mon­trent qu’il ne suf­fit pas de regarder ces out­ils com­pu­ta­tion­nels de manière isolée. Ils appel­lent à abor­der les algo­rithmes, leurs con­textes humains, organ­i­sa­tion­nels et insti­tu­tion­nels comme des assem­blages. Tenir un tel assem­blage respon­s­able exige alors de ne pas se con­tenter de voir à l’intérieur de l’un de ses com­posants comme l’algorithme — tâche ardue et indis­pens­able — mais néces­site de com­pren­dre com­ment l’assemblage fonc­tionne en tant que sys­tème, com­posé de machines, d’humains et d’organisation. Et, par con­séquent, de se méfi­er d’une trop rapi­de stan­dard­i­s­a­tion des out­ils d’explicabilité, dont résul­teraient des sys­tèmes hommes-machines-jeux organ­i­sa­tion­nels, dans lesquels l’impératif de ren­dre des comptes se sub­stituerait à celui d’interpréter, mul­ti­pli­ant les boîtes noires dont l’explicabilité ne serait qu’une façade.