L’exigència ètica d’entendre i ser entès: explainability
Ramon Alcoberro
El fet és que hi ha màquines i programes que ens superen de molt en algunes de les nostres capacitats intel·lectives, tant en velocitat com en capacitat per extreure pautes cognitives i en organització. A més hi ha molts programes amb una gran capacitat de machine learning, val a dir que són capaços de millorar-se i corregir-se ells mateixos a partir de comparar resultats. No cal que les màquines “pensin” (això és una metàfora, si es vol). N’hi ha prou amb que calculin sense distracció ni fatiga, dubtes ni emocions. Com a eines de gestió els algoritmes haurien de ser aplicables a diverses teories sobre la naturalesa humana.
Que els algoritmes actuïn per principis holístics i de causalitat (típics de la ment humana) o mitjançant la simple correlació d’equacions, com passa en l’àmbit del Big Data, resulta força secundari. N’hi ha prou amb constatar que els algoritmes (capaços de depurar-se ells mateixos) governen la nostra vida i resulta secundari si d’això en diem “pensar”. Que ens enviï a l’atur un programa informàtic o un cap de departament no canvia la gravetat del fet. Que la decisió d’operar un càncer o de deixar morir un malalt incurable la prengui un algoritme o un metge no té res a veure amb el que significa “pensar”. Aquestes situacions poden provocar-nos (o no) una ferida narcisista quan les decisions les pren una màquina, però en tot cas, és un fet que cal regular de manera pragmàtica.
Els intents de gestió ètica del Big Data, començant per la ja clàssica regla de les 5 V, intenten superar les limitacions d’un debat ontològic per situar-se la qüestió en una via pragmàtica. Però no tot és tan senzill. Pensin o no pensin les màquines, el que no es pot obviar és que els humans pensem... Debatre si les màquines “pensen” ens porta a un carreró sense sortida, però debatre com les màquines ens fan pensar (i si ens impedeixen pensar, de fet) sí que és una qüestió del tot significativa. En aquest nivell hi ha una qüestió prèvia que cal tenir sempre molt en compte perquè uneix una exigència de disseny i una exigència ètica. El que cal reflexionar en profunditat és si les màquines ens estan fent pensar d’una determinada manera, si acaben per bloquejar capacitats humanes, si entenem allò que fem quan les usem i si ens hi podem comunicar productivament. L’important en temes de Big Data, algoritmes i ordinadors no és només que les màquines siguin intel·ligents. Cal, sobre tot, que siguin intel·ligibles. És aquí on es planteja el problema de debò.
En un primer moment per al disseny d’un ordinador o d’un programa allò decisiu no és el bé o la justícia, sinó una qüestió molt més immediata: el que s’anomena explainability (o també “interpretability”), val a dir, la manera com les dades i l’aprenentatge a partir dels ordinadors i del Big Data es poden entendre i “construeixen sentit” en un nivell que resulti significatiu per a una vida humana plena. Quan es pregunta a un humà de cultura mitjana quin és el seu principal problema amb els ordinadors, la resposta gairebé sempre és la mateixa: “que no els entenc” o “que no m’entenen”; i això provoca no tan sols impotència i frustració, sinó un problema moral i polític de primera magnitud. Els algoritmes que no entenem (que no ens entenen), però que poden prendre decisions que ens afecten són un perill públic.
Fins i tot intuïtivament sembla obvi que si un algorisme decideix, per exemple, si el banc em concedeix un préstec, o si soc apte per a un transplantament de ronyó, aquest algorisme hauria de ser explicable i comprensible per a la persona implicada. Requerir l'explicabilitat no pot ser una acció benèvola o una decisió particular de l'entitat que prengui aquesta decisió, sinó que ha d’implicar tots els qui estan concernits per la qüestió. El context de les decisions preses mitjançant algoritmes (o directament per ells) i el dany potencial que pot derivar-se de les decisions són arguments prou forts que haurien de portar els enginyers i les empreses a una exigència moral d’explicabilitat de les decisions.
A la plana web de la IBM (2021) es diu en referència a la explainability que: “La AI ha d'estar dissenyada perquè els éssers humans percebin, detectin i entenguin fàcilment el seu procés de decisió”. Segons les Directrius universals d'AI (thepublicvoice.org, 2018 ): “totes les persones tenen dret a conèixer les bases d’una decisió d’AI relacionada amb elles. Això inclou l'accés als factors, la lògica i les tècniques que van produir el resultat“. Avui se sap, a més, que l’ús de tecnologia de dades canvia la conducta dels individus investigats i dels usuaris, que adeqüen la seva conducta a l’algoritme i, en conseqüència, les persones haurien de posseir el màxim de coneixements sobre el funcionament i la gestió de les dades.
En teoria, si un sistema d’AI pot provocar danys, hauria de ser possible esbrinar per què passa això i els programes haurien de ser auditats per una autoritat humana independent i competent. Però és obvi que això no està succeint en moltes operacions amb Big Data, ni amb la majoria de programes informàtics, que bàsicament es limiten a fer ethical washing cara a la galeria. Potser per raons de la mateixa complexitat del sistemes informàtics no és possible entendre com funcionen les eines que hom té a l’abast –i que poden condicionar o determinar la pròpia vida– però entendre’n les conseqüències és una condició prèvia del tot imprescindible no tan sols per poder-ne fer un ús adient, sinó per viure una vida digna. Entendre què s’està fent quan s’usa un programa, com funciona un robot i quines potencia té un programa no és senzill. Però capir-ne les conseqüències hauria de ser exigible. No estem dient que els humans hagin d’entendre per què una màquina fa determinades coses (al cap i a la fi moltes vegades els humans tampoc entenem per què els nostres fills fan determinades coses!), però sí que resulta del tot fonamental entendre quines conseqüències tenen sobre la nostra vida. L’analogia amb la conducta dels fills pot ser interessant a l’hora d’abordar la qüestió. De la mateixa manera que no tolerem –o que no hauríem de tolerar– que els nostres fills es barallin o que siguin irrespectuosos amb les persones grans, tampoc hauríem de tolerar (i menys en nom de l’eficàcia!) que la seva conducta sigui incitada, indicada, determinada o condicionada per determinades tendències dels algoritmes.
Una vida que no tan sols se centri en l’eficàcia i el productivisme, sinó que estigui oberta a experiències de benestar emocional, necessita, com a condició prèvia, que els usuaris siguin capaços d’entendre, modificar i usar els sistemes informàtics que els envolten d’una manera que ens permetin viure de manera informada, simple i creativa. De fet, ja és prou significatiu que ara parlem amb normalitat dels “usuaris”, per comptes de referir-nos a les persones o la gent. Deixem-ho aquí. Usar els deep learning systems d’una manera performativa és difícil, però constitueix l’objectiu d’una ètica dels algoritmes i de la intel·ligència artificial en un sentit humanista. Les dades, a més, no tenen sentit sense un context al voltant; però quan se li afegeix el seu valor creix exponencialment i el valor de les dades no només s’hauria de valorar amb el criteri de les dades econòmiques. Assegurar-se que les dades no estan esbiaixades i que els programes no tindran usos no consentits o indesitjables és molt més significatiu que plantejar-se si les màquines “pensen”. Perquè en última instància, pensar és també una activitat que requereix d’un context.
© Ramon Alcoberro Pericay
