Podem predir els crims? Respon Carlos Castillo

Carlos, donar o no donar la llibertat condicional ho decideix una màquina?

A Catalunya la decisió la pren un jutge, que rep un informe de la Junta de Tractament del mateix centre penitenciari. I és aquest equip el que per a elaborar l’informe fa servir la seva experiència juntament amb un algorisme predictiu, una eina de suport a la presa de decisions. L’algorisme es diu RisCanvi, i fa servir des de fa més de 15 anys.

Aquest no és l’únic cas en què es fan servir aquest tipus d’eines, tant en el sector públic com en el privat. Ara bé, el que hem de saber és que hi ha una certa zona grisa en la qual es defineix fins a quin punt una eina només dona suport, i fins a quin punt determina el que un grup d’experts o una persona finalment decideix. Si la decisió la pren directament la màquina, parlem d’eines de decisió automàtiques.

Vaja! I fins a quin punt està permès que una decisió, sigui la condicional o una altra, la pugui decidir totalment una màquina?

La regulació Europea, tant la GDPR com la nova directiva d’intel·ligència artificial, no permet que la presa de decisions d’alt risc, amb efectes legals o decisius sobre la vida d’una persona, es faci de manera automàtica. Ja siguin decisions mèdiques, de serveis socials o de contractació, totes requereixen sempre intervenció humana. Exemples que nosaltres estudiem són: què cal fer davant una denúncia de maltractament infantil o violència de gènere? I en el cas que una persona es quedi sense sostre?

I el que hem vist és que, de vegades, els sistemes basats en dades poden millorar la presa de decisions, en el sentit de fer-la més precisa i complementar certes limitacions humanes. Però hi ha riscos, i alguns molt importants: com ara que els professionals abdiquin la decisió i la seva responsabilitat en un algorisme, o que el sistema tingui biaixos desconeguts. Per això és imprescindible que aquestes eines se sotmetin a sistemes de control abans, durant i després de la seva implantació, com mana la directiva d’intel·ligència artificial.

I si comparem la presa de decisions de l’algorisme amb la presa per una persona, s’observen millores?

La nostra recerca sobre reincidència a Catalunya mostra que una persona experta pot prendre una decisió lleugerament millor quan fa servir un algorisme.

I vull posar èmfasi sobre el lleugerament millor perquè, de fet, si algú cometrà o un delicte no es pot predir al 100%, no ho pot fer un humà i tampoc un sistema algorítmic. Per això, arriba un punt que els algorismes no poden fer-ho millor per a ser més exactes, el que sí que poden ser és més equitatius i garantir que les decisions són consistents, és a dir que una persona a Reus i a Girona rebran una mateixa resposta per part del sistema penitenciari.

I precisament perquè són decisions que intrínsecament no poden ser exactes és també molt important la transparència. Tots tenim dret a saber quan s’ha fet servir un algorisme per a prendre una decisió sobre nosaltres, i podem recórrer contra la decisió sabent fins a quin punt l’algorisme ha pogut influir aquesta decisió.

I què passa amb els biaixos humans?

Justament aquí és on aquests sistemes basats en dades poden tenir avantatges, perquè la “datificació” en permet també analitzar com prenem una decisió i, per tant, podem observar el biaix humà.

I ho hem vist. Per exemple, en decidir la custòdia d’un infant, hi ha diferències entre si és un home o una dona la persona que jutja i pren la decisió d’atorgar una custòdia compartida o una custòdia exclusiva o monoparental. O, per posar altres exemples, també podem analitzar les eines de filtratge en processos de contractació laboral.

Però també hem de saber que els algorismes tendeixen a reproduir i amplificar aquests biaixos. Si variables com el gènere, la nacionalitat, l’origen ètnic o la discapacitat són molt determinants en la presa de decisions, l’algorisme detecta que hi ha una correlació entre aquesta variable i la resposta que han pres els experts. I el que passa és que l’algorisme les incorpora com aprenentatges i tendeix a exagerar el seu pes en la presa de decisions. Si no ho vigilem, l’efecte de l’algorisme pot ser fer el baix encara més gran.

Què li diries a algú que es veu afectat per una decisió presa amb algorismes d’intel·ligència artificial?

Doncs primer, que han de saber que la llei obliga a qualsevol organisme que processi les teves dades a informar-te que seran objecte d’un perfilat o d’un processament automàtic. I tu sempre pots oposar-te a què es prenguin decisions automatitzades sobre tu.

Ara mateix, les administracions públiques tenen responsabilitat molt i molt gran en aquests temes: han de garantir la transparència, auditar els algorismes i aplicar el principi de precaució. No es pot usar cap sistema algorísmic que abans no hagi fet una bona estimació de riscos: errors, biaixos, prejudicis… No estem parlant de responsabilitats individuals, es tracta d’una responsabilitat col·lectiva.

Carlos, i ara què? Cap on va la teva recerca i la d’aquest sector?

La meva recerca té una dimensió profundament personal. Vaig néixer a Xile, una terra de terratrèmols. Durant anys vaig estudiar com els mitjans socials poden ajudar en la gestió d’emergències. Va ser una experiència que em va marcar, com a persona i com a investigadori.

Des de fa uns deu anys treballo en temes de discriminació i de gènere, cosa que ha influenciat la meva vida i la meva identitat de gènere, que a la vegada han influenciat la meva recerca. Crec en el coneixement situat: és impossible que una investigadora o un investigador es desacoblin totalment del que investiguen i de què són. Jo he decidit abraçar-ho.

A nivell més global, sens dubte el disseny de tecnologies com la intel·ligència artificial, que tenen un impacte tan gran en les nostres vides, han d’incorporar una gran varietat de perspectives i les persones que fan la recerca han d’aportar la seva.

Per exemple, el fet que la IA es desenvolupi en gran part fora d’Europa ens ha de preocupar. Perquè aquí tenim valors i interessos propis que aquestes eines han de reflectir. I també les diferents àrees de coneixement han de tenir-se en compte. Per això és important que els i les recercaires s’hi involucrin i aportin la seva perspectiva de coneixement situat personal.

N’haurem de continuar parlant un altre dia, perquè això dona per hores i hores de conversa. Tanquem, com sempre aquestes entrevistes, amb una pregunta: ens presentes a alguna altra persona de la Comunitat ICREA amb qui has treballat o t’agradaria treballar?

Doncs la Caterina Calsamiglia, amb qui fins i tot hem codirigit una tesi doctoral. Com jo, la Caterina investiga com les dades en poden il·luminar biaixos de gènere, per exemple. La seva recerca va molt més enllà, en temes d’economia. Segurament n’heu  sentit a parlar, perquè és molt reconeguda en el seu camp.