Ética
La máquina que te juzga
Puntajes de crédito, filtros de contratación, niveles de seguro. Juicios que antes hacían humanos falibles, con apelaciones y rencores, ahora los hacen sistemas que nadie puede interrogar. La filosofía del castigo nunca alcanzó la velocidad del veredicto.
En algún lugar de un centro de datos existe una puntuación sobre ti. Es un número que predice, con un margen que tu abogado jamás citaría a declarar, si pagarás, te quedarás, cumplirás o demandarás. Las empresas compran ese número. Tú nunca lo ves ni puedes apelarlo. Solo conocerás sus consecuencias: el apartamento que no obtuviste, la entrevista que nunca supiste que tuviste, la prima del seguro que no puedes explicar.
Llamamos a estos sistemas inteligencia artificial, como si la inteligencia fuera el problema. No lo es. El problema es que construimos una jurisprudencia sin tribunales, una máquina de castigo sin legislador, y le entregamos las llaves de la vida ordinaria. Nunca estuvimos de acuerdo. Llegó, una puntuación a la vez, y cuando alguien preguntó si era legítima, ya decidía.
El veredicto sin juicio
El pensamiento jurídico occidental pasó tres siglos desarrollando una idea simple y radical: que el juicio debe responder. El acusado tiene derecho a conocer el cargo, ver las pruebas, confrontar al acusador y defenderse. No son cortesías: son el mecanismo que hace moral al juicio. Una decisión que no puedes examinar no es una decisión. Es una herida.
Los algoritmos invirtieron la carga. El cargo es un número. La prueba es un peso de características, muchos sustitutos de lo que la ley llamaría discriminación si un humano lo dijera: tu barrio, el modelo de tu teléfono, la gente que conoces. El acusador es un secreto comercial. La defensa, si existe, es un formulario sin lector.
La justicia procesal no es un adorno
Los filósofos del derecho tienen un término para lo que falta: justicia procesal. Es la idea de que un resultado puede ser justo aun siendo desfavorable, si el proceso fue justo. La gente acepta mejor un préstamo denegado cuando entiende por qué y hay un camino para el remedio. El proceso no es una cortesía. Es la mayor parte de la equidad.
John Rawls nos pidió diseñar instituciones detrás de un velo de ignorancia, sin saber dónde caeríamos. Imaginen diseñar así un sistema de puntuación, sabiendo que podrían ser la persona puntuada, o aquel cuyo barrio u historial inclina el número. ¿Conservarían la caja negra? ¿Conservarían la apelación de teclear la queja en un portal?
“La pregunta no es si las máquinas pueden juzgar. La pregunta es si podemos ser juzgados por algo que no podemos interrogar y aun así llamarnos libres.” Del escritorio de tecnología
La velocidad como excusa, y la auditoría que nos debemos
La defensa estándar es la velocidad y la escala. Los humanos no pueden revisar diez mil solicitudes al día. La máquina sí. Es cierto, y es una confesión: si solo se puede procesar a todos reduciendo el juicio a un número, elegimos el rendimiento por encima de la justicia, y deberíamos decirlo sin escondernos detrás de las matemáticas. Las sociedades no existen para maximizar el pago, sino para dar segundas oportunidades.
Nada de esto exige abolir los algoritmos. Exige tratarlos como instituciones. Las instituciones tienen constituciones, supervisión, auditorías públicas y deben explicarse cuando dañan. En concreto: un derecho a conocer las características que decidieron contra nosotros, reguladores que exijan transparencia, pruebas de discriminación obligatorias y publicadas, y una apelación que un humano lea de verdad.
Dejemos de llamar a estos sistemas “herramientas” y llamémoslos lo que son: gobiernos. Gobiernos automáticos, no elegidos e inapelables de la vida cotidiana. Luchamos mucho tiempo para poner límites al gobierno. Sería un siglo extraño entregarle todo de vuelta a una máquina, solo porque nunca pide un voto.
❧