En octubre de 2019, autoridades del área de Modernización del Ministerio de Justicia español visitaron las oficinas del Ministerio Público Fiscal de la Ciudad de Buenos Aires. El objetivo era conocer Prometea, el sistema de Inteligencia Artificial (IA) que se utiliza en la capital argentina para resolver casos diversa complejidad y materia: cuestiones contravencionales, accidentes de tránsito, violencia de género, entre otros.

¿Esto significa que España está dispuesta a admitir la aplicación de IA en un tema tan delicado como la Justicia? Según las autoridades citadas, sí. ¿Sería España la puerta de entrada de la IA en la Justicia europea? Bueno, así parece.

Basta leer en la prensa argentina las declaraciones de Sofía Duarte Domínguez, Directora de Modernización de España: “nos hemos estudiado todo acerca de Prometea, sabemos que es un sistema fabuloso y queremos ver si podemos llevarlo a España. Incluso el Secretario de Estado – N. de R: Dr. Manuel Dolz- nos dio carta blanca para avanzar con esto que es, sin dudas, el futuro de la Justicia”.

Para ser honestos, el tema no debería tomarnos por sorpresa. De hecho, ese mismo mes, unos días antes de la visita de la comitiva española al organismo porteño, el profesor de Derecho y Ciencia Política de la Universitat Oberta de Barcelona (UOC) David Martínez explicaba, en un artículo publicado por La Vanguardia, que la IA bien podría ser utilizada en España en casos “de fácil respuesta jurídica” con lo que se lograría descongestionar el tráfico de expedientes judiciales.

En ese mismo artículo, el profesor Martínez profundizaba su análisis señalando lo útil de implementar un sistema informático que automatizara respuestas, pero tomaba como ejemplo lo que Estonia ha desarrollado en términos de robotización de la justicia. Asimismo, en esa ocasión Martínez dejaba claro que el modelo estadounidense, en el que se utiliza COMPAS, un software predictivo para calcular la reincidencia de un imputado por delitos penales, no era un ejemplo a seguir.

Y es que, para partir de una base, aplicar a procesos judiciales sistemas informáticos que son capaces de: aprender; generar predicciones sobre comportamientos humanos; asistir a jueces sopesando probabilidades; y desplazar a muchos empleados absorbiendo tareas burocráticas y repetitivas, es asunto bien delicado.

Del vamos, en aquél viaje a Buenos Aires, Duarte Domínguez declaró que la despapelización de todo el ministerio de justicia español resulta un aliciente respecto del avance tecnológico que supone la aplicación de procesos automáticos en trámites judiciales: “en España el expediente digital es ley desde 2009. En ese sentido, hemos recorrido un largo camino que hoy nos permite pensar en la innovación que significa aplicar una IA como Prometea”.

Con ello, la funcionaria pretendía mostrar que el avance tecnológico llevado a cabo era suelo fértil para pasar de un Estado digital a uno inteligente, incluso haciendo frente al pataleo de los empleados y sindicatos de organismos tan burocráticos como la Justicia.

Mientras tanto, las observaciones de Martínez, tanto como las de otros colegas europeos, están en consonancia con lo que piensan algunos expertos argentinos, comprometidos con la tarea de hacer una justicia inteligente.

Es el caso, por ejemplo, del Juez de la Corte Suprema de Justicia de la provincia argentina de Mendoza, Mario Adaro, quien participó recientemente de la primera Cumbre Iberoamericana de Inteligencia Artificial, en la sede del MIT, en Boston.

Adaro explica: “la IA tiene una capacidad de procesamiento de información en grandes volúmenes, que acorta los plazos burocráticos en una medida nada desdeñable, porque, habitualmente, a mayor cantidad de causas y pocos decisores, más tiempo por caso. Utilizando procesos automáticos, el juez tiene mayor capacidad de análisis. En este sentido, el juez pasa a ser un lector de analítica. Pero lo fundamental está en la materia de la que se trate”.

“En Mendoza, por ejemplo -sigue Adaro- hicimos una prueba piloto tributaria: en esa área, son sentencias seriadas, de amplio volumen, donde las decisiones son agrupables en conjuntos claros, y todo es bastante mecánico y predecible. Allí Prometea agiliza y le permite al juez evitar trabajo repetitivo sin valor agregado. El esfuerzo humano en ese terreno es más de control de los datos específicos que de los argumentos, porque no hay demasiado margen a la elaboración de ideas o innovación en los criterios de decisión”.

Para cerrar, el jurista enfatiza: “Al utilizar IA para ese tipo de problemas, Prometea hace que la cantidad de errores en carga, tipeo, redundancia, etcétera, baje sensiblemente”.

Hasta aquí, pareciera que la eficiencia es inobjetable, sobre todo cuando tratándose de la burocracia estatal.

Ahora bien. ¿En qué consiste, exactamente, la aplicación de IA en la Justicia?

En este momento hay, en todo el mundo, 4 casos emblemáticos y activos, de aplicación de IA en procesos judiciales. Quizá el más famoso y controversial es el programa COMPAS (acrónimo de Correctional Offender Management Profiling for Alternative Sanctions), que se usa en, al menos, 10 distritos de los Estados Unidos. Veamos cómo funciona.

COMPAS, cuya traducción podría ser Administración de Perfiles de Criminales para Sanciones Alternativas del Sistema de Prisiones de EE. UU. es un software que se utiliza desde 1998, mayormente, para analizar, según los antecedentes penales de un acusado, sus probabilidades de reincidir. En este sentido, ya el hecho de que se confíe en un algoritmo para sentenciar a un humano en procesos penales es el primer punto de la polémica, dada la gravedad de lo que se juzga.

El sistema informático se aplica realizando un cuestionario a cada acusado. Una vez que éste responde todas las preguntas, el sistema calcula el riesgo de reincidencia, por lo que el juez define, por ejemplo, si conviene o no otorgar la libertad condicional mientras se completa el proceso judicial.

Según un informe publicado en El País en 2018, el sistema analiza 137 aspectos de cada acusado. Pero al contrastar el nivel de éxito entre las predicciones de COMPAS y las de juristas de carne y hueso, se observa que el nivel de acierto de la IA no es superior. Incluso, quedan en evidencia errores graves. Al respecto, Lorena Jaume – Palasí, experta europea en ética y tecnología, analiza:

“Los promedios estadísticos dicen algo sobre los patrones de comportamiento común en un colectivo. No describen perfiles individuales y son incapaces de captar la individualidad del ser humano. Con ello podemos entender colectivos con una mirada un poco más arquitectónica pero también incurrimos en el riesgo de meter a individuos en estándares en los que no cuadran. Por ejemplo, una madre homosexual o soltera que no recibe ayudas sociales porque un programa de software que define quién es susceptible de solicitar ayuda únicamente define como madres a mujeres casadas con varones)”.

Uno de los principales debates consiste en considerar si es justo que un sistema digital sea fuente de justicia de esta forma. Para ello, hay que comprender con qué criterios actúa el algoritmo. Jaume – Palasí parece acertar un punto clave del asunto: en realidad, el Derecho es un algoritmo que se aplica mucho antes de que existiera la informática:

“Todos han puesto el ojo en el sistema informático, y se escandalizaron por el racismo, pero COMPAS nos permitió enterarnos de los sesgos que tienen los jueces, porque finalmente el sistema lo crearon humanos, que venían trabajando y decidiendo con esos sesgos que luego evidenció el programa. La estadística que usa COMPAS, en todo caso, refuerza el racismo estructural de Florida, entre otros estados norteamericanos”.

“Incluso más. Hubo una sola investigadora que puso el ojo en la decisión de los jueces, y no en el programa, y observó cuándo ellos hacían lo que el software les recomendaba, y cuándo no. Y es muy interesante que, en ciertos casos, el COMPAS aconsejaba permitir la libertad condicional a un afroamericano, y ellos lo negaban. Y en otros, al revés. Por lo tanto, se vio que la decisión judicial no está tan condicionada por el algoritmo. Esto permite pensar que quizá en ciertas decisiones los seres humanos se esconden detrás de la tecnología para tapar sus prejuicios”.

Finalmente, Jaume – Palasí define: “no es nada sencillo identificar cuándo el juez se deja influenciar por un programa informático y cuándo es muy capaz de discernir y no dejarse llevar. Para eso necesitamos estadística, y eso se logra con datos, no sin ellos. Y no debemos concentrarnos en la matemática en sí, porque estas tecnologías no aparecen de la nada, sino que la predicción de un sistema digital parte de un entrenamiento con datos que los humanos le cargan”.

En este sentido, parece apropiado recurrir a quienes comprenden profundamente la matemática de este tiempo, aplicada a procesos algorítmicos como los que operan detrás del Big Data y la IA. Pablo Mlynkiewicz es Licenciado en Estadística, y dirigió durante 4 años la oficina de Modernización del Gobierno de la Ciudad de Buenos Aires.

“Lo que indudablemente permiten los algoritmos es estandarizar las decisiones. Es decir, uniformar criterios para que no se brinden dos respuestas diferentes ante el mismo problema. Pero, claro, para que eso se traduzca en un avance real en la justicia, la base de datos debe poseer representación de todos los colectivos. Si no, habrá errores”.

Mlynkiewicz coincide, de este modo, con Jaume – Palasí y con Adaro al mismo tiempo, porque también el juez argentino señala, como Corvalán, un punto fuerte de la automatización de procesos judiciales: evitar dos respuestas distintas ante un mismo problema, es decir, aportar consistencia argumental en los fallos judiciales.

De hecho, aun siendo la más crítica, la filósofa nacida en Mallorca lo deja claro: “Hace tiempo que sabemos que los jueces y el sistema judicial que conocemos no son muy consistentes. No hablo ya de sesgos, como los que se señalan en el escándalo COMPAS (…) La falta de consistencia está documentada en estudios de hace décadas, que muestran que los jueces son personas, ni más ni menos. Y deciden de distinta forma, involuntariamente, según su estado de ánimo, o muchas variables subjetivas. Entonces, gracias a la IA, poder hacer trazabilidad y estadística de las decisiones judiciales no está nada mal”.

Los jueces robots en China

Si existe organización política en el mundo que merezca ser tomada con ciudado por parte de las democracias europeas, ese es el Estado chino. Pues bien, resulta que en octubre pasado, se presentó en Pekín el Tribunal de Internet, definido, del vamos, como un “centro de litigios en línea”.

Lo primero a señalar es que, según la información oficial, se trata de una plataforma en la que las partes en litigio cargan los datos del problema a resolver, y la IA hace el resto: busca jurisprudencia, analiza la temática, contrasta pruebas y dicta sentencia. La clave es que no hay intervención humana en todo el proceso.

Al respecto, tratando de ahondar en este modelo, Dante Avaro, Doctor en Filosofía Política, se dedica a estudiar el modelo de gobierno de China, enfocando su sistema de control social. Al ser consultado sobre los jueces robots orientales, explica:

“El desarrollo de los jueces virtuales, o cibernéticos, en China, ha seguido la misma línea que el Sistema de Crédito Social: de abajo hacia arriba. Ambos comenzaron a principios del nuevo milenio. En el caso de la IA en la justicia, se experimentó en ciudades como Shandong, luego en Hengezhou, Pekín y Guangzhou. El objetivo fue eficientizar los procesos judiciales en temas de comercio electrónico, pagos virtuales, transacciones en la nube y disputas sobre propiedad intelectual”.

“Esas son, exactamente, las preocupaciones centrales del Sistema de Crédito Social: brindar mayor seguridad para (volver a) instaurar un sistema confianza en un sistema de crédito y comercio que crece aceleradamente y está plagado de corrupción y violaciones a los derechos de propiedad intelectual. El Sistema de Crédito Social se puede sintetizar como un artefacto de vigilancia y rastreo poblacional para impartir cargas y distribuir beneficios, bajo la máxima quiebras la norma en un lugar y reciben castigos por todos lados”.

“Este sistema de puntajes, que promete volverse muy sofisticado, no sólo constituye, junto al Yitu Dragonfly Eye – N de R: el sistema de reconocimiento facial- un sistema brutal de vigilancia, sino un potente archivador de prueba es decir, insumos digitales, para los tribunales. Así, China ha logrado avanzar en dos dimensiones de manera simultánea: por un lado, el Sistema de Crédito Social implica un descomunal aparato de trazabilidad poblacional y, por otro, ese sistema es necesario para acelerar la incorporación de IA en su sistema de provisión de justicia”.

Antes, cuando uno quería saber cómo estaba el clima antes de salir de casa, se asomaba por la ventana, o salía al exterior, miraba las nubes, oteaba el horizonte, percibía el viento fresco. De allí sacaba información para saber cómo vestirse, o qué medio de transporte usar. Entendías algo de la humedad, la temperatura, la luz del sol.

Hoy, tomamos el dato del celular. Eso hizo que no comprendamos más la situación atmosférica, y no entendemos qué pasa en el ambiente. Simplemente seguimos la información brindada. Eso nos simplificó e hizo la vida más fácil, pero eliminó la experiencia humana.

Lo mismo, sin capacidad analítica, les ocurre a quienes toman decisiones sólo basándose en el algoritmo. Buscando patrones que permitan clasificar para aprender del pasado y predecir, el algoritmo elige variables. Esa elección es humana y ya es debatible. Pero, si encima de ello, quien decide no repone el contexto, ni su trayectoria, ni su experiencia, para decidir, entonces la decisión no será acertada, seguramente.

COMPAS, además, usa el sistema de caja negra, por el que no podemos saber cómo opera. Es software propietario empaquetado, así que es tómalo o déjalo. Pero, insisto, el problema no es el algoritmo, en la medida en que su margen de error sea el razonable. El problema es que el juez comprende cómo opera el sistema, cómo llega a predecir, y si analiza el contexto, sobre todo en algo tan sensible.

Lo que indudablemente permiten los algoritmos es estandarizar las decisiones. Es decir, uniformar criterios para que no se brinden dos respuestas diferentes ante el mismo problema. Pero, claro, para que eso se traduzca en un avance real en la justicia, la base de datos debe poseer representación de todos los colectivos. Si no, habrá errores.

Un algoritmo es un conjunto de indicaciones lógicas, con base matemática. Habitualmente, posee la capacidad de aprender, es decir, que cuanto más trabaja, mejor es el porcentaje de resultados correctos que obtiene. De ello es posible inferir que Compas, tanto como cualquier otro programa de IA, puede predecir porque fue entrenado por programadores que ingresan al sistema una cierta cantidad de casos que sirven, en definitiva, de muestra.

Lo que hace Compas es lo que los científicos de las ciencias empíricas denominan inferencia estadística: dado un número determinado de casos, que se interpretan como una muestra representativa de un cierto universo, se observa la relación entre variables, y se infieren relaciones lógicas. Luego, esa inferencia se contrasta con la realidad, para ver en qué porcentaje de casos se verifica la teoría, y se van ajustando detalles. Eso hacen la física, la biología y la medicina, entre otras ciencias. Nunca se obtienen leyes perfectas como las de la matemática, pero los avances obtenidos demuestran que se accede a conocimiento verdadero o, al menos, confiable.