El gobernador del estado de California, Jerry Brown, ha aprobado una ley que, a partir de octubre de 2019, eliminará el pago de fianza en los tribunales, y recurrirá en su lugar a algoritmos que estimarán el riesgo de fuga o de cometer delitos adicionales en caso de ser puestos en libertad. El algoritmo, que los diferentes condados tendrán obligación de obtener bien a través de algún proveedor o mediante desarrollo propio, calificará ese riesgo como bajo, medio o elevado y, en función de la calificación obtenida, el juez decidirá poner al presunto delincuente en libertad o mantenerlo en custodia.
La eliminación de la fianza en forma de pago monetario se considera, como tal, un éxito para los defensores de los derechos civiles, que afirmaban que esa práctica era discriminatoria y daba lugar a una justicia diferente para ricos y pobres, en la que el hecho de no tener recursos económicos conllevaba una condena al paso por prisión que, en muchos casos, se convertía en parte del problema. En palabras de Brown,
“Today, California reforms its bail system so that rich and poor alike are treated fairly”
(“Hoy, California reforma su sistema de libertad bajo fianza para que tanto ricos como pobres reciban un trato justo”)
Sin embargo, la satisfacción de los defensores de los derechos civiles no es completa: no son pocos los temas, y particularmente aquellos relacionados con la justicia, en los que los algoritmos, alimentados con datos obtenidos del propio sistema de justicia, han mostrado sesgos que tienden a perjudicar a las personas en función de su raza o de su estatus socioeconómico. No hay nada que convierta a un algoritmo, por el hecho de serlo, en algo intrínsecamente neutral: de hecho, los algoritmos construyen sus sesgos a partir de los datos con los que son alimentados, lo que incrementa el riesgo de perpetuar sesgos que, en muchos casos, ya existían anteriormente.
Por otro lado, muchos algoritmos son definidos como propietarios para proteger la propiedad intelectual de las compañías que los desarrollan, lo que genera la aparición de cajas negras contra las que resulta difícil plantear una argumentación de defensa. Esta cuestión se puso ya de manifiesto con el uso de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo desarrollado por Equivant para estimar el riesgo de reincidencia de los convictos y ayudar a los jueces a tomar decisiones sobre la extensión de sus penas. Una decisión tomada por ese algoritmo fue objeto de apelación en el caso Loomis v. Wisconsin, en el que el acusado alegó que el uso de dicho algoritmo en el cálculo de su sentencia, un veredicto de seis años de cárcel, violaba sus derechos porque evitaba que impugnase la validez científica y la precisión de la prueba al desconocer el funcionamiento del algoritmo, y porque éste tenía además en cuenta variables como el género y la raza del acusado.
La legislación aprobada por el estado de California establece un período de revisión para el funcionamiento del sistema algorítmico que culminará en 2023 tras cuatro años de funcionamiento y generación de datos, momento en el que se examinará el conjunto de decisiones tomadas mediante su uso y se tratarán de determinar los posibles efectos producidos. La llegada de los sistemas basados en algoritmos a los sistemas judiciales puede suponer un alivio importantísimo para la carga de trabajo de los tribunales, particularmente en la instrucción de muchos casos considerados habitualmente como rutinarios que podría ser realizada de manera razonablemente automatizada en sus primeras fases, con la adecuada supervisión. Sin embargo, todo indica que uno de los factores fundamentales debería ser la existencia de un requisito de transparencia que permitiese a todas las partes implicadas conocer de forma transparente el funcionamiento de esos algoritmos, las variables y los pesos empleados para la determinación de los resultados, además de asegurar que los datos utilizados para entrenar a esos algoritmos no contienen, como tales, factores que determinen la aparición de sesgos no justificados. Una tarea que no parece sencilla, pero cuyos resultados podrían ser importantísimos de cara a resolver el problema del colapso de la justicia, el protagonista de esa otra máxima que dice “justicia retrasada es justicia denegada“.
¿Cómo evolucionará el sistema aprobado por el estado de California? ¿Puede llegar a suponer una ventaja en términos de justicia y equidad con respecto al sistema anterior? ¿Qué discusiones vamos a mantener a partir del momento en que más y más algoritmos entran en nuestros sistemas judiciales?
Fuentes
El gobernador del estado de California, Jerry Brown, ha aprobado una ley que, a partir de octubre de 2019, eliminará el pago de fianza en los tribunales, y recurrirá en su lugar a algoritmos que estimarán el riesgo de fuga o de cometer delitos adicionales en caso de ser puestos en libertad. El algoritmo, que los diferentes condados tendrán obligación de obtener bien a través de algún proveedor o mediante desarrollo propio, calificará ese riesgo como bajo, medio o elevado y, en función de la calificación obtenida, el juez decidirá poner al presunto delincuente en libertad o mantenerlo en custodia.
La eliminación de la fianza en forma de pago monetario se considera, como tal, un éxito para los defensores de los derechos civiles, que afirmaban que esa práctica era discriminatoria y daba lugar a una justicia diferente para ricos y pobres, en la que el hecho de no tener recursos económicos conllevaba una condena al paso por prisión que, en muchos casos, se convertía en parte del problema. En palabras de Brown,
Sin embargo, la satisfacción de los defensores de los derechos civiles no es completa: no son pocos los temas, y particularmente aquellos relacionados con la justicia, en los que los algoritmos, alimentados con datos obtenidos del propio sistema de justicia, han mostrado sesgos que tienden a perjudicar a las personas en función de su raza o de su estatus socioeconómico. No hay nada que convierta a un algoritmo, por el hecho de serlo, en algo intrínsecamente neutral: de hecho, los algoritmos construyen sus sesgos a partir de los datos con los que son alimentados, lo que incrementa el riesgo de perpetuar sesgos que, en muchos casos, ya existían anteriormente.
Por otro lado, muchos algoritmos son definidos como propietarios para proteger la propiedad intelectual de las compañías que los desarrollan, lo que genera la aparición de cajas negras contra las que resulta difícil plantear una argumentación de defensa. Esta cuestión se puso ya de manifiesto con el uso de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un algoritmo desarrollado por Equivant para estimar el riesgo de reincidencia de los convictos y ayudar a los jueces a tomar decisiones sobre la extensión de sus penas. Una decisión tomada por ese algoritmo fue objeto de apelación en el caso Loomis v. Wisconsin, en el que el acusado alegó que el uso de dicho algoritmo en el cálculo de su sentencia, un veredicto de seis años de cárcel, violaba sus derechos porque evitaba que impugnase la validez científica y la precisión de la prueba al desconocer el funcionamiento del algoritmo, y porque éste tenía además en cuenta variables como el género y la raza del acusado.
La legislación aprobada por el estado de California establece un período de revisión para el funcionamiento del sistema algorítmico que culminará en 2023 tras cuatro años de funcionamiento y generación de datos, momento en el que se examinará el conjunto de decisiones tomadas mediante su uso y se tratarán de determinar los posibles efectos producidos. La llegada de los sistemas basados en algoritmos a los sistemas judiciales puede suponer un alivio importantísimo para la carga de trabajo de los tribunales, particularmente en la instrucción de muchos casos considerados habitualmente como rutinarios que podría ser realizada de manera razonablemente automatizada en sus primeras fases, con la adecuada supervisión. Sin embargo, todo indica que uno de los factores fundamentales debería ser la existencia de un requisito de transparencia que permitiese a todas las partes implicadas conocer de forma transparente el funcionamiento de esos algoritmos, las variables y los pesos empleados para la determinación de los resultados, además de asegurar que los datos utilizados para entrenar a esos algoritmos no contienen, como tales, factores que determinen la aparición de sesgos no justificados. Una tarea que no parece sencilla, pero cuyos resultados podrían ser importantísimos de cara a resolver el problema del colapso de la justicia, el protagonista de esa otra máxima que dice “justicia retrasada es justicia denegada“.
¿Cómo evolucionará el sistema aprobado por el estado de California? ¿Puede llegar a suponer una ventaja en términos de justicia y equidad con respecto al sistema anterior? ¿Qué discusiones vamos a mantener a partir del momento en que más y más algoritmos entran en nuestros sistemas judiciales?
Fuentes
Compartir esto: