A pesar de los grandes avances que esta tecnología promete para diversas áreas de la sociedad, su desarrollo sin control y sin una perspectiva ética amenaza derechos humanos como el de libertad de expresión y profundiza las desigualdades existentes. ¿Cuáles son los riesgos? ¿A qué hay que prestar atención al desarrollar tecnologías de inteligencia artificial? ¿Qué relación tiene la inteligencia artificial con las regulaciones de protección de datos personales? ¿Cuáles son los usos que ya se le están dando en Argentina y en algunos países del mundo?
La “Inteligencia Artificial” (en adelante, IA) está cada vez más presente en los títulos de las noticias, en charlas TED, en libros, en conferencias, en discursos políticos. Se anuncia que la Inteligencia Artificial, de la mano de la automatización de procesos y hasta de la robótica, transformará la salud, la educación, las fábricas, la venta de productos y servicios, el entretenimiento, el sistema bancario y financiero, y hasta cambiará rotundamente la forma en que trabajan los abogados, los contadores y los asesores de seguros. Algunos “futurólogos” —que suelen ser quienes desarrollan o venden las herramientas de IA— anuncian que algunos de los cambios los veremos en 30 años, pero que muchas de las transformaciones ya están comenzando a probarse y que se consolidarán en diez años, alrededor del 2030.
Sin embargo, antes de seguir, es importante detenerse en un punto. ¿De qué hablamos cuando hablamos de IA? En principio, hay que aclarar que la IA es un campo que abarca diversas técnicas entre las que se encuentran el Machine Learning (“aprendizaje de las máquinas”; en adelante, ML) y el Deep Learning (“red neuronal profunda”), que en la actualidad es el mayor exponente del avance en redes neuronales (dentro de lo que se conoce como sistemas expertos). En este artículo —y, en general, en las noticias que se publican en general sobre IA—, se habla de este tipo de técnicas que forman parte de lo que se conoce como “Narrow AI”, que tiene que ver con el uso que hacemos a través de los algoritmos y el aprendizaje guiado.
¿Cómo aprenden las máquinas? Con datos. El desarrollo del enorme volumen de datos (big data) que se fue creando, almacenando, procesando, categorizando y sistematizando en los últimos años en los distintos servidores que hay desparramados por todo el mundo (la famosa “nube” o los servicios “cloud”) sirve hoy para alimentar a las máquinas que aprenden a jugar al ajedrez; a sugerir las películas o canciones de acuerdo a tus gustos, a filtrar los mejores CVs para elegir entre cientos de postulantes o a predecir si una persona que se encuentra detenida volverá a cometer un delito o no (o eso es lo que dicen quienes venden estos sistemas) y, a partir de eso, decidir si esa persona debe permanecer presa o quedar en libertad.
Entonces, la IA se está desarrollando para resolver algunas situaciones, principalmente aquellas en las que se necesita procesar una gran cantidad de datos para tomar mejores decisiones. Pero este artículo no se trata de enumerar las posibles ventajas que esta tecnología trae a las empresas, donde seguramente van a recibir con los brazos abiertos a cualquier herramienta que optimice los procesos y maximice sus ganancias. En donde sí se hará foco es en los otros efectos que una tecnología como la IA puede tener sobre la sociedad.
Machine bias: el caso Compas
Las máquinas se alimentan de datos para aprender a tomar decisiones, a través de los algoritmos que son programados para tal fin. Entonces, por un lado, están los datos y, por el otro, los algoritmos. Para que un sistema tome una “buena” decisión, debe contar con un gran volumen de datos a partir del cual va a ir aprendiendo y es importante que quienes seleccionen los datos de aprendizaje de la máquina tengan en cuenta su “calidad”. Pero esto no es todo, ya que esos datos son procesados y analizados por algoritmos que son los que toman las decisiones. Estos algoritmos no son entes aislados que emergen de la nada. Los algoritmos son desarrollados por personas —aunque sea una obviedad, a veces parece que hace falta recordarlo— que suelen ser empleados de las empresas que invierten en desarrollarlos y que ese desarrollo responde a un interés particular de esa empresa (o del que la contrate para desarrollar al algoritmo). Entonces, tanto los problemas metodológicos vinculados al desarrollo de los algoritmos, como los datos poco confiables o mal seleccionados, ya sea para el entrenamiento o para la toma de decisiones de cada caso nuevo, plantean el riesgo de tomar medidas incorrectas.
Un caso concreto. En Estados Unidos existe Compas, un sistema que decide si una persona que está presa merece el beneficio de la libertad condicional. El tema es que quien toma esta decisión es un algoritmo que analiza los datos que se producen a partir de un cuestionario. Julia Angwin de ProPublica, una organización de periodismo de investigación en Estados Unidos que hizo público el caso, explicó en una entrevista que las preguntas del cuestionario incluyen aspectos como la historia criminal propia y la de sus familiares, el barrio donde viven, el historial laboral o académico, si tienen amigos que estén en una “pandilla” y a eso se le suman las preguntas que intentan determinar un “pensamiento criminal”, como por ejemplo: “¿Está de acuerdo o en desacuerdo con esta afirmación: está bien para una persona hambrienta robar comida?”. Cada respuesta recibe un puntaje de 1 a 10 y al finalizar se genera un valor promedio de riesgo que decide si esa persona puede salir bajo fianza, si debe ser enviado a prisión o recibir otro tipo de castigo. Con ese mismo puntaje, el sistema luego determina si esa persona puede salir en libertad condicional o no, de acuerdo a si considera que es más o menos probable que vuelva a cometer un delito.
¿Qué descubrieron desde ProPublica? A partir del análisis de los puntajes de 7000 personas arrestadas en el estado de Florida durante dos años, llegaron a la siguiente conclusión: “Si comparás a una persona negra y una blanca que tienen el mismo historial, la misma edad, el mismo género, el mismo pasado judicial y el mismo ‘futuro criminal’ (las posibilidades de cometer un crimen, dos crímenes o ninguno), el acusado negro tiene un 45% más de posibilidades de obtener un puntaje de riesgo que un acusado blanco”, explicó Angwin en una entrevista que brindó a BBC News6.
El problema, además, es que el algoritmo de donde las respuestas obtienen el puntaje es mantenido en secreto. Angwin explicó que, debido a que es un secreto comercial que tiene la empresa que diseñó el sistema, no se puede saber cómo se otorga ese puntaje. Este es otro desafío que también hay que atender: los derechos de propiedad intelectual y de propiedad industrial que mantienen esta información en secreto.
IA y las campañas de desinformación
¿Qué pasa cuando alguien se atribuye el derecho de decidir qué es verdadero y qué es falso? Podemos pensar en una persona o en una institución. ¿Cuál es el peligro de que nadie cuestione si esa decisión es correcta o no? ¿Puede ser correcta o incorrecta? ¿Todo es verdadero o falso? ¿Y si considera como falso algo que, en realidad, es opinable y subjetivo? Todas estas preguntas forman parte del debate público que se está llevando a cabo a partir de las cada vez más masivas campañas de desinformación (las mal llamadas “noticias falsas” o fake news) y del rol que comienzan a cobrar las plataformas que funcionan como intermediarias —y también, por qué no, como editoras— de esa diseminación de mensajes: Google, YouTube, Facebook, Twitter, y WhatsApp, entre otras.
Pero no solo el rol de estas empresas está en debate, sino también de aquellas organizaciones que aparecen como las verificadoras del discurso público y que toman el rol de determinar qué es verdadero y qué es falso también dentro de estas plataformas. En Argentina, Chequeado tiene un acuerdo con Facebook para verificar la información que se publica en la plataforma con el objetivo de disminuir la circulación de aquellos contenidos que sean considerados falsos8.
Reformulando la primera pregunta de este apartado: ¿Qué pasaría si un algoritmo decide qué es verdadero y qué es falso? ¿Quién podrá controlar a los algoritmos protegidos como secreto comercial? ¿Quién se animará a discutir lo que decida “el sistema”?
Los algoritmos son conocidos por ser cajas negras. Básicamente, se ingresan los datos (los algoritmos reciben una entrada), no se sabe lo que ocurre adentro, y la máquina da un resultado, toma una decisión (la transforman en una salida). Cathy O’Neil, doctora en Matemáticas de Harvard, observó que la economía de datos estaba dejando de lado el componente social, es decir que buscaban sólo la eficiencia pero se olvidaban de la ética y la justicia. Según O’Neil, los algoritmos potencian las desigualdades que ya existen en la sociedad: “Son armas opacas, incuestionables e inexplicadas, pero operan en gran escala para clasificar y ‘optimizar’ a millones de personas”9.
¿Qué rol le toca a cada actor?
Después de hacer un recorrido por sólo algunos de los diversos riesgos que trae aparejada la IA, es necesario pensar qué se hace con todo esto, ya que la solución tiene que ser la búsqueda del equilibrio entre permitir que se siga desarrollando la tecnología pero que se haga cumpliendo con estándares de derechos humanos y con valores éticos de la sociedad. Que el desarrollo sea pensando en el bien común y no en los intereses de unos pocos. Es necesario pensar en la responsabilidad de las empresas, en el rol de los gobiernos y el de la sociedad civil.
El caso que más suena en Argentina cuando se piensa en la participación activa del Estado en el intento de utilizar herramientas de IA para predicciones es el del gobernador de Salta, Juan Manuel Urtubey, cuando anunció que gracias a esta tecnología –cuyo algoritmo había sido desarrollado por Microsoft– iban a poder predecir el embarazo adolescente. Más precisamente, el gobernador dijo: “Con la tecnología vos podés prever cinco o seis años antes, con nombre, apellido y domicilio, cuál es la niña, futura adolescente, que está en un 86 por ciento predestinada a tener un embarazo adolescente”. ¿Cuál era uno de todos los problemas que tenía esta medida? Que en el algoritmo no existían preguntas sobre anticoncepción ni educación sexual, pero sí otras como edad, etnia, estudios, barrio de residencia, discapacidad, país de origen y abandono de estudios. Entonces, como explica la especialista en tecnopolítica Natalia Zuazo, “este modelo replicaba un sesgo, un prejuicio, de asociar el embarazo a la pobreza”.
El desafío que deben asumir con compromiso tanto las empresas del sector privado, los gobiernos y la sociedad civil es controlar las debilidades o las posibles distorsiones que haya en la construcción de estos modelos (del conjunto de datos y de algoritmos) que puedan determinar un resultado sesgado, discriminatorio, injusto o inescrutable.
Durante la Reunión Preparatoria para el Foro de Gobernanza de Internet (LACIGF) celebrada en Buenos Aires en 2018 se realizó el panel “Desafíos y oportunidades para enfrentar las desigualdades de nuestra región propuestos por el uso masivo de algoritmos y la toma de decisiones automatizadas. Responsabilidad de las empresas, el rol de los Gobiernos y de la Sociedad Civil”, con la moderación de Paz Peña (Acoso Online, Chile), quien remarcó la importancia de pensar y actuar ahora, ya que las decisiones guiadas por algoritmos no son algo del futuro. Además, advirtió que tanto los Estados como las empresas están desarrollando este tipo de tecnologías, por lo que como ciudadanos debemos cuestionar la supuesta objetividad de los algoritmos y preguntarnos si podemos desafiar las decisiones tecnológicas que se toman en el norte global. Finalmente, se trata de que los algoritmos nos regulen o de que los regulemos a ellos. Y los algoritmos no son entes aislados, están desarrollados por empresas.
A pesar de los grandes avances que esta tecnología promete para diversas áreas de la sociedad, su desarrollo sin control y sin una perspectiva ética amenaza derechos humanos como el de libertad de expresión y profundiza las desigualdades existentes. ¿Cuáles son los riesgos? ¿A qué hay que prestar atención al desarrollar tecnologías de inteligencia artificial? ¿Qué relación tiene la inteligencia artificial con las regulaciones de protección de datos personales? ¿Cuáles son los usos que ya se le están dando en Argentina y en algunos países del mundo?
La “Inteligencia Artificial” (en adelante, IA) está cada vez más presente en los títulos de las noticias, en charlas TED, en libros, en conferencias, en discursos políticos. Se anuncia que la Inteligencia Artificial, de la mano de la automatización de procesos y hasta de la robótica, transformará la salud, la educación, las fábricas, la venta de productos y servicios, el entretenimiento, el sistema bancario y financiero, y hasta cambiará rotundamente la forma en que trabajan los abogados, los contadores y los asesores de seguros. Algunos “futurólogos” —que suelen ser quienes desarrollan o venden las herramientas de IA— anuncian que algunos de los cambios los veremos en 30 años, pero que muchas de las transformaciones ya están comenzando a probarse y que se consolidarán en diez años, alrededor del 2030.
Sin embargo, antes de seguir, es importante detenerse en un punto. ¿De qué hablamos cuando hablamos de IA? En principio, hay que aclarar que la IA es un campo que abarca diversas técnicas entre las que se encuentran el Machine Learning (“aprendizaje de las máquinas”; en adelante, ML) y el Deep Learning (“red neuronal profunda”), que en la actualidad es el mayor exponente del avance en redes neuronales (dentro de lo que se conoce como sistemas expertos). En este artículo —y, en general, en las noticias que se publican en general sobre IA—, se habla de este tipo de técnicas que forman parte de lo que se conoce como “Narrow AI”, que tiene que ver con el uso que hacemos a través de los algoritmos y el aprendizaje guiado.
¿Cómo aprenden las máquinas? Con datos. El desarrollo del enorme volumen de datos (big data) que se fue creando, almacenando, procesando, categorizando y sistematizando en los últimos años en los distintos servidores que hay desparramados por todo el mundo (la famosa “nube” o los servicios “cloud”) sirve hoy para alimentar a las máquinas que aprenden a jugar al ajedrez; a sugerir las películas o canciones de acuerdo a tus gustos, a filtrar los mejores CVs para elegir entre cientos de postulantes o a predecir si una persona que se encuentra detenida volverá a cometer un delito o no (o eso es lo que dicen quienes venden estos sistemas) y, a partir de eso, decidir si esa persona debe permanecer presa o quedar en libertad.
Entonces, la IA se está desarrollando para resolver algunas situaciones, principalmente aquellas en las que se necesita procesar una gran cantidad de datos para tomar mejores decisiones. Pero este artículo no se trata de enumerar las posibles ventajas que esta tecnología trae a las empresas, donde seguramente van a recibir con los brazos abiertos a cualquier herramienta que optimice los procesos y maximice sus ganancias. En donde sí se hará foco es en los otros efectos que una tecnología como la IA puede tener sobre la sociedad.
Machine bias: el caso Compas
Las máquinas se alimentan de datos para aprender a tomar decisiones, a través de los algoritmos que son programados para tal fin. Entonces, por un lado, están los datos y, por el otro, los algoritmos. Para que un sistema tome una “buena” decisión, debe contar con un gran volumen de datos a partir del cual va a ir aprendiendo y es importante que quienes seleccionen los datos de aprendizaje de la máquina tengan en cuenta su “calidad”. Pero esto no es todo, ya que esos datos son procesados y analizados por algoritmos que son los que toman las decisiones. Estos algoritmos no son entes aislados que emergen de la nada. Los algoritmos son desarrollados por personas —aunque sea una obviedad, a veces parece que hace falta recordarlo— que suelen ser empleados de las empresas que invierten en desarrollarlos y que ese desarrollo responde a un interés particular de esa empresa (o del que la contrate para desarrollar al algoritmo). Entonces, tanto los problemas metodológicos vinculados al desarrollo de los algoritmos, como los datos poco confiables o mal seleccionados, ya sea para el entrenamiento o para la toma de decisiones de cada caso nuevo, plantean el riesgo de tomar medidas incorrectas.
Un caso concreto. En Estados Unidos existe Compas, un sistema que decide si una persona que está presa merece el beneficio de la libertad condicional. El tema es que quien toma esta decisión es un algoritmo que analiza los datos que se producen a partir de un cuestionario. Julia Angwin de ProPublica, una organización de periodismo de investigación en Estados Unidos que hizo público el caso, explicó en una entrevista que las preguntas del cuestionario incluyen aspectos como la historia criminal propia y la de sus familiares, el barrio donde viven, el historial laboral o académico, si tienen amigos que estén en una “pandilla” y a eso se le suman las preguntas que intentan determinar un “pensamiento criminal”, como por ejemplo: “¿Está de acuerdo o en desacuerdo con esta afirmación: está bien para una persona hambrienta robar comida?”. Cada respuesta recibe un puntaje de 1 a 10 y al finalizar se genera un valor promedio de riesgo que decide si esa persona puede salir bajo fianza, si debe ser enviado a prisión o recibir otro tipo de castigo. Con ese mismo puntaje, el sistema luego determina si esa persona puede salir en libertad condicional o no, de acuerdo a si considera que es más o menos probable que vuelva a cometer un delito.
¿Qué descubrieron desde ProPublica? A partir del análisis de los puntajes de 7000 personas arrestadas en el estado de Florida durante dos años, llegaron a la siguiente conclusión: “Si comparás a una persona negra y una blanca que tienen el mismo historial, la misma edad, el mismo género, el mismo pasado judicial y el mismo ‘futuro criminal’ (las posibilidades de cometer un crimen, dos crímenes o ninguno), el acusado negro tiene un 45% más de posibilidades de obtener un puntaje de riesgo que un acusado blanco”, explicó Angwin en una entrevista que brindó a BBC News6.
El problema, además, es que el algoritmo de donde las respuestas obtienen el puntaje es mantenido en secreto. Angwin explicó que, debido a que es un secreto comercial que tiene la empresa que diseñó el sistema, no se puede saber cómo se otorga ese puntaje. Este es otro desafío que también hay que atender: los derechos de propiedad intelectual y de propiedad industrial que mantienen esta información en secreto.
IA y las campañas de desinformación
¿Qué pasa cuando alguien se atribuye el derecho de decidir qué es verdadero y qué es falso? Podemos pensar en una persona o en una institución. ¿Cuál es el peligro de que nadie cuestione si esa decisión es correcta o no? ¿Puede ser correcta o incorrecta? ¿Todo es verdadero o falso? ¿Y si considera como falso algo que, en realidad, es opinable y subjetivo? Todas estas preguntas forman parte del debate público que se está llevando a cabo a partir de las cada vez más masivas campañas de desinformación (las mal llamadas “noticias falsas” o fake news) y del rol que comienzan a cobrar las plataformas que funcionan como intermediarias —y también, por qué no, como editoras— de esa diseminación de mensajes: Google, YouTube, Facebook, Twitter, y WhatsApp, entre otras.
Pero no solo el rol de estas empresas está en debate, sino también de aquellas organizaciones que aparecen como las verificadoras del discurso público y que toman el rol de determinar qué es verdadero y qué es falso también dentro de estas plataformas. En Argentina, Chequeado tiene un acuerdo con Facebook para verificar la información que se publica en la plataforma con el objetivo de disminuir la circulación de aquellos contenidos que sean considerados falsos8.
Reformulando la primera pregunta de este apartado: ¿Qué pasaría si un algoritmo decide qué es verdadero y qué es falso? ¿Quién podrá controlar a los algoritmos protegidos como secreto comercial? ¿Quién se animará a discutir lo que decida “el sistema”?
Los algoritmos son conocidos por ser cajas negras. Básicamente, se ingresan los datos (los algoritmos reciben una entrada), no se sabe lo que ocurre adentro, y la máquina da un resultado, toma una decisión (la transforman en una salida). Cathy O’Neil, doctora en Matemáticas de Harvard, observó que la economía de datos estaba dejando de lado el componente social, es decir que buscaban sólo la eficiencia pero se olvidaban de la ética y la justicia. Según O’Neil, los algoritmos potencian las desigualdades que ya existen en la sociedad: “Son armas opacas, incuestionables e inexplicadas, pero operan en gran escala para clasificar y ‘optimizar’ a millones de personas”9.
¿Qué rol le toca a cada actor?
Después de hacer un recorrido por sólo algunos de los diversos riesgos que trae aparejada la IA, es necesario pensar qué se hace con todo esto, ya que la solución tiene que ser la búsqueda del equilibrio entre permitir que se siga desarrollando la tecnología pero que se haga cumpliendo con estándares de derechos humanos y con valores éticos de la sociedad. Que el desarrollo sea pensando en el bien común y no en los intereses de unos pocos. Es necesario pensar en la responsabilidad de las empresas, en el rol de los gobiernos y el de la sociedad civil.
El caso que más suena en Argentina cuando se piensa en la participación activa del Estado en el intento de utilizar herramientas de IA para predicciones es el del gobernador de Salta, Juan Manuel Urtubey, cuando anunció que gracias a esta tecnología –cuyo algoritmo había sido desarrollado por Microsoft– iban a poder predecir el embarazo adolescente. Más precisamente, el gobernador dijo: “Con la tecnología vos podés prever cinco o seis años antes, con nombre, apellido y domicilio, cuál es la niña, futura adolescente, que está en un 86 por ciento predestinada a tener un embarazo adolescente”. ¿Cuál era uno de todos los problemas que tenía esta medida? Que en el algoritmo no existían preguntas sobre anticoncepción ni educación sexual, pero sí otras como edad, etnia, estudios, barrio de residencia, discapacidad, país de origen y abandono de estudios. Entonces, como explica la especialista en tecnopolítica Natalia Zuazo, “este modelo replicaba un sesgo, un prejuicio, de asociar el embarazo a la pobreza”.
El desafío que deben asumir con compromiso tanto las empresas del sector privado, los gobiernos y la sociedad civil es controlar las debilidades o las posibles distorsiones que haya en la construcción de estos modelos (del conjunto de datos y de algoritmos) que puedan determinar un resultado sesgado, discriminatorio, injusto o inescrutable.
Durante la Reunión Preparatoria para el Foro de Gobernanza de Internet (LACIGF) celebrada en Buenos Aires en 2018 se realizó el panel “Desafíos y oportunidades para enfrentar las desigualdades de nuestra región propuestos por el uso masivo de algoritmos y la toma de decisiones automatizadas. Responsabilidad de las empresas, el rol de los Gobiernos y de la Sociedad Civil”, con la moderación de Paz Peña (Acoso Online, Chile), quien remarcó la importancia de pensar y actuar ahora, ya que las decisiones guiadas por algoritmos no son algo del futuro. Además, advirtió que tanto los Estados como las empresas están desarrollando este tipo de tecnologías, por lo que como ciudadanos debemos cuestionar la supuesta objetividad de los algoritmos y preguntarnos si podemos desafiar las decisiones tecnológicas que se toman en el norte global. Finalmente, se trata de que los algoritmos nos regulen o de que los regulemos a ellos. Y los algoritmos no son entes aislados, están desarrollados por empresas.
Fuente: Revista Fibra
Compartir esto: