Artículos

Cuando la vigilancia se vuelve algorítmica – Enrique Dans #Hackeaelsistema

Un artículo de TechCrunch recoge un perfil de Tuputech, una compañía china basada en Guangzhou dedicada al análisis y procesamiento algorítmico de imágenes, y que se ha especializado en la detección de contenidos pornográficos o violentos mediante deep learning en el contexto de la muy exigente censura china. 

La compañía supone una solución al actual estado del arte en la detección y eliminación de contenidos pornográficos o violentos, que suele depender en gran medida de una supervisión y verificación manual. Con el impulso dado en algunos países al control de contenidos y el desarrollo de leyes que multan con cuantiosas cantidades a las plataformas que los publican, este tipo de herramientas de supervisión algorítmicas se han convertido en una propuesta cada vez más inevitable, y una plataforma entrenada de manera intensiva en un entorno tan sometido a censura como el que demanda el gobierno chino pasa a tener una importantísima ventaja competitiva: capaz de revisar 900 millones de imágenes diariamente, de procesar 50 imágenes por segundo, y de identificar pornografía o violencia con un 99.5% de fiabilidad. En muchos sentidos, es lo que comenté hace ya algunos años: China se ha convertido en el laboratorio del mundo, y muchas de las herramientas que se desarrollan allí y que en principio interpretamos como negativas, nocivas o contrarias a la libertad de las personas, terminan siendo adoptadas en otros países supuestamente democráticos.

¿Qué ocurre cuando la censura de contenidos pasa a estar desarrollada ya no por personas, sino por algoritmos de deep learning sometidos a un continuo proceso de entrenamiento? ¿Y si esa tecnología deja de ser empleada simplemente para detectar imágenes pornográficas y contenidos violentos, y pasa a utilizarse para aquello que no se quiere que sea visto o leído? ¿Qué evita, una vez desarrollado un algoritmo capaz de detectar determinados contenidos, que pueda ser entrenado para otros? Sencillamente, que el sueño de libertad que un día supuso el desarrollo de internet se convierte en una pesadilla de control omnímodo, de censura prácticamente infalible, de sumisión al juicio de un algoritmo. Si quieres controlar la información a la que tu población accede, ya no tendrás que poner a un ejército de personas vigilando todo lo que hacen en la red: simplemente tendrás que entrenar a los algoritmos adecuados. Restringir el acceso al cifrado, a las VPNs y a los proxies es, lógicamente, el siguiente paso natural. The internet is for porn? Solo hasta que el algoritmo decida que deje de serlo.

Sentados delante de una pantalla, y vigilados por algoritmos que nos dicen lo que podemos y no podemos ver. Algunos puede que piensen que una red libre de pornografía y violencia es una cosa positiva… pero se equivocan, y no precisamente por la pornografía y la violencia, sino por todo lo que puede venir detrás. Que Tuputech, una compañía creada y crecida a la sombra de la censura gubernamental china, se convierta de repente en interesante para muchos países y empresas de otros países es un muy mal augurio de los tiempos que se nos vienen encima…