Artículos

Eres sospechoso ante un sistema de videovigilancia porque eres humano – PabloYglesias #serpirataesbkn! #PartidoPirataChile

videovigilancia

Échele un vistazo a la imagen que acompaña estas palabras, y póngase en el “cuerpo” de un sistema de videovigilancia como el implementado recientemente en algunas ciudades de EEUU o Reino Unido (ES), y algunos aeropuertos europeos como el de Ámsterdam (EN). ¿Quién de los transeúntes es un potencial terrorista? 

Quizás para usted, mero humano, la pregunta no sea fácil de responder. A lo sumo apuntaríamos al corredor de camiseta roja, que llama mucho la atención. Pero una máquina lo tiene claro: El hombre de gorra y los dos ciudadanos que caminan juntos en primer plano.

¿La razón? ¿Qué ser en su sano juicio iría en dirección contraria al sentido normal de esta vía (de izquierda a derecha en el lado más cercano a la imagen, y de derecha a izquierda en el más alejado)?

¿La respuesta? Un humano.

Y ahora mire esta otra imagen: ¿Qué le llamaría la atención a una IA de videogilancia?

videovigilancia fail

El hombre que está parado en medio, ¿verdad?

Pues no.

Las alarmas sonarían por esa maleta roja abandonada a su suerte junto a la señal de tráfico. Una maleta que cualquier humano sería capaz de contextualizar con ese hombre de camisa blanca y corbata que espera, presumiblemente, a que le vengan a recoger. Pero no así una máquina.

Estas fotografías, junto con otras muchas más, forman parte de una serie realizada por la artista holandesa Esther Hovers y titulada False Positives (EN). En ella, la artista quiso ejemplificar lo absurdo del funcionamiento de estos algoritmos de identificación de amenazas.

Me meto mucho con las IAs de nuestra era, y no es para menos. Estas máquinas están generando un porcentaje de falsos positivos apabullante, siendo necesaria la labor de un analista para meter orden en el asunto.

Lo vimos recientemente con esos trolls bypaseando la moderación algorítmica aparentando ser muy educados en sus comentarios, lo hemos experimentado en nuestras carnes con la pugna que se está viviendo estos días con la viralización de noticias falsas en sistemas de recomendación como el de Facebook, lo sufrimos a diario con el surgimiento de algortimos pseudo racistas y xenófobos, y lo lamentaremos algún día no muy lejano.

Estas máquinas están aprendiendo de universos de datos ya, per sé, fuertemente sesgados. Pero además aún les falta muchísimo para llegar a ser tan eficientes a la hora de analizar el contexto como somos cualquiera de nosotrosQue claro está, partimos con ventaja. Llevamos literalmente milenios sofisticando nuestros sistemas biológicos para reconocer el peligro.

Y aún así erramos. Imagínese tener que llegar a esto en… ¿50 años?

El panopticón de la vigilancia masiva es una mera cortina de humo

La seguridad 100% efectiva no existe. Esto lo sabe usted, lo sabe un servidor, y lo sabe todo el mundo. Pero vivimos un escenario político que precisa de elementos históricamente tan adecuados como el miedo y la paranoia.

El enemigo del siglo XXI es uno que no podemos señalar con el dedo, ya que se oculta justo allí donde la vista no nos llega. El terrorista es un ser intangible, que tan pronto es un sirio con turbante como nuestro vecino, tan pronto un afgano yihadista como un camionero francés, o un adolescente pre-universitario de Colorado.

Y bajo una situación semejante, el único camino para asegurar la maltrecha seguridad nacional pasa porque todo ciudadano ceda cada vez más intimidad en favor de un supuesto bien común.

Así llegamos a un panopticón de la vigilancia masiva que tan pronto se difumina entre los continuos ataques a esos dispositivos que todos llevamos en nuestro bolsillo, como se ejemplifica con la más pura extrapolación de la vigilancia imaginada por Orwell y sus secuaces.

Deleguemos el control a una máquina, ya que una máquina es ¿siempre? neutral. Y no duerme, ni enferma, ni tampoco se queja cuando le piden hacer algo que va en contra de sus compañeros.

Una sociedad de control, controlada por muchas máquinas imperfectas cuyo único objetivo es mantener el control de la sociedad. Qué esto sirva para mejorar la seguridad todavía hay que demostrarlo. Por ahora, no ha sido así.

Por otro lado, una conducta que se sabe observada continuamente es una conducta antinatural. Evitar que alguien se le vaya la cabeza y mate con su vehículo a varios transeúntes está fuera, incluso, de la capacidad de una máquina. El humano es irracional por naturaleza, y esa misma estrategia mediática de escupir constantemente al ciudadano propaganda anti-terrorista tiene una doble lectura: tan pronto da sentido a partidas presupuestarias multimillonarias necesarias al parecer para controlar al terrorismo, como radicaliza a ese porcentaje de la sociedad que se siente excluída.

Estamos llegando a un punto en el que por defecto todos somos criminales. Y ya, si eso más adelante, se demostrará quiénes no lo son.

No hay misticismo en el machine learning, simplemente matemáticas. Las IAs son una mera herramienta, aún muy básica, para el fin que el ser humano quiera darle.

Los ocho patrones causantes de la mayoría de falsos positivos:

Según los investigadores cuyas reflexiones sirvieron a la artista para realizar este proyecto, existen 8 patrones que a día de hoy hacen que cualquiera de nosotros sea considerado potencialmente peligroso frente al objetivo de una cámara asistida por estas IAs. A saber:

  1. Caminar con demasiada rapidez.
  2. Merodear lentamente sin rumbo durante cierto tiempo.
  3. Abandonar o alejarse de algún objeto que previamente hubiéramos portado.
  4. Permanecer quieto en una esquina.
  5. Mirar repetidamente hacia atrás.
  6. Caminar en contra del sentido del tráfico.
  7. Moverse de manera sincronizada.
  8. Que un grupo de personas se deshaga súbitamente.

Lo que de facto nos señalaría a cualquiera de nosotros como potencial terrorista: quién no ha salido alguna vez a “dar una vuelta”, quién no se ha quedado esperando a alguien en la calle, quién no ha coincidido con un grupo de personas que justo iban en su misma dirección…

Las apreciaciones son tan absurdas como ineficaces. Basta con que un terrorista sea consciente de esto para hacer justo lo contrario, y no ser marcado entonces como tal.

Estamos intentando analizar patrones humanos con sistemas informáticos, y eso, al menos al nivel de eficacia que parecemos interesados en dotarles, no va a acabar bien.

Y tiene un corolario aún menos halagüeño. Cómo explicaba en la pieza “Entrega tu mejor cara en el tercer entorno: tu vida depende de ello“, qué pasará cuando se le dote a la máquina de una suerte de juez y verdugo. Cuándo el margen de error sea lo suficientemente bajo como para que los supuestos beneficios sirvan de excusa para obviar los falsos positivos.

Cuando ese algoritmo decida que en efecto usted no es digno de entrar en un país, aplicar a ese puesto de trabajo, o peor aún, le señale como un potencial terrorista. Simplemente porque es humano, y porque de entre las miles de variables que estos sistemas acabarán analizando, considera que algunas de sus acciones son “demasiado caóticas” para no representar un riesgo potencial.

Una sociedad de control, nuevamente, bajo el auspicio de una suerte de normalización del abuso de intimidad, de que el ciudadano no debe tener nada que ocultar, y debe comportarse como el resto de masa.

Ser más máquina y menos humano, a fin de cuentas.