"No se puede poner en el mundo una tecnología que no ha sido probada"

Paola Ricaurte Quijano es mexicana, referente en inteligencia artificial y feminismo en Latinoamérica. Crítica de las tecnologías digitales, plantea la urgencia de hablar del desarrollo tecnológico dominante como la continuidad histórica de un proyecto necropolítico a gran escala, y señala la necesidad de que América Latina tenga una posición unificada, más allá de las diferencias ideológicas de los gobiernos, para tener mayor influencia en el debate global sobre la regulación y la gobernanza de la IA. “Europa lo tiene muy claro: no tiene un papel predominante en el desarrollo de estas tecnologías, pero se han articulado para imponer sus marcos regulatorios, que nos afectan a nosotros también”, advierte en diálogo con Página/12. Ricaurte es investigadora asociada del Departamento de Medios y Cultura Digital del Tecnológico de Monterrey y del Berkman Klein Center for Internet & Society de la Universidad de Harvard. También es cofundadora de Tierra Común, una red de académicos, profesionales y activistas interesados en la decolonialidad y los datos. Forma parte de la Alianza por Algoritmos Inclusivos y coordina el nodo de Latinoamérica y el Caribe de la Red Feminista de Investigación en Inteligencia Artificial, desde donde impulsan proyectos de investigación e innovación para el desarrollo de tecnologías feministas y descoloniales, varios de ellos desarrollados en la Argentina. Además, participa en la Alianza Global para la Inteligencia Artificial (GPAI) y en el Grupo de Expertos para la implementación de la Recomendación de la Unesco sobre la Ética de la Inteligencia Artificial.

La investigadora mexicana estuvo en Buenos Aires por un día, para participar del Foro DemocracIA –organizado por Luminate, Civic Compass y el International Fund for Public Interest Media (IFPIM) en el Museo de Arte Moderno–, donde expertas y expertos de América Latina, Europa y Estados Unidos debatieron sobre experiencias para regular la inteligencia artificial y los desafíos que presenta a los procesos electorales. En ese ámbito, Ricaurte conversó con este diario sobre los proyectos de IA feminista, los impactos ambientales de esa tecnología, la precarización invisible del trabajo femenino que esconde, y los aspectos ineludibles que debería contemplar la regulación en países como Argentina, entre otros temas.

“No puedes poner en el mundo una tecnología que no ha sido probada. Y ese control debe hacerse a través de una auditoría pública. Las empresas no lo están haciendo, no se están autorregulando. Por eso tenemos las tecnologías que tenemos. Entonces creo que debe ser algo que debe ser considerado en la regulación. Y luego, la participación de la ciudadanía en los procesos de gobernanza, de desarrollo, de implementación, es decir, en todas las fases del ciclo de vida de la inteligencia artificial. Porque de lo contrario, desgraciadamente, nos toca después a la sociedad civil estar reaccionando y decir: esto falla”, alerta.

–¿Cuándo se crea la Red Feminista de Investigación e Inteligencia Artificial?

–La Red emerge como tal en 2020. Es una iniciativa de una coalición que se llama la Alianza por Algoritmos Inclusivos. Esa coalición está conformada por una organización de la sociedad civil en Suiza, está el Tecnológico de Costa Rica, estamos nosotros en México con el Tecnológico de Monterrey, la Universidad Americana del Cairo, y también la Universidad Chulalongkorn en Tailandia. Tenemos nodos en América Latina y el Caribe, en norte de África y Medio Oriente, y en el sudeste asiático. Formalmente, desde 2021 comenzamos a impulsar el desarrollo de inteligencia artificial bajo principios feministas en estas tres regiones.

–¿Cómo se piensa la inteligencia artificial bajo principios feministas?

–Justo hay mucha discusión acerca de cómo los sistemas de inteligencia artificial pueden reproducir desigualdades y violencia. Básicamente es generar tecnologías que no sean reproductoras de la violencia en ninguna de las etapas de su desarrollo, en todo su ciclo de vida. Nuestros proyectos tienen que ver con acceso a la justicia, a derechos en general, a la información, a proteger a las mujeres y otras identidades de la violencia en el espacio digital y también de las violencias institucionales. Es decir, tratamos de que nuestros proyectos reflejen esa apuesta por el acceso a los derechos.

–¿De qué se tratan esos proyectos?

–Antes voy a señalar, en base a un caso de Argentina, lo que no se debe hacer. Muchas veces se piensa que con estas tecnologías se van a resolver problemas sociales. Y lo hemos visto, desgraciadamente, como una tendencia por parte de los gobiernos de América Latina de incorporar sistemas de toma de decisión automatizada, por ejemplo, en políticas públicas de salud, educación, beneficios sociales. Estas tecnologías no funcionan porque por definición no son exactas, tienen errores. Esos errores siempre caen en las poblaciones que no están representadas por esos sistemas, para las que no fueron diseñados, que son las mujeres, las distintas identidades sexogenéricas, las personas racializadas, las que tienen algún tipo de discapacidad. Es decir, estas tecnologías funcionan para un ser humano estándar que no somos nosotras. Entonces, los gobiernos toman estas tecnologías bajo la premisa de que van a solucionar un problema social, pero en realidad lo que hacen es reproducir esos mismos problemas sociales. Por ejemplo, usar sistemas predictivos para determinar el embarazo adolescente.

–En Argentina lo usó el gobierno de Salta, cuando el gobernador era Juan Manuel Urtubey, en 2018.

–Si. Es un triste ejemplo del uso por parte de gobiernos de estas tecnologías que son corporativas, en este caso de Microsoft. En ese caso, tomando una población, bajo ciertos parámetros, se definía quién tenía más probabilidad de quedar embarazada o no. Es la misma lógica, por ejemplo, que se usa para los sistemas educativos. ¿Quién va a abandonar la escuela? Pero en realidad, independientemente del resultado que sale obviamente sesgado hacia las poblaciones marginalizadas, a las mujeres jóvenes, más precarizadas, el problema es cómo se instalan estos sistemas en el mundo pensando que con esa predicción resuelves el problema, en vez de atender las causas de ese problema. Este ha sido un caso vergonzosamente emblemático pero que se reprodujo en otros países, como Brasil. También para vigilar las infancias, se aplicó en Chile.

–¿Para vigilarlas en qué sentido?

–Quiénes iban a tener la mayor probabilidad de cometer un delito en los próximos dos años.

–Recuerda a la película Minority Report (Sentencia previa), protagonizada por Tom Cruise…

–Si, más o menos. Nosotras no queremos esas tecnologías. Queremos tecnologías que están diseñadas para atender nuestros problemas, por ejemplo, cuando las mujeres están sujetas a desventaja en el acceso a la justicia. La organización argentina DataGénero desarrolló AymurAI, un software de Inteligencia Artificial que analiza sentencias judiciales en general y especialmente sobre casos de violencia de género y permite extraer información relevante, por ejemplo te dice dónde están los sesgos de género. Ya la están usando en Argentina y ahora la van a utilizar en México. ¿En qué se diferencian estas tecnologías? Están preocupadas por atender un problema que es real: en este caso, el problema de acceso a la justicia de las mujeres. Además, toda la tecnología fue pensada para servir a un fin público. Son tecnologías abiertas, las pueden usar los juzgados. Pero además, se piensa en toda la cadena: no es que ellas desarrollaron la tecnología y la dejaron allí. Lo que hacen es trabajar junto con los jueces para que luego puedan usarla y adaptarla también a sus necesidades. Todo el proyecto fue pensado cuidando de anonimizar los datos porque son datos de mujeres. Están protegidos. Es decir, cuidando cada detalle del proceso para que sea una tecnología que efectivamente responda al principio de no violentar. 

–¿Qué otro proyecto están desarrollando desde la Red Feminista de Investigación en Inteligencia Artificial?

–Hay una tecnología pensada para apoyar la gobernanza de recursos naturales, en particular del agua, en una comunidad indígena del norte de México, que está siendo afectada por la violencia, pero también por la escasez de agua. Es una plataforma abierta, que monitorea el territorio, incluso también bases de datos. Esta tecnología fue desarrollada con la comunidad y en el proceso participó una organización de Ecuador con otra en México que lleva muchos años trabajando en ese lugar. El principio es el mismo, es decir, preguntar: ¿qué tecnología necesita la comunidad? O sea, no emerge de una iniciativa externa, sino que hay un problema que la comunidad quiere atender. Y se ajusta a los principios, a los valores y a las prácticas de gobernanza de la comunidad. 

Tuvimos otro proyecto de Ecuador para detectar cómo las compras públicas discriminan a las mujeres. Muchas veces no pensamos cómo el dinero del Estado se distribuye en las compañías que luego ofrecen servicios o productos. Este grupo hizo un modelo para analizar de qué manera esas compras públicas estaban siendo asignadas a ciertos proveedores en perjuicio de las mujeres. Mostró cómo se compraba a empresas más grandes, y no a aquellas impulsadas por mujeres. Y también está EDIA, una herramienta para identificar sesgos y estereotipos de género en el lenguaje que se desarrolló en Argentina entre la Universidad Nacional de Córdoba y la organización Vía Libre. Es una herramienta muy interesante porque está hecha para personas que no saben de código, tratando otra vez de acortar estas brechas entre los llamados expertos o expertas que desarrollan las tecnologías y las personas usuarias.

–¿Cómo están afectando a las democracias estas tecnologías?

–A mí me gusta hablar de sistemas sociotécnicos, porque cuando pensamos a veces en las tecnologías tenemos este imaginario de que estamos hablando del software o del hardware, y en realidad estamos hablando de un sistema muy complejo que está compuesto de distintos elementos que tienen que ver con la producción de conocimiento, con las instituciones, las regulaciones, los mercados, los datos, el trabajo, los recursos naturales. De estos actores que concentran los recursos, que están tratando de apropiarse de los recursos naturales, que se apropian de los datos, del conocimiento, y que además con toda esa apropiación tienen una capacidad de injerencia directa e indirecta, el poder blando y el poder duro. Entonces estamos diciendo que estas corporaciones inciden a través de múltiples mecanismos, para que se tomen ciertas decisiones en torno a las regulaciones. Además de que estas grandes compañías son muy aliadas, les gustan mucho los gobiernos antiderechos, entonces creo que si no vemos esas vinculaciones a nivel macroestructural, estamos corriendo el riesgo de pensar que los problemas que trae la inteligencia artificial se limitan a los sesgos. 

–¿Qué impacto tienen en los territorios?

–A veces pensamos en las tecnologías como si fueran inmateriales, como si vinieran de la nada. Hablamos de la nube pero la materialidad de la tecnología está también anclada a territorios específicos. Por ejemplo, América Latina tiene muchos de los minerales que se utilizan para el desarrollo tecnológico, para las baterías, para el software, el oro, el litio, el cobre. También somos una región donde por las condiciones de los territorios se pueden instalar centros de datos. Entonces, si tú tienes por una parte la extracción de los minerales, y al mismo tiempo hay ciertos polos en América Latina, especialmente en Chile, México, que están siendo parte de ese mismo clúster, donde se están instalando centros de datos, les dicen campus. Esa infraestructura, esa materialidad, afecta a las poblaciones que habitan en esos territorios. Y muchos de esos territorios están ocupados por poblaciones indígenas, como lo vemos en Brasil, que están tratando de resistirse a las industrias extractivistas mineras. Desgraciadamente, todos esos defensores y defensoras del territorio están siendo literalmente asesinados por esas defensas.

–¿Cómo son los centros de datos?

—Son lugares para almacenar los datos necesarios para que luego se entrenen los modelos de inteligencia artificial. No es una nube, es una nave diría, donde están todos los servidores donde se guardan los datos. Y además, tienen que tener réplicas. Entonces, no es que solo están en un sitio, tienen que estar reproducidos. Pero esos centros de datos, puesto que tienen que estar prendidos todo el día, se calientan. Entonces hay que usar muchísima agua para enfriarlos. Y esa agua sale de esos territorios donde viven las personas y se quedan sin el agua. Porque los datos, digamos, ocupan el agua no para la gente, sino para enfriarlos. Entonces esas son afectaciones directas a los territorios. Y ha habido varios casos en América Latina donde las comunidades se han resistido a esas construcciones.

–-¿Y dónde están instalándose los centros de datos?

–Las decisiones sobre dónde colocar un centro de datos tienen que ver con varios factores. Uno de ellos que parece básico, por ejemplo, el riesgo sísmico. No debe temblar. Pero hay otras cuestiones, como los impuestos y también condiciones que son infraestructurales, por ejemplo, redes eléctricas. El Estado tiene que proveer esa infraestructura básica. Tiene que haber agua. Después, ¿dónde están ubicados? En el caso de México, el hecho de que tú puedas colocar un centro de datos cerca territorialmente de Estados Unidos es conveniente. Han tomado una zona, se llama Querétaro, cerca de la Ciudad de México. Ahorita hay proyectos para que las grandes corporaciones estén ahí.

–¿Cómo afectan estas tecnologías a las mujeres?

– La producción de un sistema de inteligencia artificial tenemos los datos, los modelos y luego las aplicaciones pero para que esos datos funcionen tienen que ser limpiados, curados, es decir, tienen que ser preparados para que luego se entrenen los modelos y muchos de esos trabajos, al menos en América Latina, los hacen mujeres. Haz de cuenta que es el mismo trabajo que hacemos las mujeres en la vida: limpiar la casa. Toda esa parte que no les gusta hacer a los hombres que tienen los nombres grandes, rimbombantes, que se llevan los créditos, los hacemos las mujeres. Hay que limpiar las bases de datos para que no tenga datos repetidos, o que no le falten datos. 

Y hay otra tarea que es anterior que es etiquetar los datos que van a ser luego usados. Tú tienes dos imágenes, ¿cuál es un gato? Entonces tú ves el gato y dices, este es un gato, este no es un gato. A eso se llama etiquetar un dato. Primero una persona humana tiene que decir qué es y qué no. El modelo utiliza esos datos y a partir de ahí aprende y luego se usa. Todos nosotros siempre estamos trabajando haciendo eso. Por ejemplo, cuando te piden una comprobación de qué imagen es un semáforo, estás haciendo eso mismo. Eso es trabajo no pagado. Y cuando se hace pagado, se paga de manera miserable. ¿Y quiénes están haciendo eso? Hay compañías, en inglés se llaman crowdwork porque es trabajo de masas, son micro tareas que se pagan una miseria. Esas compañías son populares en América Latina, sobre todo entre sectores de personas que están afectadas económicamente, muchas son mujeres que trabajan en sus ratos libres para tener ingresos extras, en contextos de países precarizados. Uno de nuestros proyectos apuntó a identificar quiénes eran estas trabajadoras latinas. Muchas de ellas decían que, a diferencia de otros trabajos, ellas no saben quiénes son las demás, no se pueden comunicar entre ellas. Los trabajadores de Uber, de Rapi o de todas estas aplicaciones los ves en la calle, se ponen en algún sitio, pero estas trabajadoras son invisibles. Están en sus casas.

– Como las que son explotadas en talleres textiles…

– Un poco su situación es similar en el sentido de que no tienen maneras de organizarse y de reclamar sus derechos. Hay muchas venezolanas pero hay en toda América Latina, muchas de ellas a veces con educación. Pero son las condiciones las que hacen que nosotras busquemos otras vías de obtener recursos. Son personas que están allí, al margen, de los beneficios del Estado, de la regulación, porque son anónimas. Y eso, por supuesto, las pone en una condición de vulnerabilidad.