“Personas que reciben dinero público reservado para personas con discapacidad [the Allocation Adulte Handicapé, or AAH] Son el objetivo directo del cambio de algoritmo”, afirma Bastien Le Querrec, experto jurídico de La Quadrature du Net. “El riesgo para las personas que encuentran AAH y que trabajan aumenta”.
Debido a que también tiene un mayor número de familias monoparentales que de familias biparentales, los grupos argumentan que discrimina injustamente a las madres solteras, que estadísticamente representan el mayor número de probables cuidadoras solitarias. “En los valores de la versión 2014 del algoritmo, la puntuación de los beneficiarios divorciados desde hace menos de 18 meses es superior”, afirma Le Querrec.
Changer de Cap afirma que, tras una investigación, se han acercado a ella madres solteras y personas con discapacidad que buscaban ayuda.
La agencia CNAF, responsable de distribuir ayuda financiera que incluye vivienda, discapacidad y prestaciones por hijos, no respondió de inmediato a una solicitud de comentarios o a una pregunta de WIRED sobre si el algoritmo utilizado actualmente ha cambiado significativamente desde la versión de 2014.
Al igual que Francia, los grupos de derechos humanos en otros países europeos argumentan que están apuntando a miembros de la sociedad de bajos ingresos, a menudo con graves consecuencias.
Cuando decenas de miles de personas están en los Países Bajos (muchas de ellas son de ese país) ghanés público—fueron acusados falsamente de defraudar al sistema de prestaciones por hijos, no solo se les ordenó devolver el dinero que el algoritmo dijo que habían robado. Muchos de ellos dicen que se han quedado con deudas crecientes y puntajes crediticios arruinados.
El problema no es la forma en que se diseñó el algoritmo, sino su uso en el sistema de bienestar, dice Soizic Pénicaud, profesor de política de IA en Sciences Po Paris, quien anteriormente trabajó para el gobierno francés en la transparencia de los algoritmos del sector público. “El uso de algoritmos para las políticas públicas conlleva más riesgos que beneficios”, afirma. “No he visto un ejemplo en Europa ni en el mundo en el que estos sistemas se hayan utilizado con buenos resultados”.
El caso tiene implicaciones más allá de Francia. Se espera que los algoritmos de bienestar social sean la primera prueba de cómo se utilizarán las nuevas regulaciones de IA de la UE una vez que entren en vigor en febrero de 2025. A partir de entonces, la “puntuación social”: el uso de sistemas de IA para monitorear el comportamiento humano y establecer algunos de a ellos. tratado mal—será prohibido al otro lado de la cuadra.
Matthias Spielkamp, cofundador de la organización sin fines de lucro Algorithm Watch, afirma: “En mi opinión, muchos de estos programas de bienestar social que reciben estas estafas pueden convertirse en un blanco público”. Sin embargo, los representantes de la sociedad civil pueden no estar de acuerdo con esa definición, con argumentos sobre cómo interpretar estos métodos que pueden terminar en los tribunales. “Creo que se trata de una cuestión muy difícil”, afirma Spielkamp.
