En el marco de una investigación de un año de duración, The Associated Press obtuvo los puntos de datos en los que se basan varios algoritmos utilizados por los organismos de protección de la infancia para comprender cómo predicen qué niños podrían estar en riesgo de sufrir daños.
PITTSBURGH (AP) - Durante las dos semanas que la niña de los Hackney permaneció en la cama de un hospital de Pittsburgh debilitada por la deshidratación, sus padres apenas se separaron de ella, a veces durmiendo en el sofá plegable de la habitación.
Estuvieron con su hija las veinticuatro horas del día cuando la trasladaron a un centro de rehabilitación para que recuperara fuerzas. Finalmente, la niña de 8 meses dejó de rechazar los biberones y empezó a ganar peso de nuevo.
"Le iba bien y empezamos a preguntarnos cuándo podría volver a casa", explica Lauren Hackney. "Y a partir de ese momento, en ese momento, nos dieron completamente largas y nunca dijeron nada".
La pareja se quedó atónita cuando aparecieron los funcionarios de bienestar infantil, les dijeron que eran negligentes y se llevaron a su hija.
"Tenían los papeles de la custodia y se la llevaron allí mismo", recuerda Lauren Hackney. "Y nos echamos a llorar".
Más de un año después, su hija, que ahora tiene dos años, sigue en acogida. Los Hackney, que tienen discapacidades del desarrollo, se esfuerzan por entender cómo llevar a su hija al hospital cuando se negaba a comer puede considerarse tan negligente como para tener que sacarla de casa.
Se preguntan si una herramienta de inteligencia artificial que el Departamento de Servicios Humanos del condado de Allegheny utiliza para predecir qué niños podrían estar en riesgo de sufrir daños los señaló a ellos debido a sus discapacidades.
El Departamento de Justicia de Estados Unidos se hace la misma pregunta. La agencia está investigando el sistema de bienestar infantil del condado para determinar si su uso del influyente algoritmo discrimina a las personas con discapacidad u otros grupos protegidos, según ha sabido The Associated Press. A finales de este mes, los abogados federales de derechos civiles entrevistarán a los Hackneys y la madre de Andrew Hackney, Cynde Hackney-Fierro, dijo la abuela.
Lauren Hackney padece un trastorno por déficit de atención con hiperactividad que afecta a su memoria, y su marido, Andrew, tiene un trastorno de comprensión y daños nerviosos por un derrame cerebral sufrido a los 20 años. Su hija tenía sólo 7 meses cuando empezó a negarse a tomar el biberón. Ante la escasez nacional de leche de fórmula, viajaron de Pensilvania a Virginia Occidental en busca de alguna y se vieron obligados a cambiar de marca. Al bebé no parecía gustarle.
Su pediatra primero les tranquilizó diciéndoles que los bebés a veces pueden ser caprichosos con la alimentación y les ofreció ideas para ayudarla a recuperar el apetito.
Cuando días más tarde se puso letárgica, el mismo médico les dijo que la llevaran a urgencias. Los Hackney creen que el personal médico alertó a los servicios de protección de menores cuando se presentaron con un bebé deshidratado y desnutrido.
Es entonces cuando creen que su información se introdujo en la Herramienta de Detección Familiar de Allegheny, que, según los funcionarios del condado, es el procedimiento estándar para las denuncias de negligencia. Pronto apareció un trabajador social para interrogarles y su hija fue enviada a un centro de acogida.
En los últimos seis años, el condado de Allegheny ha servido de laboratorio real para probar herramientas de protección de la infancia basadas en inteligencia artificial que procesan montones de datos sobre las familias locales para tratar de predecir qué niños pueden correr peligro en sus hogares. Hoy en día, las agencias de bienestar infantil de al menos 26 estados y Washington, D.C., han considerado el uso de herramientas algorítmicas, y las jurisdicciones de al menos 11 las han desplegado, según la Unión Americana de Libertades Civiles.
La historia de los Hackney -basada en entrevistas, correos electrónicos internos y documentos legales- ilustra la opacidad que rodea a estos algoritmos. Incluso mientras luchan por recuperar la custodia de su hija, no pueden cuestionar la "puntuación de riesgo" que la herramienta del condado de Allegheny puede haber asignado a su caso porque los funcionarios no se la revelan. Y ni el condado ni las personas que crearon la herramienta han explicado nunca qué variables se han utilizado para medir la capacidad de los Hackney como padres.
"Es como si tuvieras un problema con alguien que tiene una discapacidad", dijo Andrew Hackney en una entrevista desde su apartamento en los suburbios de Pittsburgh. "En ese caso... probablemente acabas yendo a por todos los que tienen hijos y tienen una discapacidad".
Como parte de una investigación de un año de duración, la AP obtuvo los puntos de datos que sustentan varios algoritmos desplegados por las agencias de bienestar infantil, incluidos algunos marcados como "CONFIDENCIAL", ofreciendo una visión poco común de la mecánica que impulsa estas tecnologías emergentes. Entre los factores que han utilizado para calcular el riesgo de una familia, ya sea directamente o por aproximación: la raza, los índices de pobreza, el estado de discapacidad y el tamaño de la familia. También se incluye si la madre fumaba antes de quedarse embarazada y si la familia ha tenido denuncias previas por abuso o abandono infantil.
Lo que miden importa. Un análisis reciente realizado por investigadores de la ACLU descubrió que cuando el algoritmo de Allegheny marcaba a personas que accedían a servicios del condado de salud mental y a otros programas de salud conductual, eso podía añadir hasta tres puntos a la puntuación de riesgo de un niño, un aumento significativo en una escala de 20.
El portavoz del condado de Allegheny, Mark Bertolet, declinó referirse al caso Hackney y no respondió a preguntas detalladas sobre el estado de la investigación federal o las críticas a los datos que alimentan la herramienta, incluidas las de la ACLU.
"Por política, no hacemos comentarios sobre pleitos o asuntos legales", dijo Bertolet en un correo electrónico.
La portavoz del Departamento de Justicia, Aryele Bradford, declinó hacer comentarios.
NO ES MAGIA
Los algoritmos de protección de menores introducen grandes cantidades de datos públicos sobre las familias locales en complejos modelos estadísticos para calcular lo que denominan una puntuación de riesgo. La cifra generada se utiliza entonces para asesorar a los trabajadores sociales a la hora de decidir qué familias deben ser investigadas o qué familias necesitan atención adicional, una decisión de peso que a veces puede significar la vida o la muerte.
Varios líderes locales han recurrido a la tecnología de IA cuando se encontraban bajo presión para realizar cambios sistémicos, como en Oregón durante una crisis de acogida y en el condado de Los Ángeles tras una serie de muertes infantiles de gran repercusión en uno de los mayores sistemas de bienestar infantil del país.
El director del Departamento de Servicios para la Infancia y la Familia del condado de Los Ángeles, Brandon Nichols, afirma que los algoritmos pueden ayudar a identificar a las familias de alto riesgo y mejorar los resultados en un sistema profundamente tensionado. Sin embargo, no pudo explicar cómo funciona la herramienta de detección que utiliza su agencia.
"Somos una especie de trabajadores sociales, no informáticos", dijo Nichols en una entrevista. "Cómo funciona el algoritmo, en cierto modo es, no quiero decir que sea mágico para nosotros, pero está más allá de nuestros conocimientos y experiencia".
Nichols y los funcionarios de otras dos agencias de bienestar infantil remitieron preguntas detalladas sobre sus herramientas de IA a los desarrolladores externos que las crearon.
En el condado de Larimer, Colorado, una funcionaria reconoció que no sabía qué variables se utilizaban para evaluar a las familias locales.
"Las variables y ponderaciones utilizadas por la herramienta de ayuda a la toma de decisiones de Larimer son parte del código desarrollado por Auckland y por lo tanto no tenemos este nivel de detalle", dijo Jill Maasch, portavoz de Servicios Humanos del Condado de Larimer en un correo electrónico, refiriéndose a los desarrolladores.
En Pensilvania, California y Colorado, los funcionarios de los condados han abierto sus sistemas de datos a los dos desarrolladores académicos que seleccionan puntos de datos para construir sus algoritmos. Rhema Vaithianathan, catedrático de Economía de la Salud de la Universidad Tecnológica de Auckland (Nueva Zelanda), y Emily Putnam-Hornstein, catedrática de la Escuela de Trabajo Social de la Universidad de Carolina del Norte en Chapel Hill, afirmaron en un correo electrónico que su trabajo es transparente y que hacen públicos sus modelos informáticos.
"En cada jurisdicción en la que se ha aplicado plenamente un modelo, hemos publicado una descripción de los campos que se utilizaron para construir la herramienta, junto con información sobre los métodos empleados", dijeron por correo electrónico.
Un informe de 241 páginas en el sitio web del condado de Allegheny incluye páginas de variables codificadas y cálculos estadísticos.
El trabajo de Vaithianathan y Putnam-Hornstein ha sido elogiado en informes publicados tanto por UNICEF como por la administración Biden por haber ideado modelos informáticos que prometen aligerar la carga de trabajo de los asistentes sociales basándose en un conjunto de factores sencillos. Han descrito el uso de estas herramientas como un imperativo moral, insistiendo en que los funcionarios de bienestar infantil deben utilizar todos los datos a su disposición para asegurarse de que los niños no son maltratados.
Sin embargo, a través del seguimiento de su trabajo en todo el país, la AP descubrió que sus herramientas pueden predisponer a las familias a la separación al clasificar su riesgo en función de características personales que no pueden cambiar o controlar, como la raza o la discapacidad, en lugar de sólo sus acciones como padres.
En el condado de Allegheny, un extenso condado de 1,2 millones de habitantes cerca de la frontera con Ohio, el algoritmo ha accedido a una serie de datos externos, como registros de cárceles, libertad condicional de menores, Medicaid, asistencia social, salud y nacimientos, todos ellos almacenados en un vasto "almacén de datos" de todo el condado. La herramienta utiliza esa información para predecir el riesgo de que un niño sea colocado en un hogar de acogida dos años después de que una familia sea investigada por primera vez.
Los funcionarios del condado han declarado a AP que están orgullosos de su enfoque vanguardista, e incluso han ampliado su trabajo para crear otro algoritmo centrado en los recién nacidos. Han dicho que supervisan de cerca su herramienta de puntuación de riesgos y la actualizan con el tiempo, incluyendo la eliminación de variables como las prestaciones sociales y los registros de nacimiento.
Vaithianathan y Putnam-Hornstein declinaron las repetidas solicitudes de entrevista de la AP para discutir cómo eligen los datos específicos que alimentan sus modelos. Pero en un informe de 2017, detallaron los métodos utilizados para construir la primera versión de la herramienta de Allegheny, incluida una nota a pie de página que describía un límite estadístico como "bastante arbitrario pero basado en ensayo y error."
"Esta nota a pie de página se refiere a nuestra exploración de más de 800 características del almacén de datos de Allegheny hace más de cinco años", dijeron los desarrolladores por correo electrónico.
Ese enfoque se confirma en sus opciones de diseño, que difieren de un condado a otro.
En el mismo informe de 2017, los desarrolladores reconocieron que el uso de datos raciales no mejoraba sustancialmente la precisión del modelo, pero continuaron estudiándolo en el condado de Douglas, Colorado, aunque finalmente optaron por no incluirlo en ese modelo. Para responder a las preocupaciones de la comunidad de que una herramienta pudiera endurecer los prejuicios raciales en el condado de Los Ángeles, los desarrolladores excluyeron los antecedentes penales de las personas, el código postal y los indicadores geográficos, pero han seguido utilizando esos datos en la zona de Pittsburgh.
Cuando se les preguntó por las incoherencias, los desarrolladores se remitieron a los documentos metodológicos que habían publicado.
Detallamos varias métricas utilizadas para evaluar la precisión, así como "validaciones externas"", explicaron los desarrolladores por correo electrónico.
Cuando el Departamento de Servicios Humanos de Oregón creó un algoritmo inspirado en el de Allegheny, tuvo en cuenta la raza del niño a la hora de predecir el riesgo de una familia, y también aplicó una "corrección de equidad" para mitigar el sesgo racial. El pasado mes de junio, la herramienta se abandonó por completo debido a problemas de equidad, después de que una investigación de AP revelara en abril un posible sesgo racial en este tipo de herramientas.
Los abogados del Departamento de Justicia citaron el mismo artículo de AP el otoño pasado cuando los abogados federales de derechos civiles empezaron a indagar sobre otros problemas de discriminación en la herramienta de Allegheny, según dijeron tres fuentes a AP. Hablaron bajo condición de anonimato, diciendo que el Departamento de Justicia les pidió que no hablaran de las conversaciones confidenciales. Dos de ellas dijeron que también temían represalias profesionales.
PRUEBAS DE INTELIGENCIA, CLASES PARA PADRES
Sin respuestas sobre cuándo podrían tener a su hija en casa, el abogado de los Hackney presentó en octubre una demanda federal de derechos civiles en su nombre que cuestionaba cómo se había utilizado la herramienta de detección en su caso.
Con el tiempo, la herramienta de Allegheny ha rastreado si los miembros de la familia tienen diagnósticos de esquizofrenia o trastornos del estado de ánimo. También ha medido si los padres u otros niños en el hogar tienen discapacidades, tomando nota de si alguno de los miembros de la familia recibió Seguridad de Ingreso Suplementario, un beneficio federal para las personas con discapacidad. El condado dijo que los factores en los pagos de SSI, en parte porque los niños con discapacidad son más propensos a ser objeto de abuso o negligencia.
El condado también dijo que los datos relacionados con la discapacidad puede ser "predictivo de los resultados" y que "no debería ser una sorpresa que los padres con discapacidad ... también pueden tener una necesidad de apoyos y servicios adicionales." En una declaración enviada por correo electrónico, el condado añadió que en otras partes del país, los trabajadores sociales también se basan en datos sobre la salud mental y otras condiciones que pueden afectar a la capacidad de un padre para cuidar con seguridad a un niño.
Se ha ordenado a los Hackney que tomen clases de paternidad y dicen que se han visto sobrecargados por todas las exigencias del sistema de bienestar infantil, incluidas las pruebas de cociente intelectual y las audiencias judiciales en el centro de la ciudad.
Las personas con discapacidad están sobrerrepresentadas en el sistema de bienestar infantil, pero no hay pruebas de que perjudiquen a sus hijos en mayor medida, afirma Traci LaLiberte, experta en bienestar infantil y discapacidad de la Universidad de Minnesota.
La inclusión de puntos de datos relacionados con las discapacidades en un algoritmo es problemático porque perpetúa los prejuicios históricos en el sistema y se centra en los rasgos fisiológicos de las personas en lugar de comportamiento que los trabajadores sociales son llevados a abordar, dijo LaLiberte.
La herramienta de Los Ángeles sopesa si alguno de los niños de la familia ha recibido alguna vez servicios de educación especial, ha tenido derivaciones previas por desarrollo o salud mental o ha consumido fármacos para tratar la salud mental.
"Esto no es exclusivo de los trabajadores sociales que utilizan esta herramienta; es común que los trabajadores sociales tengan en cuenta estos factores a la hora de determinar posibles apoyos y servicios", dijeron los desarrolladores por correo electrónico.
Antes de que se utilizaran los algoritmos, el sistema de bienestar infantil desconfiaba desde hacía tiempo de los padres con discapacidad. En la década de 1970, fueron regularmente esterilizados e institucionalizados, dijo LaLiberte. Un histórico informe federal de 2012 señalaba que los padres con discapacidades psiquiátricas o intelectuales perdían la custodia de sus hijos hasta en un 80% de los casos.
La investigación de LaLiberte ha revelado que, en todo Estados Unidos, es muy poco frecuente que los organismos de protección de la infancia exijan a los trabajadores sociales formación en materia de discapacidad. El resultado: Los padres con discapacidad a menudo son juzgados por un sistema que no entiende cómo evaluar su capacidad como cuidadores, dijo.
Los Hackney experimentaron esto de primera mano. Cuando una trabajadora social preguntó a Andrew Hackney con qué frecuencia alimentaba al bebé, respondió literalmente: dos veces al día. La trabajadora pareció consternada y le regañó diciéndole que los bebés debían comer con más frecuencia. Hackney se esforzó por explicar que la madre, la abuela y la tía de la niña también se turnaban para alimentarla cada día.
MARCADO PARA SIEMPRE
Los funcionarios del condado de Allegheny han afirmado que incorporar la IA a sus procesos les ayuda a "tomar decisiones basadas en la mayor cantidad de información posible", y han señalado que el algoritmo se limita a aprovechar los datos a los que ya pueden acceder los trabajadores sociales.
Esto puede incluir registros de hace décadas. La herramienta del área de Pittsburgh ha rastreado si los padres han recibido alguna vez prestaciones públicas o si han tenido antecedentes penales, incluso si eran menores de edad en ese momento, o si nunca llegaron a ser acusados o condenados.
AP descubrió que estas decisiones de diseño pueden perjudicar a las personas que crecieron en la pobreza, reforzando las desigualdades históricas que persisten en los datos, o a las personas con antecedentes en los sistemas de justicia juvenil o penal, mucho después de que la sociedad les haya concedido la redención. Y los críticos dicen que los algoritmos pueden crear una profecía autocumplida al influir en qué familias son el objetivo en primer lugar.
Según el análisis de los investigadores de la ACLU y de la organización sin ánimo de lucro Human Rights Data Analysis Group, "estos predictores tienen el efecto de sembrar sospechas permanentes y no ofrecen ningún medio de recurso a las familias marcadas por estos indicadores". "Son vistas para siempre como más peligrosas para sus hijos".
A medida que los algoritmos de bienestar infantil se hacen más comunes, los padres que han experimentado el escrutinio de los trabajadores sociales temen que los modelos no les permitan escapar de sus pasados, sin importar lo antiguos o irrelevantes que hayan sido sus anteriores roces con el sistema.
Charity Chandler-Cole, miembro de la Comisión del Condado de Los Ángeles para la Infancia y la Familia, es una de ellas. Cuando era adolescente, fue a parar a un centro de acogida tras ser detenida por robar ropa interior para su hermana pequeña. Ya de adulta, cuenta, los trabajadores sociales se presentaron una vez en su apartamento después de que alguien denunciara espuriamente que habían tirado un piano de cola a su sobrino, que vivía en su casa, a pesar de que no poseían tal instrumento.
Según Chandler-Cole, el algoritmo local podría etiquetarla por sus experiencias previas en centros de acogida y de libertad condicional de menores, así como por la denuncia infundada de maltrato infantil. Chandler-Cole se pregunta si la IA también podría evaluar adecuadamente el hecho de que fuera absuelta rápidamente de cualquier sospecha de malos tratos, o que su delito no violento de adolescencia fuera eliminado legalmente.
"Muchos de estos informes carecen de sentido común", dice Chandler-Cole, ahora madre de cuatro hijos y directora ejecutiva de una organización que trabaja con el sistema judicial para ayudar a los niños en acogida. "Nos están poniendo automáticamente en estos espacios para ser juzgados con estas etiquetas. Sólo perpetúa un daño adicional".
En cambio, Wendy Garen, compañera de Chandler-Cole en la comisión, defiende que "más es mejor" y que, al aprovechar todos los datos disponibles, las herramientas de puntuación del riesgo pueden ayudar a que el trabajo de la agencia sea más exhaustivo y eficaz.
INFLUENCIA MUNDIAL
Incluso cuando sus modelos han sido objeto de escrutinio por su exactitud e imparcialidad, los desarrolladores han iniciado nuevos proyectos con organismos de bienestar infantil en el condado de Northampton (Pensilvania) y en el condado de Arapahoe (Colorado). Los estados de California y Pensilvania, así como Nueva Zelanda y Chile, también les han pedido que realicen trabajos preliminares.
Y como en los últimos años se ha corrido la voz sobre sus métodos, Vaithianathan ha dado conferencias destacando las herramientas de detección en Colombia y Australia. También asesoró recientemente a investigadores de Dinamarca y a funcionarios de los Emiratos Árabes Unidos sobre cómo utilizar la tecnología para orientar los servicios a la infancia.
"Rhema es uno de los líderes mundiales y su investigación puede ayudar a dar forma al debate en Dinamarca", dijo un investigador danés en LinkedIn el año pasado, en relación con el papel asesor de Vaithianathan en relación con una herramienta local de bienestar infantil que se estaba poniendo a prueba.
El año pasado, el Departamento de Salud y Servicios Humanos de EE.UU. financió un estudio nacional, del que Vaithianathan y Putnam-Hornstein eran coautores, en el que se llegaba a la conclusión de que su planteamiento general en Allegheny podía servir de modelo para otros lugares.
Debra Johnson, portavoz de la Administración para la Infancia y la Familia del HHS, se negó a decir si la investigación del Departamento de Justicia influiría en el futuro apoyo de su agencia a un enfoque del bienestar infantil basado en la IA.
En un momento en que los presupuestos son cada vez más ajustados, los organismos con escasez de efectivo están desesperados por encontrar formas más eficientes para que los trabajadores sociales se centren en los niños que realmente necesitan protección. En una mesa redonda celebrada en 2021, Putnam-Hornstein reconoció que "la tasa global de detección se mantuvo totalmente estable" en Allegheny desde que se puso en marcha su herramienta.
Mientras tanto, el acogimiento familiar y la separación de las familias pueden tener consecuencias de por vida para el desarrollo del niño.
Un estudio del HHS de 2012 reveló que el 95% de los bebés que son denunciados a las agencias de bienestar infantil pasan por más de un cambio de cuidador y de hogar durante su estancia en acogida, una inestabilidad que, según los investigadores, puede ser en sí misma una forma de trauma.
La hija de los Hackney ya ha estado en dos hogares de acogida y ha pasado más de la mitad de su corta vida lejos de sus padres, mientras ellos intentan convencer a los trabajadores sociales de que son dignos.
Mientras tanto, dicen que se están quedando sin dinero en la lucha por su hija. Apenas les queda para comer con el sueldo que cobra Andrew Hackney en una tienda de comestibles local, y han tenido que cortar el servicio mensual de su teléfono móvil. Tienen dificultades para pagar los honorarios de los abogados y la gasolina necesaria para acudir a las citas que les exigen.
En febrero, a su hija le diagnosticaron un trastorno que puede alterar su sentido del gusto, según el abogado de Andrew Hackney, Robin Frank, quien añadió que la niña ha seguido luchando por comer, incluso en la casa de acogida.
Lo único que tienen por ahora son visitas dos veces por semana que duran unas horas antes de que se la vuelvan a llevar. A Lauren Hackney se le quiebra la voz cuando le preocupa que su hija pueda ser adoptada y olvidar pronto a su propia familia. Dicen que anhelan hacer lo que muchos padres dan por sentado: dormir a su hija por la noche en su propia cama.
"Tengo muchas ganas de recuperar a mi niña. La echo de menos, y sobre todo cogerla en brazos. Y, por supuesto, echo de menos esa risita risueña", dijo Andrew Hackney, mientras su hija saltaba hacia él emocionada durante una visita reciente. "Me duele mucho. No sabes cuánto".
