Cuando una niña de 4 años se ahogó en su piscina cerca de Pittsburgh un día de agosto de 2019, la familia ya era conocida por el bienestar infantil. Los informes de "falta de supervisión" en el hogar se habían presentado al Departamento de Servicios Humanos (DHS) del condado de Allegheny seis veces entre diciembre de 2017 y julio de 2019, y cinco de esos informes fueron etiquetados como "infundados" o "inválidos", según un documento estatal. La sexta llamada fue investigada y el bienestar infantil estaba involucrado con la familia cuando Ca-Niyah Mitchell se deslizó a la piscina sin chaleco salvavidas mientras su padre estaba dentro de su casa.
Charles Mitchell se declaró culpable de poner en peligro a un menor el año pasado y recibió libertad condicional. Esta es la historia de horror del bienestar infantil, donde se tomaron las señales de alerta para ver que un niño estaba en peligro, pero fueron extraviados, filtrados por la persona que tomó la llamada y colocados en la pila de “infundados”.
Cuando ocurren casos graves de negligencia y abuso en el condado de Allegheny, “los revisamos con un peine de dientes finos con toneladas y toneladas de partes interesadas, y muy a menudo ves estos casos en los que hubo un llamado por abuso y negligencia, y nosotros lo descartamos”, dijo Erin Dalton, directora del Departamento de Servicios Humanos del condado.
Dalton y su predecesor, Marc Cherna, se propusieron cambiar eso hace seis años y, trabajando con ingenieros en Nueva Zelanda, crearon un algoritmo, o herramienta de análisis predictivo, para ayudar a la persona que está revisando esas llamadas críticas en la toma de decisiones. Tiene sus críticos, pero Dalton sigue siendo la mayor animadora del algoritmo.
La llamada crítica
Hay un momento crítico en el bienestar infantil que ocurre cuando un evaluador telefónico recibe una llamada de alguien que informa sobre negligencia o abuso infantil. Se debe tomar la decisión de proceder con una investigación o dejar el caso a un lado. Los evaluadores que observaban los hechos de un caso, incluso teniendo en cuenta los antecedentes familiares para informar la decisión, a menudo se inclinaban en la dirección equivocada en el condado de Allegheny.
Un análisis del DHS del condado hace cinco años encontró que el 27% de los casos de bienestar infantil de mayor riesgo estaban siendo examinados y el 48% de los casos de menor riesgo estaban siendo examinados, según el DHS. “En primer lugar, nuestro trabajo es mantener seguros a los niños”, dijo Dalton. El condado decidió recurrir a los datos que había estado recopilando sobre las familias del condado desde 1998.
Los evaluadores del DHS habían estado usando esa información para informar sus decisiones en el momento crítico de trasladar un caso de abuso o negligencia a una investigación o descartarlo. Sin embargo, era mucha información y los evaluadores tenían un tiempo limitado para examinarlo todo, dijo Dalton.
El DHS decidió que la información podría automatizarse. Una asociación con la Universidad Tecnológica de Auckland dio lugar a la herramienta de evaluación familiar Allegheny, que asigna un número a un niño en función de los datos introducidos en el sistema. Los datos provienen de registros disponibles públicamente.
El algoritmo asigna un número al niño, prediciendo la probabilidad de que la familia sea referida nuevamente al DHS. Cuanto mayor sea el número, es más probable que suceda. “Es solo que los humanos simplemente no son buenos en esto. Tienen sus propios prejuicios. Por eso, tener una herramienta como esta que puede ayudar a proporcionar ese tipo de información al personal realmente talentoso realmente lo cambia todo ”, dijo Dalton.
Arreglando lo que está roto
“Me contrataron hace 25 años para arreglar el bienestar infantil. Éramos conocidos como una vergüenza nacional”, escribió Marc Cherna a sus colegas el año pasado cuando anunció su retiro como jefe del Departamento de Servicios Humanos del condado de Allegheny. Cuando se hizo cargo del departamento, los niños estaban siendo sacados de sus hogares y colocados en hogares de acogida a tasas alarmantemente altas en el condado de Allegheny, y Cherna trató de cambiar eso.
"No fue lo suficientemente lejos (para arreglar el sistema), y luego cree que todavía no estamos encontrando todos los casos de historias de terror, así que usaremos el algoritmo", dijo Richard Wexler, director ejecutivo de National Coalición para la reforma de la protección infantil. Wexler y otros críticos del algoritmo creen que conlleva sus propios prejuicios y empuja a más niños a salir de sus hogares porque son pobres, no porque estén en peligro.
“Si esto es tan bueno, ¿por qué, en general, las personas que están más entusiasmadas son las personas cuyas declaraciones o antecedentes muestran una fuerte propensión a llevarse a los niños (de sus hogares)? Si esta es realmente una forma de preservar a las familias, ¿por qué el movimiento de preservación de la familia no está liderando la carga por esto? ¿Por qué el movimiento de justicia racial no está liderando la acusación en lugar de decir: Oye, sabemos lo que sucedió en la justicia penal, por qué creemos que va a ser diferente en el bienestar infantil? ”. él dijo.
“Estás destruyendo familias. Está traumatizando emocionalmente a los niños y exponiendo a los niños a altas tasas de abuso en hogares de crianza y, al mismo tiempo, está dificultando la búsqueda de esos pocos niños que realmente necesitan ser salvados. … La eliminación incorrecta genera todos los problemas”, dijo Wexler.
¿Qué pasa con los algoritmos?
Uno de los problemas con los algoritmos, en general, son los datos que se utilizan para alimentarlos, según Nicol Turner-Lee, directora del Centro de Innovación Tecnológica e investigadora principal de estudios de gobernanza de la Brookings Institution, "En primer lugar, las computadoras no discriminan; la gente lo hace. Las personas detrás de estos modelos pueden tener prejuicios explícitos e implícitos que se incorporan al modelo”, dijo.
Los datos que se utilizan para los algoritmos son principalmente datos públicos, por lo que la familia pobre que utiliza los servicios gubernamentales de alimentación, vivienda, asesoramiento sobre drogas y alcohol y tratamiento de salud mental tendrá muchos más datos en la esfera pública que una familia más rica que utiliza un seguro privado para asesoramiento y tratamiento. "La tecnología informática que se implementa adopta el rostro de esas comunidades, por lo que, desafortunadamente, puede ver cualquier algoritmo, como un algoritmo de justicia penal, y recoge el legado histórico que se examina en sistemas injustos", dijo Turner-Lee.
“He tenido un gran interés no solo en abordar la parte de salida de los problemas, que es la predicción definitiva, que puede tener un impacto desproporcionado en las poblaciones vulnerables, sino que también me ha interesado el diseño y la evaluación de Estos productos. ¿Quién está en la mesa? ¿Cómo se forman? ¿Qué preguntas intentan resolver? Y si se están haciendo o no desde una perspectiva diversa ”, dijo.
La politóloga y autora Virginia Eubanks escribió un libro sobre algoritmos predictivos. Llamada "Automatización de la desigualdad: cómo las herramientas de alta tecnología perfilan, vigilan y castigan a los pobres", narra los problemas de estas herramientas predictivas en tres lugares, uno de ellos en el condado de Allegheny y su herramienta de evaluación familiar.
“La fe en que los macrodatos, la toma de decisiones algorítmica y el análisis predictivo pueden resolver nuestros problemas sociales más espinosos (pobreza, falta de vivienda y violencia) resuena profundamente con nuestras creencias como cultura. Pero esa fe está fuera de lugar ", escribió Eubanks en un artículo de la revista Wired." Estas grandes esperanzas se basan en la premisa de que la toma de decisiones digital es inherentemente más transparente, responsable y justa que la toma de decisiones humana. Pero, como ha escrito la científica de datos Cathy O'Neil, 'los modelos son opiniones incrustadas en las matemáticas' ''.
Ella continúa diciendo: "El condado de Allegheny tiene una cantidad extraordinaria de información sobre el uso de programas públicos. Pero el condado no tiene acceso a datos sobre personas que no usan servicios públicos. Los padres que acceden a tratamientos privados de drogas, consejería de salud mental o el apoyo financiero no está representado en los datos del DHS. Debido a que las variables que describen su comportamiento no se han definido o incluido en la regresión, las piezas cruciales del rompecabezas del maltrato infantil se omiten del AFST ".
Reducir las disparidades raciales para proteger a los niños
La Universidad de Pittsburgh alberga un grupo de trabajo que analiza los algoritmos que utilizan las agencias gubernamentales, incluida la herramienta de evaluación familiar Allegheny, ya que el uso de algoritmos se está volviendo más común.
“Al pensar en ese sistema y otros, he tenido este tipo de encuadre en mi mente, ¿qué es lo que está reemplazando? ¿Cuál fue el legado, el proceso humano de toma de decisiones? ¿Esto ofrece algún beneficio? Y para la herramienta de detección, el condado ha mostrado algunos datos de que ha reducido las disparidades raciales. Queremos eso en un sistema como este ”, dijo Chris Deluzio, quien trabaja en ese grupo de trabajo y es el director de políticas del Instituto Pitt de Derecho, Políticas y Seguridad Cibernéticas.
El grupo de trabajo está trabajando actualmente en un informe sobre el algoritmo de bienestar infantil, que se publicará este año. En un análisis ético independiente de la herramienta, dos profesores "concluyeron que la herramienta es éticamente apropiada, particularmente porque su precisión excedió las alternativas en ese momento y habría problemas éticos si no se utiliza la medida más precisa", según el DHS del condado de Allegheny.
El estado también respalda la herramienta: "El Departamento de Servicios Humanos apoya los esfuerzos del condado de Allegheny para proteger a los niños y fortalecer a las familias. El DHS ha tomado algunos pasos iniciales para investigar modelos de riesgo predictivo, pero no hay planes inmediatos para desarrollar un modelo a nivel estatal". dijo la portavoz Erin James.
