Toen op een dag in augustus 2019 een 4-jarig meisje verdronk in hun zwembad bij Pittsburgh, stond het gezin al bekend om kinderwelzijn. Bij het Allegheny County Department of Human Services (DHS) waren tussen december 2017 en juli 2019 zes keer rapporten ingediend over "gebrek aan toezicht" in het tehuis, en vijf van die rapporten werden als "ongegrond" of "ongeldig" bestempeld, volgens een staatsdocument. De zesde oproep werd onderzocht en de kinderbescherming werd bij het gezin betrokken toen Ca-Niyah Mitchell zonder zwemvest in het zwembad gleed terwijl haar vader in hun huis was.
Charles Mitchell pleitte vorig jaar schuldig aan het in gevaar brengen van kinderen en kreeg voorwaardelijk. Dit is het horrorverhaal van de kinderbescherming, waar rode vlaggen werden genomen om te zien dat een kind in gevaar was, maar verkeerd werden geplaatst, uitgefilterd door de oproeper en op de stapel "ongegrond" gelegd.
Wanneer zich in Allegheny County ernstige gevallen van verwaarlozing en misbruik voordoen, "gaan we er met een fijne kam doorheen met tonnen en tonnen belanghebbenden, en heel vaak zie je deze gevallen waarin misbruik en verwaarlozing werden gemeld, en we verwerpen het," zei Erin Dalton, directeur van het departement van Human Services.
Dalton en zijn voorganger, Marc Cherna, wilden daar zes jaar geleden verandering in brengen en creëerden in samenwerking met ingenieurs in Nieuw-Zeeland een algoritme, of predictive analytics tool, om de persoon die die kritieke oproepen bekijkt te helpen bij het nemen van beslissingen. Het heeft zijn critici, maar Dalton blijft de grootste cheerleader van het algoritme.
De kritische oproep
Er is een kritiek moment in de kinderbescherming wanneer een telefonische beoordelaar een telefoontje krijgt van iemand die kinderverwaarlozing of -misbruik meldt. Er moet worden besloten of het onderzoek wordt voortgezet of dat de zaak wordt geseponeerd. Beoordelaars die naar de feiten van een zaak kijken en zelfs rekening houden met de familiegeschiedenis om de beslissing te onderbouwen, leunden in Allegheny County vaak in de verkeerde richting.
Uit een analyse van het DHS vijf jaar geleden bleek dat 27% van de kinderwelzijnszaken met een hoger risico werden gescreend en 48% van de zaken met een lager risico werden gescreend, aldus het DHS. "Eerst en vooral is het onze taak om kinderen veilig te houden," zei Dalton. De provincie besloot zich te wenden tot gegevens die zij sinds 1998 over gezinnen in de provincie had verzameld.
De beoordelaars van het DHS hadden die informatie gebruikt om hun beslissingen te onderbouwen op het kritieke moment om een geval van misbruik of verwaarlozing over te brengen naar een onderzoek of te seponeren. Het was echter veel informatie en de beoordelaars hadden maar weinig tijd om alles te bekijken, aldus Dalton.
DHS besloot dat de informatie geautomatiseerd kon worden. Een partnerschap met de Auckland University of Technology leidde tot het Allegheny Family Assessment Tool, dat een nummer toekent aan een kind op basis van gegevens die in het systeem zijn ingevoerd. De gegevens zijn afkomstig van openbaar beschikbare gegevens.
Het algoritme kent een nummer toe aan het kind en voorspelt de waarschijnlijkheid dat het gezin zal worden terugverwezen naar het DHS. Hoe hoger het getal, hoe groter de kans dat het gebeurt. "Het is gewoon dat mensen hier niet goed in zijn. Ze hebben hun eigen vooroordelen. Dus een instrument als dit, dat kan helpen dat soort informatie te verstrekken aan echt getalenteerde medewerkers, verandert echt alles," zei Dalton.
Herstellen wat kapot is
"Ik werd 25 jaar geleden aangenomen om kinderwelzijn op te lossen. We stonden bekend als een nationale schande," schreef Marc Cherna vorig jaar aan zijn collega's toen hij zijn pensioen aankondigde als hoofd van het Allegheny County Department of Human Services. Toen hij de afdeling overnam, werden er in Allegheny County schrikbarend veel kinderen uit huis gehaald en in pleeggezinnen geplaatst, en Cherna probeerde daar verandering in te brengen.
"Ze ging niet ver genoeg (om het systeem te repareren), en dan denkt ze dat we nog steeds niet alle horrorverhalen vinden, dus zullen we het algoritme gebruiken," zei Richard Wexler, uitvoerend directeur van de Nationale Coalitie voor Hervorming van de Kinderbescherming. Wexler en andere critici van het algoritme menen dat het zijn eigen vooroordelen in zich draagt en meer kinderen uit huis duwt omdat ze arm zijn, niet omdat ze gevaar lopen.
"Als dit zo'n goede zaak is, waarom zijn de mensen die er het meest enthousiast over zijn dan over het algemeen de mensen wier verklaringen of staat van dienst een sterke neiging laten zien om kinderen (uit huis) te halen? Als dit echt een manier is om gezinnen te behouden, waarom leidt de beweging voor gezinsbehoud dan niet de aanval? Waarom leidt de raciale rechtvaardigheidsbeweging niet de aanval in plaats van te zeggen, hé, we weten wat er in het strafrecht is gebeurd, waarom denken we dat het in de kinderzorg anders zal zijn? "zei hij.
"Je maakt gezinnen kapot. U traumatiseert kinderen emotioneel en stelt kinderen in pleeggezinnen bloot aan veel misbruik en tegelijkertijd maakt u het moeilijker om die paar kinderen te vinden die echt gered moeten worden. ... De verkeerde verwijdering creëert alle problemen," zei Wexler.
Hoe zit het met algoritmen?
Een van de problemen met algoritmen in het algemeen zijn de gegevens die worden gebruikt om ze te voeden, aldus Nicol Turner-Lee, directeur van het Center for Technology Innovation en senior fellow voor governance studies aan het Brookings Institution: "Ten eerste discrimineren computers niet; dat doen mensen. De mensen achter deze modellen kunnen expliciete en impliciete vooroordelen hebben die in het model zijn ingebouwd," zei ze.
De gegevens die voor de algoritmen worden gebruikt, zijn voornamelijk openbare gegevens, dus een arm gezin dat gebruik maakt van overheidsdiensten voor voedsel, huisvesting, drugs- en alcoholadvies en geestelijke gezondheidszorg zal over veel meer gegevens in de openbare sfeer beschikken dan een rijker gezin dat voor advies en behandeling een particuliere verzekering gebruikt. "De informatietechnologie die geïmplementeerd wordt, neemt het gezicht van die gemeenschappen aan, dus, helaas, het kan naar elk algoritme kijken, zoals een strafrechtelijk algoritme, en pikt de historische erfenis op die onderzocht wordt in onrechtvaardige systemen," zei Turner-Lee.
"Ik heb een grote belangstelling gehad voor niet alleen het aanpakken van het outputgedeelte van de problemen, namelijk de uiteindelijke voorspelling, die een onevenredig grote impact kan hebben op kwetsbare bevolkingsgroepen, maar ik ben ook geïnteresseerd geweest in het ontwerp en de evaluatie van deze producten. Wie zitten er aan tafel, hoe worden ze gevormd, welke vragen proberen ze op te lossen, wat proberen ze op te lossen? En of ze al dan niet worden gevraagd vanuit een divers perspectief," zei ze.
Politicoloog en auteur Virginia Eubanks schreef een boek over voorspellende algoritmen. Het artikel heet "Automating Inequality: How High-Tech Tools Profile, Monitor, and Punish the Poor" en beschrijft de problemen van deze voorspellende instrumenten op drie plaatsen, waaronder Allegheny County en zijn gezinsbeoordelingsinstrument.
"Het geloof dat big data, algoritmische besluitvorming en voorspellende analyses onze neteligste sociale problemen - armoede, dakloosheid en geweld - kunnen oplossen, resoneert diep met onze overtuigingen als cultuur. Maar dat vertrouwen is misplaatst," schreef Eubanks in een artikel in het tijdschrift Wired. Deze hoge verwachtingen zijn gebaseerd op de vooronderstelling dat digitale besluitvorming inherent transparanter, verantwoordelijker en eerlijker is dan menselijke besluitvorming. Maar, zoals datawetenschapper Cathy O'Neil heeft geschreven, "modellen zijn meningen ingebed in wiskunde".
Zij vervolgt: "Allegheny County heeft een buitengewone hoeveelheid gegevens over het gebruik van openbare programma's. Maar de provincie heeft geen toegang tot gegevens over mensen die geen gebruik maken van openbare diensten. Ouders die toegang hebben tot particuliere drugsbehandeling, geestelijke gezondheidszorg of financiële steun zijn niet vertegenwoordigd in de DHS-gegevens. Omdat variabelen die hun gedrag beschrijven niet zijn gedefinieerd of opgenomen in de regressie, worden cruciale stukjes van de kindermishandelingspuzzel in de AFST weggelaten.
Verminderen van raciale verschillen om kinderen te beschermen
De Universiteit van Pittsburgh biedt onderdak aan een werkgroep die zich buigt over algoritmen die worden gebruikt door overheidsinstanties, waaronder de Allegheny family assessment tool, aangezien het gebruik van algoritmen steeds gebruikelijker wordt.
"Bij het nadenken over dat systeem en andere, had ik dit soort kader in mijn gedachten, wat vervangt het? Wat was de erfenis, het menselijke besluitvormingsproces? Biedt dit enig voordeel? En voor het screeningsinstrument heeft de provincie enkele gegevens laten zien dat het de raciale verschillen heeft verminderd. We willen dat in een systeem als dit," zei Chris Deluzio, die deel uitmaakt van die task force en beleidsdirecteur is van het Pitt Institute for Cyber Law, Policy and Security.
De task force werkt momenteel aan een verslag over het algoritme voor kinderwelzijn, dat dit jaar zal worden gepubliceerd. In een onafhankelijke ethische analyse van het instrument hebben twee professoren "geconcludeerd dat het instrument ethisch gepast is, met name omdat de nauwkeurigheid ervan groter was dan de alternatieven op dat moment en er ethische bezwaren zouden zijn als de nauwkeuriger maatstaf niet wordt gebruikt", aldus Allegheny County DHS.
Ook de staat steunt het instrument: "Het Department of Human Services steunt de inspanningen van Allegheny County om kinderen te beschermen en gezinnen te versterken. Het DHS heeft enkele eerste stappen ondernomen om voorspellende risicomodellen te onderzoeken, maar er zijn geen onmiddellijke plannen om een model voor de hele staat te ontwikkelen," zei woordvoerster Erin James.
