Gemeenten gebruiken slimme algoritmes om fraude op te sporen, 'maar discriminatie ligt op de loer'

Zeker 25 gemeenten maken gebruik van voorspellende systemen, maar risicoprofilering is momenteel voer voor discussie. Het debat over de kindertoeslagenaffaire is daar een goed voorbeeld van. Daar bleek een dubbele nationaliteit te worden meegewogen bij het opstellen van risicoprofielen. Het profileringssysteem SyRI werd door een rechter afgewezen, omdat het niet transparant genoeg was en risico op discriminatie gaf.

Voor advocaat Anton Ekker is dat reden tot zorg. Hij procedeerde succesvol tegen dat systeem. "Het kabinet heeft plechtig beloofd dat er geen nieuwe toeslagenaffaire zal komen, maar het heeft geen goed beeld van wat gemeenten allemaal doen", zegt hij tegen de NOS.

Dat overheden en bedrijven algoritmen gebruiken, is niet nieuw. Vaak gaat dat gebruik om simpele processen, zoals het versturen van brieven of het registreren van hardrijders. Bij zeker 25 gemeenten worden burgers of regio's ingedeeld op profielen, omdat ze statistisch een grotere kans maken om fraudeur te zijn. In sommige gevallen gaat dit om pilots, maar in de meeste gevallen worden de systemen al in de praktijk gebruikt.

Utrecht is transparant over welke algoritmes er worden gebruikt, net zoals de gemeente Amsterdam dat ook doet. In een database is te lezen dat er een algoritme is dat de ontwikkeling van kinderen van nul tot vier jaar monitort. Er is er een die verklaart welke kenmerken van panden vaak samenhangen met het vervaardigen van drugs. Ook wordt op basis van rekenregels bepaald hoeveel bijstand een bepaalde inwoner moet krijgen.

Er zitten voordelen aan het gebruik van algoritmes. Zo zijn ze slimmer en sneller dan mensen en kunnen ze patronen herkennen die anders niet gezien zouden worden. Gemeenten zeggen dat burgers er beter van worden. Als voorbeeld is daar de schuldenproblematiek; algoritmes kunnen burgers die schulden opbouwen eerder opmerken, waardoor ze in een vroeg stadium geholpen kunnen worden.

Maar critici waarschuwen voor het risico op discriminatie. Slimme algoritmes worden vaak gevoed met observaties van mensen. Maar elk mens heeft vooroordelen, die daarmee onbewust in de algoritmes terecht kunnen komen.

Ook is er veel onduidelijkheid over de precieze werking van algoritmes en risicoprofilering. Dat is een probleem, zegt Marlies van Eck, gespecialiseerd in kunstmatige intelligentie tegen de NOS. "Als je in de echte wereld wordt gediscrimineerd, kun je dat instinctief aanvoelen. Maar als een algoritme dat doet, merk je dat misschien wel nooit."

Ook de namen van Utrechtse inwoners kunnen uit een algoritme boven komen drijven, zonder dat de persoon in kwestie dat ooit te weten komt. Volgens de gemeente is het niet zo dat er meteen een onderzoek volgt als dat gebeurt. De uitkomsten van algoritmes worden altijd beoordeeld door een medewerker van de gemeente die de data in context plaatst. Als het wel nodig is, wordt er actie ondernomen en wordt er contact gezocht met de burger.

Het kan dus best zijn dat er een naam 'uit de machine rolt' zonder dat die persoon dat weet. Op de vraag of de burger wordt ingelicht dat er vervolgonderzoek komt op zijn of haar naam, antwoordt de gemeente dat ze nog verkent hoe ze inwoners op de juiste manier kan informeren over hoe besluitvorming tot stand komt en welke rol het algoritme hierin speelt. Het is dus niet duidelijk of inwoners in een vroeg stadium al wordt verteld dat hun naam onderzocht wordt.

Amersfoort zet overigens algoritmes in om schoolverlaters op te sporen. De stad zet dergelijke systemen nog niet in om fraude te achterhalen, maar doet daar momenteel wel onderzoek naar. "Op dit moment verkennen we wel de wenselijkheid en mogelijkheden van het gebruik van algoritmes bij het opsoren van oneigenlijk gebruik van bijstand", aldus een woordvoerder.