Belastingdienst ging vooral achter lage inkomens aan
Om toeslagen te controleren op fouten en fraude gebruikte de Belastingdienst een zelflerend algoritme. Dat selecteerde vooral lage inkomens voor controle.
[Jan Kleinnijenhuis](https://www.trouw.nl/auteur/Jan%20Kleinnijenhuis)22 november 2021, 23:00
De Belastingdienst heeft jarenlang specifiek burgers met een laag inkomen geselecteerd voor extra controle op fraude met de kinderopvangtoeslag. Hogere inkomens werden juist bewust ontzien. Dat erkent de Belastingdienst in antwoorden op vragen van Trouw en RTL Nieuws over het zogeheten risicoclassificatiemodel van Toeslagen.
Het risicoclassificatiemodel werd vanaf april 2013 gebruikt om te bepalen welke aanvragen voor toeslagen extra controle zouden krijgen. In juli vorig jaar werd het uit de lucht gehaald, na een kritisch rapport van consultancybureau KPMG. Het gaat om een zelflerend algoritme, dat zelfstandig bepaalt welke indicatoren erop zouden kunnen wijzen dat bepaalde aanvragen voor toeslagen een verhoogde kans op fouten of fraude kennen. Alle aanvragen krijgen aan de hand van die indicatoren een zogeheten risicoscore toebedeeld. De aanvragen met de hoogste risicoscore worden vervolgens extra gecontroleerd.
Elf keer zoveel
De Belastingdienst erkent dat ‘in ieder geval sinds maart 2016′ het inkomen van mensen ‘met variabele grenswaarden’ werd gebruikt. In de praktijk betekent dit dat lage inkomens een hogere risicoscore kregen, hogere inkomens kregen juist een lagere risicoscore. Volgens de Belastingdienst bleek er ‘een statistisch verband tussen de hoogte van het inkomen en de kans op een (on)juiste aanvraag’.
De fiscus stelt dat het inkomen maar een klein gewicht had in de risicoselectie voor de kinderopvangtoeslag, omdat de hoogte van de toeslag vooral afhangt van het aantal kinderen dat naar de opvang gaat. Welke indicatoren precies gebruikt werden om de risicoscore te bepalen, en met welk gewicht, wil de Belastingdienst niet zeggen omdat het toezicht vertrouwelijk zou zijn.
In de praktijk bleek het model toch vooral lagere inkomens de hoogste risicoscore te geven, zo blijkt uit documenten die eerder zijn vrijgegeven. Van de duizend hoogste risicoscores had 82,3 procent een huishoudinkomen van minder dan 20.000 euro per jaar. Dat is ruim 11 keer zoveel als het gemiddelde: van alle aanvragen had slechts 7,3 procent een huishoudinkomen van minder dan 20.000 euro.
Alarmbellen
Experts op het gebied van verantwoorde toepassing van zelflerende algoritmes reageren ontzet op die uitkomst. “Hoe het model precies werkt, is op basis van openbare informatie niet na te gaan. Maar als de uitkomst zo inzoomt op een specifieke groep, in dit geval lage inkomens, dan moeten er alarmbellen afgaan bij de ambtenaren die met die modellen werken”, reageert Cynthia Liem, universitair hoofddocent op het gebied van Kunstmatige Intelligentie aan de Technische Universiteit Delft.
Volgens Liem wijst de enorme oververtegenwoordiging van lage inkomens op zogeheten selectiebias in het model. Kort gezegd: als het model vermoedt dat bij lagere inkomens meer kans is op fraude, worden vooral die aanvragen gecontroleerd. Dat leidt ertoe dat vooral aanvragen van lage inkomens worden gecorrigeerd. Omdat het model weer getraind wordt met die uitkomsten, wordt er steeds verder ingezoomd op lage inkomens.
Selectiebias
“Iedereen die iets weet van risicoselectie weet dat je alert moet zijn op selectiebias”, zegt Liem. Bijvoorbeeld door ook aselect aanvragen te controleren. Maar dat gebeurde niet bij Toeslagen, zo blijkt uit een zelfonderzoek van het model uit maart van dit jaar dat de Belastingdienst ter inzage gaf aan Trouw en RTL Nieuws. “Wij onderzoeken alleen de hoge scores en er is geen toezichtproces dat ook andere kenmerken onderzoekt”, schrijft de dienst over het risico dat er sprake is van selectiebias.
Eerder bleek al uit onderzoek van Trouw en RTL Nieuws dat de Belastingdienst ook een indicator gebruikte om te selecteren op het al dan niet hebben van de Nederlandse nationaliteit. Naar aanleiding van kritische rapporten over het gebruik daarvan door de Autoriteit Persoonsgegevens en Amnesty International, heeft Tweede Kamerlid Renske Leijten (SP) eind oktober al verzocht om het model openbaar te maken. Staatssecretaris Alexandra van Huffelen (Toeslagen) wil dat pas doen als ‘een zorgvuldige inhoudelijke reactie’ is voorbereid. Die zou eind volgende week naar de Tweede Kamer gaan, zo liet zij weten.
En de beerput gaat nog verder open…
Wat is nu eigenlijk de grondoorzaak van dit probleem?
-Te weinig technisch kennis waardoor ze niet snappen hoe zo’n algoritme werkt en dat er ongewenste selectiebiassen kunnen optreden?
-Een wereldbeeld van de belastingdienst enof politici en andere machthebbers waarin arme mensen niet te vertrouwen zijn en rijke mensen wel?
-Geen contact tussen medewerkers van de belastingdienst/ambtelijke top/politici en de gewone burger waardoor ze gewoonweg niet weten wat de gevolgen zijn?
Dit is precies waarom de overheid algoritmes weg moet houden van alles dat met selectie van burgers te maken heeft.
Tevens wel weer schrijnend om te zien hoe de belastingdienst weer als een dolle hond achter fraude door lage inkomens aangaat, want lekker makkelijk. Natuurlijk goed als alle fraudeurs gepakt worden, maar de focus ligt zo enorm op lage inkomens en de bijhorende toeslagen, dat een algoritme nooit zal leren welke fraude gepleegd wordt door mensen met hoge inkomens.
Ter enige verdediging: 10, 15 jaar geleden was nog veel minder bekend wat de effecten van machine learning zijn en hoe die ge-biased is afhankelijk van de aangeboden leer data set.
Die fout wordt nog immer gemaakt in elke demonstratie van AI.
Voor wat ik begrijp wist men op de werkvloer redelijk prima dat er iets mis ging, werd dat alleen niet gehoord en opgepikt door de baasjes die willen scoren.
Maar: al aan het begin is door de belastingdienst zelf gezegd: wij zijn geen uitkeringsinstantie. Dat kunnen wij niet goed. Dus wederom ligt het begin in de politiek.
We moeten toch de arme miljonairs ergens van subsidiëren?
Het is interessant en let op het woord “vooral”. De headline geeft wat misinformatie. Het is logisch want lagere inkomens hebben relatief het meest te verbergen, en denk aan cash genererende inkomens, dus zwart werken. Als je 100k per jaar opgeeft via je werkgever zul je je voornamelijk digitaal je inkomen ontvangen en relatief weinig “extra” te verbergen hebben. Digitaal valt er niets te verbergen voor de belastingdienst. Dat denk ik in ieder geval. Het targeten van bepaald inkomens groep is niet meer dan logisch gevolg van het algoritme.
No shit.
Moet eens ophouden met al die foutjes¨ die de belastingdienst maakt. Grote bedrijven keihard taxeren, verplichten om de bedrijfsstructuren goed in kaart te brengen anders betalen ze nog 2x zoveel.
8 comments
Waarom komt er elke keer weer meer boven water…
Belastingdienst ging vooral achter lage inkomens aan
Om toeslagen te controleren op fouten en fraude gebruikte de Belastingdienst een zelflerend algoritme. Dat selecteerde vooral lage inkomens voor controle.
[Jan Kleinnijenhuis](https://www.trouw.nl/auteur/Jan%20Kleinnijenhuis)22 november 2021, 23:00
De Belastingdienst heeft jarenlang specifiek burgers met een laag inkomen geselecteerd voor extra controle op fraude met de kinderopvangtoeslag. Hogere inkomens werden juist bewust ontzien. Dat erkent de Belastingdienst in antwoorden op vragen van Trouw en RTL Nieuws over het zogeheten risicoclassificatiemodel van Toeslagen.
Het risicoclassificatiemodel werd vanaf april 2013 gebruikt om te bepalen welke aanvragen voor toeslagen extra controle zouden krijgen. In juli vorig jaar werd het uit de lucht gehaald, na een kritisch rapport van consultancybureau KPMG. Het gaat om een zelflerend algoritme, dat zelfstandig bepaalt welke indicatoren erop zouden kunnen wijzen dat bepaalde aanvragen voor toeslagen een verhoogde kans op fouten of fraude kennen. Alle aanvragen krijgen aan de hand van die indicatoren een zogeheten risicoscore toebedeeld. De aanvragen met de hoogste risicoscore worden vervolgens extra gecontroleerd.
Elf keer zoveel
De Belastingdienst erkent dat ‘in ieder geval sinds maart 2016′ het inkomen van mensen ‘met variabele grenswaarden’ werd gebruikt. In de praktijk betekent dit dat lage inkomens een hogere risicoscore kregen, hogere inkomens kregen juist een lagere risicoscore. Volgens de Belastingdienst bleek er ‘een statistisch verband tussen de hoogte van het inkomen en de kans op een (on)juiste aanvraag’.
De fiscus stelt dat het inkomen maar een klein gewicht had in de risicoselectie voor de kinderopvangtoeslag, omdat de hoogte van de toeslag vooral afhangt van het aantal kinderen dat naar de opvang gaat. Welke indicatoren precies gebruikt werden om de risicoscore te bepalen, en met welk gewicht, wil de Belastingdienst niet zeggen omdat het toezicht vertrouwelijk zou zijn.
In de praktijk bleek het model toch vooral lagere inkomens de hoogste risicoscore te geven, zo blijkt uit documenten die eerder zijn vrijgegeven. Van de duizend hoogste risicoscores had 82,3 procent een huishoudinkomen van minder dan 20.000 euro per jaar. Dat is ruim 11 keer zoveel als het gemiddelde: van alle aanvragen had slechts 7,3 procent een huishoudinkomen van minder dan 20.000 euro.
Alarmbellen
Experts op het gebied van verantwoorde toepassing van zelflerende algoritmes reageren ontzet op die uitkomst. “Hoe het model precies werkt, is op basis van openbare informatie niet na te gaan. Maar als de uitkomst zo inzoomt op een specifieke groep, in dit geval lage inkomens, dan moeten er alarmbellen afgaan bij de ambtenaren die met die modellen werken”, reageert Cynthia Liem, universitair hoofddocent op het gebied van Kunstmatige Intelligentie aan de Technische Universiteit Delft.
Volgens Liem wijst de enorme oververtegenwoordiging van lage inkomens op zogeheten selectiebias in het model. Kort gezegd: als het model vermoedt dat bij lagere inkomens meer kans is op fraude, worden vooral die aanvragen gecontroleerd. Dat leidt ertoe dat vooral aanvragen van lage inkomens worden gecorrigeerd. Omdat het model weer getraind wordt met die uitkomsten, wordt er steeds verder ingezoomd op lage inkomens.
Selectiebias
“Iedereen die iets weet van risicoselectie weet dat je alert moet zijn op selectiebias”, zegt Liem. Bijvoorbeeld door ook aselect aanvragen te controleren. Maar dat gebeurde niet bij Toeslagen, zo blijkt uit een zelfonderzoek van het model uit maart van dit jaar dat de Belastingdienst ter inzage gaf aan Trouw en RTL Nieuws. “Wij onderzoeken alleen de hoge scores en er is geen toezichtproces dat ook andere kenmerken onderzoekt”, schrijft de dienst over het risico dat er sprake is van selectiebias.
Eerder bleek al uit onderzoek van Trouw en RTL Nieuws dat de Belastingdienst ook een indicator gebruikte om te selecteren op het al dan niet hebben van de Nederlandse nationaliteit. Naar aanleiding van kritische rapporten over het gebruik daarvan door de Autoriteit Persoonsgegevens en Amnesty International, heeft Tweede Kamerlid Renske Leijten (SP) eind oktober al verzocht om het model openbaar te maken. Staatssecretaris Alexandra van Huffelen (Toeslagen) wil dat pas doen als ‘een zorgvuldige inhoudelijke reactie’ is voorbereid. Die zou eind volgende week naar de Tweede Kamer gaan, zo liet zij weten.
En de beerput gaat nog verder open…
Wat is nu eigenlijk de grondoorzaak van dit probleem?
-Te weinig technisch kennis waardoor ze niet snappen hoe zo’n algoritme werkt en dat er ongewenste selectiebiassen kunnen optreden?
-Een wereldbeeld van de belastingdienst enof politici en andere machthebbers waarin arme mensen niet te vertrouwen zijn en rijke mensen wel?
-Geen contact tussen medewerkers van de belastingdienst/ambtelijke top/politici en de gewone burger waardoor ze gewoonweg niet weten wat de gevolgen zijn?
Dit is precies waarom de overheid algoritmes weg moet houden van alles dat met selectie van burgers te maken heeft.
Tevens wel weer schrijnend om te zien hoe de belastingdienst weer als een dolle hond achter fraude door lage inkomens aangaat, want lekker makkelijk. Natuurlijk goed als alle fraudeurs gepakt worden, maar de focus ligt zo enorm op lage inkomens en de bijhorende toeslagen, dat een algoritme nooit zal leren welke fraude gepleegd wordt door mensen met hoge inkomens.
Ter enige verdediging: 10, 15 jaar geleden was nog veel minder bekend wat de effecten van machine learning zijn en hoe die ge-biased is afhankelijk van de aangeboden leer data set.
Die fout wordt nog immer gemaakt in elke demonstratie van AI.
Voor wat ik begrijp wist men op de werkvloer redelijk prima dat er iets mis ging, werd dat alleen niet gehoord en opgepikt door de baasjes die willen scoren.
Maar: al aan het begin is door de belastingdienst zelf gezegd: wij zijn geen uitkeringsinstantie. Dat kunnen wij niet goed. Dus wederom ligt het begin in de politiek.
We moeten toch de arme miljonairs ergens van subsidiëren?
Het is interessant en let op het woord “vooral”. De headline geeft wat misinformatie. Het is logisch want lagere inkomens hebben relatief het meest te verbergen, en denk aan cash genererende inkomens, dus zwart werken. Als je 100k per jaar opgeeft via je werkgever zul je je voornamelijk digitaal je inkomen ontvangen en relatief weinig “extra” te verbergen hebben. Digitaal valt er niets te verbergen voor de belastingdienst. Dat denk ik in ieder geval. Het targeten van bepaald inkomens groep is niet meer dan logisch gevolg van het algoritme.
No shit.
Moet eens ophouden met al die foutjes¨ die de belastingdienst maakt. Grote bedrijven keihard taxeren, verplichten om de bedrijfsstructuren goed in kaart te brengen anders betalen ze nog 2x zoveel.
Overheid kan en doet niks goed.