'Organisaties moeten voortaan nieuwe algoritmes toetsen op burgerrechten'

Dit is een expertquote van Mellouki Cadat-Lampe, senior onderzoeker en projectleider, Movisie.

U kunt dit bericht, of delen hiervan gebruiken op uw kanalen, met vermelding van de naam van de expert en organisatie. Aanleiding: Waakhond: laat organisaties algoritmes verantwoorden (2) | ANP

Organisaties die persoonsgegevens verwerken, moeten volgens de Autoriteit Persoonsgegevens (AP) verantwoording afleggen om burgers te beschermen tegen misbruik van algoritmes en AI. Discriminatie, kansenongelijkheid, misleiding en gebrek aan transparantie vormen ernstige bedreigingen voor mensenrechten, zoals recentelijk aan het licht kwam bij incidenten bij DUO en UWV. Monitoren op gebruik is belangrijk, maar het vooraf toetsen van organisaties en systemen op burgerrechten is cruciaal. Een gebrek aan bewustzijn en gedeelde normen kan leiden tot moeilijk te herstellen situaties, zoals het institutioneel racisme bij de Belastingdienst. De Toeslagenaffaire heeft verstrekkende negatieve gevolgen gehad voor de gedupeerden en het vertrouwen in de politiek.

Bij het aanpakken van misbruik van algoritmes en AI zijn 'wat werkt'-mechanismen cruciaal. Twee van deze mechanismen zijn het vestigen van sociale normen en het bevorderen van confrontatie en bewustwording. Een goed institutioneel voorbeeld dat de werking van deze mechanismen stimuleert, is het Implementatiekader voor de Inzet van Algoritmen (IKA). Het introduceert een verplichte mensenrechtentoets voor nieuwe algoritmen. Deze verplichting is ingesteld door de demissionaire staatssecretaris voor Digitalisering, Alexandra van Huffelen.

Het gebruik van datagedreven besluitvorming is een onontkoombaar maatschappelijk fenomeen. Terughoudendheid bij het gebruik ervan en voortvarendheid bij de 'wat werkt'-regulering ervan vanuit het perspectief van de mensenrechten, is dé manier voor burgers, organisaties en de (demissionaire) overheid om gezamenlijk hun verantwoordelijkheid te nemen.