Vanaf volgend jaar een verbod op menselijke besluitvorming

Vanaf 1 April 2023 wordt het in Nederland verboden om belangrijke besluiten door mensen te laten nemen. Uit AI-onderzoek blijkt dat besluiten waar mensen bij betrokken zijn (‘Human in the loop’) niet transparant, slecht uitlegbaar en discriminerend zijn. Dit mag niet van artikel 5 van de AVG, en daarom wordt dit verboden.

Fouten vaak gemaakt door mensen

Er is de afgelopen jaren veel onderzoek gedaan naar de gevaren van AI: denk aan ongelukken met zelfrijdende auto’s, discriminatie bij sollicitaties, hogere verzekeringspremies bij mannen en zelfs de toeslagenaffaire. Uit elk onderzoek blijkt dat de computers en algoritmes niets te verwijten valt. Het zijn de mensen die niet goed opletten, niet-relevante aspecten als afkomst meenemen, of de verkeerde data invoeren. Ook is niet alle discriminatie onterecht: mannen blijken ook vaker te hard te rijden dan vrouwen. Voor de kwaliteit van de besluiten zou het daarom beter zijn om algoritmes te gebruiken. Ook het toezicht op algoritmes kan beter worden ge-automatiseerd: computers zijn beter in het controleren van uitkomsten en snel ingrijpen.

Uitlegbaarheid en transparantie

Sinds de komst van de AVG is het een wettelijke eis dat besluiten met persoonsgegevens eerlijk (‘fair’) en transparant worden genomen. De Autoriteit Persoonsgegevens controleert hier streng op en mag ook hoge boetes uitdelen. “We zien dat met name mensen slecht zijn in uitleg en transparantie”, heeft een woordvoerder van de Aleid Wolfsen laten weten. “Menselijke besluiten worden vaak niet onderbouwd, zijn niet herhaalbaar en vaak ook traag. Dit druist in tegen de principes van de AVG. Zolang dit niet verbetert, mogen bedrijven geen belangrijke besluiten door mensen alleen laten namen. Er moet sprake zijn van een computer in de loop, en de mogelijkheid om bezwaar te maken tegen menselijke besluiten”.

Impact op sectoren

Voor de zorgsector is dit een belangrijke verandering. In een ziekenhuis in Zuid-Holland is het principe van uitlegbaarheid bijvoorbeeld jarenlang niet gehandhaafd: “Dokters geven geen uitleg over hun besluiten of doen dit in vakjargon. De schriftelijke uitleg is vaak in een onleesbaar handschrift”, aldus een bron die alleen per email wilde reageren. Menselijke dokters zijn hier jaren mee weggekomen vanwege onbekendheid met AI en algoritmes. Dankzij de AVG en ook de komende AI-wetgeving is de discussie over uitlegbaarheid in een stroomversnelling gekomen. “Patiënten eisen onderbouwing en uitleg, en willen inzage in de input en wijze van berekening. Met alleen mensen lukt dit niet” aldus de bron.

Voor de financiële sector verandert er weinig: “Alle belangrijke processen zijn reeds geautomatiseerd” aldus een chatbot van de ING. “De snelheid van handelen vraagt bij banken om automatisering. Veel banen zijn al zo ver geautomatiseerd dat onze medewerkers erbij zitten maar niets hoeven te doen: Klantgesprekken worden door chatbots gevoerd, betalingen door algoritmes bepaald en de data protection officer is een neuraal netwerk. “

Bron afbeelding: Marcus Spiske via unsplash