Artificial Intelligence Impact Assessment

Artificiële Intelligentie (AI) zorgt voor nieuwe kansen maar ook nieuwe risico’s, en de invoering van AI moet daarom zorgvuldig gebeuren. De AI impact assessment is de manier om AI-risico’s vooraf af te dekken. ICT Institute heeft een team van onafhankelijke experts om deze impact assessments uit te voeren.

Waarom een AI Impact Assessment

Veel organisaties doen nu onderzoek naar de inzet van AI. De inzet van AI heeft namelijk veel voordelen. Mogelijke voordelen zijn: besluiten kunnen sneller worden gemaakt, advies kan persoonlijk worden gemaakt, dienstverlening kan nog beter op de klant worden afgestemd en fraude kan sneller worden ontdekt. Als de toepassing van AI mis gaat, zijn de gevolgen echter groot. Hieronder zijn enkele recente voorbeelden gegeven van de impact die een niet werkend IT-systeem of AI-systeem kan hebben.

1. In een onderzoek uit 2017 naar gender bias bleek dat software voor gezichtsherkenning racistisch en ook seksistisch is: donkere mannen en vrouwen worden niet goed herkend omdat de software ontwikkeld is door- en getest is op blanke mannen.
2. De recruiting software van Amazon bleek vrouwen te discrimineren: vrouwen werden veel minder vaak uitgenodigd dan mannen met dezelfde kwalificaties.
3. De chatbot Tay van Microsoft moest in 2016 offline worden gehaald omdat deze extreem racistisch bleek. De chatbot leerde door interactie met gebruikers, en blijkbaar vonden veel gebruikers het interessant om de robot allerlei racistische ideeën te leren.
4. Meer dan 500 mensen in de Verenigde Staten zijn hun huis kwijtgeraakt, doordat een IT-systeem van Wells-Fargo onterecht de hypotheek niet wilde verlengen.

Het ECP, een Nederlands platform voor de informatie-samenleving heeft daarom met een aantal experts (waaronder Dr. Stefan Leijnen van ICT Institute) een assessment ontwikkeld die ervoor moet zorgen dat AI verantwoord wordt ingevoerd (een verslag van de lanceringsbijeenkomst staat op Frankwatching). Deze AI Impact Assessment (afgekort AIIA) is afgelopen november gelanceerd. Het is een korte toets die tijdens een project door een aantal onafhankelijke experts wordt uitgevoerd. De uitkomst is advies voor een verantwoorde invoering.

De stappen van een AI impact assessment

In het handboek staan acht stappen beschreven voor uitvoering van de AIIA.

1. Bepaal de noodzaak voor het doen van een AIIA
2. Beschrijf de AI-toepassing
3. Beschrijf de baten van de AI-toepassing
4. Is het doel en de wijze waarop het doel wordt bereikt ethisch en juridisch verantwoord?
5. Is de toepassing betrouwbaar, veilig en transparant?
6. Afweging en beoordeling
7. Vastlegging en verantwoording
8. Evalueer periodiek

Moet een AIIA?

De AIIA lijkt op de data protection impact assessment (DPIA). De DPIA is vastgelegd in de AVG en dus verplicht voor bepaalde projecten (projecten waar persoonsgegevens in spelen, nieuwe technologie en als er verhoogde privacy-risico’s zijn). De AIIA is optioneel en kan vooraf of tegelijkertijd met de DPIA worden uitgevoerd. Het voordeel van een aparte AIIA is dat er dieper gekeken kan worden naar AI-specifieke risico’s. Denk hierbij aan:

1. Het gebruik van black box algoritmes (algoritmes waarbij de uitkomsten niet verklaarbaar zijn)
2. Overfitting, bias en andere problemen van zelflerende systemen
3. Ethische afwegingen die systemen moeten maken
4. Systemen die verder leren nadat ze zijn ingevoerd
5. Het gebruik van vertrouwelijke gegevens en algoritmes

Er wordt bij een AIIA breder gekeken dan alleen de techniek zelf: het gaat ook om de juiste planning, communicatie, inspraak, evaluatie, beveiliging en privacy. Het doel is een verantwoorde invoering.

Hoe te beginnen

De handleiding voor het doen van een AIIA is vrij verkrijgbaar via ECP. Een team van ervaren auditors en AI experts kan met deze handleiding een AIIA in enkele dagen tot weken uitvoeren. De leider van het team stelt vervolgens een onderzoeksplan op (interviews met betrokkenen, eventueel dataverzameling en metingen). Als u zelf een team beschikbaar heeft kunt u dit intern doen. Als u expertise te kort komt, dan helpen wij graag: we kunnen aanvullende expertise leveren (bijvoorbeeld een AI-expert) of de AIIA van u overnemen.

De AIIA wordt in principe gedaan voor de organisatie die het AI-systeem invoert, het rapport gaat alleen naar de opdrachtgever. Deze kan vervolgens kiezen wat te doen: het systeem verbeteren op basis van advies, de aanpak veranderen en eventueel ook het rapport delen met gebruikers om te zorgen voor transparantie.

Beschikbare expertise

De volgende mensen verbonden aan ICT Institute zijn beschikbaar voor de uitvoering van AI impact assessments:

• Dr. Sieuwert van Otterloo – Sieuwert is gepromoveerd AI-deskundige, erkend onafhankelijk IT-deskundige (NVBI en LRGD) en heeft veel ervaring met reviews en advies.
• Dr. Stefan Leijnen – Stefan is gepromoveerd AI-deskundige, doet onderzoek naar computers en creativiteit en heeft ook veel ervaring met reviews en advies. Hij heeft meegewerkt aan het AI Impact Assessment handboek
• Dr. Joost Schalken-Pinkster – Joost Schalken-Pinkster is gepromoveerd AI-deskundige, ISACA-gecertificeerd auditor en heeft veel ervaring met reviews en advies.
• Joost Krapels MSc. – Joost Krapels is privacy-deskundige en consultant bij ICT Institute en heeft een achtergrond in AI.
• Mr. ing Nico M. Keijser CDPO – Nico is erkend onafhankelijk IT-deskundige (NVBI en LRGD) en ook privacy-expert. Hij wordt vaak gevraagd voor onafhankelijk onderzoek.
• Drs. Chris Barbiers RE RA – Chris is een register IT-auditor en heeft zeer veel ervaring in het toetsen van IT-systemen.
• Chris van Aart MSc. – Chris van Aart is expert op het gebied van ontwerpen en uitvoeren van datagedrevene IT-toepassingen.

Bron afbeeldingen: beeldcitaten uit het handboek Artificial Intelligence Impact Assessment van ECP