Nieuw onderzoek ‘Robotreporter’ voor transparant gebruik AI

In september 2020 zijn de Hogeschool Utrecht en ICT Institute gestart met een nieuw onderzoeksproject genaamd ‘robotreporter’. In dit project wordt een systeem ontwikkeld dat met behulp van AI nieuwsberichten schrijft. Met dit systeem kan iedereen die dat wil zelf ervaring opdoen hoe een AI systeem werkt en wat AI precies is. Het systeem is ontwikkeld door Sieuwert van Otterloo en Stan Meyberg. Het systeem is ontwikkeld volgens de nieuwste richtlijnen voor verantwoord gebruik AI. Deze worden hieronder uitgelegd.

Wat is generatieve AI?

Generatieve AI is het inzetten van kunstmatige intelligentie om tekst, beeld of geluid te maken. Het systeem maakt dus informatie aan die er eerst niet was. Er zijn verschillende technieken en toepassingen die men kan doen. Zo kan men bijvoorbeeld neurale netwerken inzetten om nieuwe foto’ te maken uit bestaande foto’s. Een bekend voorbeeld is ‘style transfer’: het maken van een nieuwe afbeelding in de stijl van een bestaande afbeelding. Onderstaande afbeeldingen zijn gemaakt met behulp van neurale netwerken, zoals uitgelegd in dit webinar.

Ook is er veel aandacht voor tekstmodellen die teksten kunnen schrijven. GTP3 is een in 2020 gepubliceerd model dat met zoveel data gevoed is, dat het onverwacht goede teksten kan maken die vaak nog kloppen en goed advies bevatten.  Dit artikel in The Guardian vrijwel geheel door  GTP3 geschreven. Een andere leuke toepassing is ‘This cat does not exist’ (https://www.thiscatdoesnotexist.com). Hier maakt een neuraal netwerk nieuwe plaatjes aan van katten.

Deze generatieve AI-systemen zijn artistiek interessant maar niet praktisch toepasbaar. Dit komt doordat het systeem willekeurige output maakt die weliswaar artistiek is, maar die niet noodzakelijk kloppend of nuttig is. De praktische toepassingen van generatieve AI zijn hierdoor nog beperkt. Veel AI-systemen zijn vooral beslissend of beslissing-ondersteunend. Het is echter de verwachting dat generatieve AI veel meer zal worden toegepast, nu computers steeds beter in staat worden om grote hoeveelheden data te beheren.

De inzet ven generatieve AI zal veel ethische en praktische vragen oproepen. Hoe maak je duidelijke dat iets door of met AI gemaakt is. Kun je de resultaten vertrouwen. Hoe leg je uit hoe het werkt. Om hier op voorbereid te zijn, hebben we een generatief AI demonstratiesysteem gemaakt. In dit project is een eenvoudiger model gemaakt waarin artikelen gegenereerd worden uit observaties op data. De input van het systeem zijn dus kloppende observaties. Het systeem moet er goed leesbare, interessante artikelen van maken. Het systeem is als demonstratie toegepast op beursberichten, maar zou mogelijk ook voor andere domeinen in de media gebruikt kunnen worden (sportverslagen, kijkcijfers, filmbeoordelingen, samenvatten van verkiezingen, etc).

Projectplanning

De robotreporter wordt ontwikkeld van september 2020 tot en met januari 2021. De software-ontwikkeling zelf wordt door Stan Meyberg gedaan als een stage-project vanuit zijn opleiding aan de Hogeschool Utrecht. Dr. Sieuwert van Otterloo begeleidt dit als product owner, zowel vanuit ICT Institute en vanuit het lectoraat Artificial Intelligence aan de Hogeschool Utrecht. Vanuit dit lectoraat worden er AI-principes en bouwstenen aangedragen die in dit systeem worden toegepast. Stan Meyberg is als software-ontwikkelaar ervoor verantwoordelijk dat er een werkend systeem wordt opgeleverd. Dit wordt gedaan in een scrum-ontwikkelproces. Elke week worden er verbeteringen aangebracht.  ICT Institute wil dit systeem gaan gebruiken voor demonstraties wat AI is.
De ontwikkeling van deze versie is gericht op AMX-aandelen. Het systeem gebruikt de dagelijkse koersen van alle aandelen in de AMX-index.

Bij voldoende belangstelling kunnen er nieuwe versies gelanceerd worden op nieuwe informatiebronnen. Als er tijd over is zullen we de AI ook trainen om de beurskoers te voorspellen.

Ontwerpprincipes voor transparantie

Een groot probleem bij de inzet van AI-systemen is dat de inzet niet altijd transparant is: er is bij alle betrokkenen weinig inzicht hoe het systeem tot uitkomsten komt. Hierdoor is er ook geen idee of de antwoorden juist zijn, wat de gebruikte aannames zijn en is er uiteindelijk weinig tot geen vertrouwen in het systeem. Om dit te voorkomen moet men bewust het systeem transparant maken. De volgende lijst geeft ontwerp-principes weer die leiden tot ’transparency by design’.

1. Beschikbaarheid van het systeem zelf. De robotreporter kan door iedereen geraadpleegd worden op robotreporter.nl. Iedereen kan een lees-account aanvragen en zo de resultaten bekijken. Op verzoek geven we mensen extra rechten waarmee men zelf artikelen kan maken. Helaas zijn veel AI-systemen afgeschermd en kunnen niet direct worden gebruikt. Dit helpt niet bij transparante inzet van AI.
2. Beschikbaarheid van de broncode. Om zeker te weten dat het systeem doet wat het moet doen, is het nodig om ook de broncode te hebben. De broncode van de robotreporter staat op Github en kan door iedereen geraadpleegd worden.
3. Inzicht in de opbouw van het systeem. Het systeem gebruikt een eenvoudig proces met vier fases: A. Data, B. Observaties, C. Generatie en D. resultaten. Er is een apart scherm voor elke stap, en dus ook voor de resultaten. In het ontwerp zijn deze stappen zichtbaar en te volgen voor gebruikers. Uiteindelijk moet elke stap verder gedocumenteerd worden.
4. Inzicht in alle uitkomsten. Een gebruiker ziet niet alleen zijn eigen artikel, maar kan deze vergelijken met de uitkomsten van andere gebruikers. Bij veel beslissingen is dit niet zo: elke Nederlander krijgt wel zijn eigen belastingaanslag, maar kan deze niet vergelijk met die van anderen. Bij de robotreporter kan dit wel.
5. Inzicht in de input. Om na te gaan of een uitkomst van een systeem klopt, moet men inzicht hebben in de gebruikte data. In module A kan men precies zien welke data het systeem verzameld heeft. Niet elk IT-systeem houdt op deze manier de gebruikte data bij. Dit moet wel als het systeem belangrijke resultaten geeft.
6. Inzicht in deelresultaten. Veel AI-systemen zijn complex en geven resultaten die niet eenvoudig uit de input volgen. Het is dus nodig om ook deelresultaten en tussenstappen inzichtelijk te maken. Bij de robotreporter kan men op schermen B en C de deelresultaten zien. Hier zijn alle observaties zichtbaar die het systeem gevonden heeft, en ook de relevantiescores die elke observatie krijgt
7. Versiebeheer. Het is gebruikelijk dat systemen continu doorontwikkeld worden en er dus elke week kleine wijzigingen zijn. Het is dus belangrijk dat er goed versiebeheer is op de algoritmes. In dit systeem heeft elk artikel meta-data die aangeeft welke versie van de algoritmes is gebruikt.
8. Feedback van gebruikers. Elke gebruiker kan artikelen beoordelen en commentaar achterlaten bij artikelen, bijvoorbeeld als men twijfelt aan de kwaliteit of juistheid van het artikel. Hiermee kunnen problemen gemeld en hersteld worden.
9. Testen in de praktijk. Binnen dit project wordt het systeem getest door mensen uit de praktijk. De website en de resultaten worden getoond aan AI-professionals, journalisten en mensen met interesse in beursnieuws. Er wordt getoetst hoe de artikelen het doen vergeleken met bestaande, door mensen geschreven artikelen, of de artikelen als waardevol worden ervaren. Ook zal er uiteindelijk een AI impact assessment worden uitgevoerd.

Zelf testen

Iedereen kan het systeem vinden op robotreporter.nl. Men kan hier zelf een account aanmaken, waarmee men artikelen kan lezen. Om artikelen te genereren moet men een upgrade aanvragen bij de onderzoekers (Sieuwert van Otterloo en Stan Meyberg). Meer informatie over de achtergrond van het onderzoek is op te vragen bij de onderzoekers van het lectoraat AI van de Hogeschool Utrecht.