Deep learning research

De mensen van ICT Institute  doen niet alleen advies aan klanten: er is ook tijd voor wetenschappelijk onderzoek. In de zomer van 2016 presenteerde  Stefan Leijnen (inmiddels lector AI) zijn onderzoek naar deep learning op de 15th Neural Computation and Psychology Workshop in Philadelphia, Verenigde Staten.

‘Deep Learning’ is een populair deelgebied van Kunstmatige Intelligentie, waarin men probeert om moeilijke concepten door computers te laten begrijpen. Denk hierbij aan het begrijpen van beelden, herkennen van woorden en omgaan met emotie en creativiteit. Het vakgebied bestaat al relatief lang maar toch zijn er nog veel vragen over: “Ondanks veel succesvolle toepassingen in de praktijk, weten we nog weinig over hoe leren werkt in diepe neurale netwerken” , aldus Saxe, McClevelland en Ganguli in een recent artikel.

Onderzoek Stefan Leijnen

Dr. Stefan Leijnen, doet onderzoek om precies dit te begrijpen. Hij presenteerde het paper “Self Constraining Deep Neural Networks” inclusief poster waarin een nieuw type neuraal netwerk gebruik maakt van zelf-organiserende processen. In de afbeelding hierboven wordt zo’n netwerk weergegeven.

Workshop

Sprekers bij de workhops waren onder andere Andrew Saxe (Harvard), Timothy Lillicrap (Google Deepmind) en Greg Wayne (Google Deepmind). Saxe werkt aan een theoretisch framework om de dynamica van het machine learning beter te kunnen begrijpen en voorspellen. Lillicrap, een van de onderzoekers die mee heeft gewerkt aan AlphaGo – het programma dat eerder dit jaar de wereldkampioen Go wist te verslaan – wist het publiek te overtuigen van het nut van reinforcement learning als methode om deep networks te trainen. Wayne tenslotte, de bedenker van de Neural Turing Machine, wist helder over te brengen welke richtingen we kunnen verwachten dat machine learning de komende jaren op zal gaan. We hebben volgens Wayne nog maar het topje van de ijsberg gezien. Nieuwe doorbraken op het gebied van neurale netwerken zullen, versneld door de financiering van bedrijven als Google en Facebook, ons de komende jaren nog vaak versteld doen staan, aldus de expert. Bij SoftwareZaken zijn we dankzij de kennis van Stefan in ieder geval goed voorbereid op deze doorbraken.