Voor de NWA-route Waardecreatie door verantwoorde toegang tot en gebruik van big data (VWData) is vanuit de ministeries van OCW en Defensie subsidie beschikbaar gesteld voor een aanvullende onderzoeksactiviteit rondom “uitlegbare veilige Artificial Intelligence in het militaire domein”. De financiering is bestemd voor een onderzoeksproject dat de vraag adresseert hoe een AI systeem beveiligd kan worden tegen ontregeling en tegelijkertijd transparant kan zijn. 

Binnen de door het ministerie van OCW geïnitieerde Startimpuls van de Nationale Wetenschapsagenda in 2017 waren middelen gereserveerd voor extra initiatieven rondom de Nationale Wetenschapsagenda in samenwerking met vakdepartementen.De onderzoeksactiviteit “uitlegbare veilige Artificial Intelligence in het militaire domein” is hiervan een van de resultaten.

Moderne, maar ook traditionele AI oplossingen, blijken vatbaar voor subtiele ontregelingen van buitenaf. Zo kunnen diepe neurale netwerken met voor de mens niet waarneembare manipulaties van input op het verkeerde been gezet worden. Dit speelt onder andere in beeldverwerkende AI, zoals aanwezig in autonoom rijdende voertuigen. Minuscule ruisinjecties in inputs kunnen in dergelijke toepassingen leiden tot het foutief herkennen van verkeersborden, met alle gevolgen van dien. Daarnaast kunnen machine learning modellen ‘op afstand’ worden uitgelezen door input/output gedrag uit te lokken, of worden gemanipuleerd van buitenaf, een reëel gevaar omdat steeds meer AI beschikbaar komt als (cloud) service.

Beveiligen van AI

Het beveiligen van AI is daarmee een onderwerp dat steeds belangrijker wordt op de onderzoeksagenda van techbedrijven als Google, Facebook en Tesla, en de academia. Maatregelen voor het garanderen van privacy met AI (zoals federated machine learning, of homomorfe encryptie) beveiligen de gebruikers van AI-systemen. Beide soorten beveiliging (de AI zelf, en de privacy van gebruikers) voegen echter extra opaciteit toe aan AI-systemen, via -soms destructieve, niet-reversibele- versleuteling van data of algoritmes. Tegelijkertijd neemt in de AI-wereld de roep om uitlegbaarheid toe, onder andere in de context van operator-intensieve toepassingen zoals defensie. De vraag is dus hoe een AI systeem zowel tegen manipulatie beveiligd kan worden, als tegelijkertijd uitlegbaarheid toestaat.

Een deel van de beschikbare middelen voor dit project zijn bestemd voor onderzoeksactiviteiten van TNO. Een ander deel is beschikbaar voor complementaire aansluiting van andere kennisinstellingen op het TNO onderzoeksproject  (bijlage I). De omvang van deze aanvullende subsidie is 100 kEUR. De oproep voor dit aanvullende deel van het onderzoeksproject staat open voor bij de Kenniscoalitie aangesloten publieke kennisinstellingen: Nederlandse universiteiten, KNAW- en NWO-instituten en Hogescholen.

Tijdslijn
2 april 2018   Sluiting van de indiening van onderzoeksvoorstellen.
6 april 2018   Prioritering van de voorstellen door de Stuurgroep van VWData en het Ministerie van Defensie

Medio april 2018 Toekenning van de subsidie door NWO.

Meer informatie
De volledige projectbeschrijving en call for proposals is terug te lezen op de website van Dutch Digital Delta.
Voor vragen kun u terecht bij: