onderzoeksprogramma-methodologie-2025-2030.pdf

32

Uitdagingen Het succesvol toepassen van AI heeft een aantal uitdagingen die we vanuit drie verschillende perspectieven belichten.
Ten eerste het normatief kader van AI. De centrale vraag hierbij is: Waar moet AI aan voldoen om succesvol binnen de officiële statistieken te worden ingezet? Voor de officiële statistieken komen we dan ook snel bij de ‘European Statistics Code of Practice’ (‘European Statistical System Committee’, 2017) uit. Deze ‘code of practice’ beschrijft de normen en richtlijnen voor de kwaliteit en integriteit van statistische systemen binnen de Europese Unie. Het biedt een raamwerk voor de waarborging van de onafhankelijkheid, betrouwbaarheid, en transparantie van statistische gegevens en processen. Door verschillende groepen werd beschreven wat de gevolgen zijn van dit kwaliteitskader voor de inzet van, specifiek, ML binnen de officiële statistieken. Binnen het CBS heeft dit op het gebied van ML-methodologie geleid tot het ‘Total Machine Learning Error Model’. Dit model brengt voor ML in kaart welke fouten er kunnen optreden als we dergelijke methoden toepassen in de officiële statistiek. Ook voor alle andere onderwerpen binnen de AI zouden we, als we een normatief kader hebben, een soortgelijk methodologisch kader kunnen maken.
Bovendien bestaat er een grote overlap tussen de toepassing van dit kwaliteitskader voor AI en de verschillende uitwerkingen van ‘Responsible AI’ door derden. De overlap bestaat vooral in de focus op het gebied van transparantie, eerlijkheid en verantwoord elijkheid, maar er zijn ook duidelijke verschillen. Zo ligt de focus bij de ‘European Statistics Code of Practice’ vooral op betrouwbaarheid en kwaliteit van statistieken, terwijl het ‘Responsible AI’ raamwerk ook op de maatschappelijke en juridische consequenties ingaat.
Enkele vragen die er zijn: wat is de overlap tussen de ‘code of practice’ en het ’Responsible AI’ raamwerken en waar zitten de verschillen? Wat kunnen we hiervan leren met betrekking tot het verantwoord gebruiken van AI binnen de officiële statistieken? En daaruit volgend: aan welke kwaliteitseisen moet een AI-model voldoen om geschikt te zijn voor officiële statistieken?

Ten tweede het methodologische kader van AI. Terwijl het normatieve kader vooral op de randvoorwaarden ingaat, gaat het methodologisch kader veel meer over hoe we deze normen kunnen bereiken. Zoals al eerder gezegd is AI de afgelopen jaren sterk ontwikkeld . Technologisch is er dus ook al veel mogelijk. De (statistisch) methodologische achterstand zal dus moeten worden ingehaald en er zal moeten worden gekeken of de juiste technieken hiervoor beschikbaar zijn. Om dit te bereiken, moeten we onderzoeken hoe we AI-technieken kunnen gebruiken om aan onze eisen te voldoen. Hiervoor denken we aan technieken zoals ‘Large Language Models’ voor tekstanalyse en informatie-extractie, ‘Generative adversarial networks’ en ‘Generative neural networks’ voor bijvoorbeeld imp utatie en synthetische datasetgeneratie, en bijvoorbeeld ‘Random forests’, ‘Support vector machines’ en ‘Neurale netwerken’ voor classificatieproblemen. Deze technieken zijn voor een groot deel niet ontwikkeld met het doel een statistisch zuiver resultaat te krijgen. De centrale vraag is dan ook wat is er nodig om AI-modellen aan het normatief kader te laten voldoen en daarmee de kwaliteit te waarborgen? Het methodologische kader gaat in op vragen die betrekking hebben op, onder andere, representativiteit, externe validiteit, verklaarbaarheid en vertekening van modellen. Dit zijn onderwerpen die specifieke onderzoeksvragen opleveren met betrekking tot methodologie en die een betere invulling kunnen geven op de onderwerpen die binnen het kwaliteitskader worden aangestipt. Enkele concrete onderzoeksvragen zijn: hoe ga je om met ongebalanceerde datasets bij een classificatieprobleem? Hoe krijg je ‘kansen’ uit een classifier en kunnen deze gebruikt worden bij het prioriteren van handmatig werk in een human -machine feedback loop? Hoe verklaar je waarom een ‘Classifier’ een bepaalde uitkomst geeft?

33

Verder zien we uitdagingen bij het implementeren van specifieke AI -oplossingen, kortom het daadwerkelijk toepasbaar maken van AI bij het CBS. De toepassingen, zoals ze worden uitgewerkt binnen de verschillende thema’s en binnen de statistische afdelingen, zijn uiteindelijk allen onderhevig aan de vragen die betrekking hebben op het normatieve en methodologische kader van het gebruik van AI binnen de officiële statistieken. Zolang we dus niet met zekerheid kunnen zeggen dat de kwaliteit van de te gebruiken modellen hoog genoeg is, zullen al deze onderzoeken niet tot concrete toepassingen leiden. Vanuit het methodologisch kader zullen generieke oplossingen worden ontwikkeld voor het toepasbaar maken van AI. Toch zullen er tijdens de toepassing specifieke vragen opkomen die afhangen van het doel waarvoor AI wordt ingezet. Bijvoorbeeld, het gebruik van AI bij gaafmaken zal andere vragen oproepen dan het gebruik van AI bij schatten of waarnemen. Onderzoek naar toepassingen gebeurt al binnen de verschillende thema’s en zal daar nu ook gewoon blijven plaatsvinden, ondersteund vanuit het thema Toepasbare AI. Centrale vraag hierbij is dus: Hoe passen we AI uiteindelijk toe bij het maken en publiceren van statistieken? Verder, wat zijn typische vuistregels bij het inzetten van AI-technieken? Bijvoorbeeld, welke familie van AI-algoritmes passen bij specifieke toepassingen en beschikbare datasets?

Tenslotte, de afgelopen periode is specifiek onderzoek gedaan naar de potentie van ‘Large Language Models’ (LLMs) in de standaard bedrijfsvoering, bijvoorbeeld voor het laten samenvatten, vertalen of genereren van tekst (of programmeercode) op basis van op en-source LLMs die op eigen infrastructuur gebruikt worden. De eerste indrukken waren positief en daarom valt in het toepassingsgerichte kader van dit thema ook de verdere exploratie naar het verantwoord inzetten van AI in de standaard bedrijfsvoering.