Interview | The importance of Explainable AI
Collega Lucía Conde Moreno, een data scientist bij Info Support en Aigency, deelt haar expertise over verklaarbare AI in dit korte interview.
Ze legt uit waarom het cruciaal is dat complexe AI-modellen begrijpelijk en transparant zijn, vooral in kritieke toepassingen zoals de gezondheidszorg.
Lucia bespreekt de huidige staat van verklaarbare AI in bedrijven, de gevolgen van niet-uitlegbare modellen en de nieuwe EU-wetgeving op dit gebied.
“Begin niet meteen met de meest complexe oplossing, maar start met iets eenvoudigs en kijk of dat al werkt voor je data en model.”
– Lucía Conde Moreno
In gesprek met Lucía Conde Moreno – TNW 2024
Software engineer & data scientist bij Info Support en Aigency
Kim:
Lucia, kun je jezelf even voorstellen?
Lucia:
Ik ben Lucia, oorspronkelijk uit Spanje. Ik kwam ongeveer zes jaar geleden naar Nederland voor een master in informatica. Daarna ben ik bij Info Support gaan werken als softwareontwikkelaar, gespecialiseerd in data- en AI-toepassingen. Sinds het Aigency-traject begon, werk ik ook als data scientist aan verschillende projecten.
Kim:
Je bent gespecialiseerd in explainable AI. Kun je uitleggen waarom dat zo belangrijk is?
Lucia:
Het probleem met AI tegenwoordig is dat bedrijven en onderzoekers zich vooral richten op complexe modellen, zoals deep learning of grote taalmodellen. Deze modellen zijn zo ingewikkeld dat we niet weten hoe ze tot hun voorspellingen komen. Met explainable AI proberen we die ‘black box’ te openen om te begrijpen hoe deze modellen daadwerkelijk tot hun voorspellingen komen.
Kim:
Vind je dat bedrijven nu voldoende focus hebben op explainable AI?
Lucia:
Eerlijk gezegd denk ik van niet. Ik vermoed dat het sterk verschilt per bedrijf. Veel bedrijven willen vooral de eerste zijn in het oplossen van een probleem en richten zich alleen op de prestaties van het model. Ze overwegen niet echt de gevolgen van het niet uitlegbaar maken, vooral buiten Europa. In de EU is er sinds begin dit jaar de AI-wet aangenomen, die stelt dat AI-systemen, vooral hoog-risico systemen, verklaarbaar moeten zijn. Ik hoop dat bedrijven zich nu meer hierop gaan richten.
Kim:
Je noemde gevolgen. Wat zijn de gevolgen als je geen uitlegbaar AI-model hebt?
Lucia:
Er zijn juridische aspecten, zoals de AI-wet in de EU, maar die is vrij recent. Praktisch gezien zijn er veel gevallen geweest waar niet-explainable modellen problematische uitkomsten of vooroordelen bleken te hebben. Voor dit soort modellen is het cruciaal dat ze uitlegbaar zijn, zodat vooraf kan worden bepaald of er vooroordelen in de data zitten. Dit is vooral belangrijk in sectoren zoals de gezondheidszorg, waar mensenlevens op het spel staan.
Kim:
Heb je praktische tips voor bedrijven die explainable AI willen implementeren?
Lucia:
Ik zou zeggen: begin met de meest basale technieken. Dat is ook de aanpak die we bij Aigency volgen. Begin niet meteen met de meest complexe oplossing, maar start met iets eenvoudigs en kijk of dat al werkt voor je data en model. Zo niet, ga dan dieper of maak het complexer. Bij Aigency zijn we meer geïnteresseerd in interpreteerbare AI. Dat betekent dat we proberen een model te gebruiken dat inherent verklaarbaar is, in plaats van explainable technieken toe te passen op complexe black box-modellen. Dit kan uitdagend zijn voor specifieke problemen waar complexere modellen beter werken, maar we proberen altijd eerst de eenvoudigste oplossingen.