(AI) Denemarken trekt een rode lijn: AI mag geen emoties interpreteren op de werkplek of in de klas
Nu het nieuwe Europese kader voor kunstmatige intelligentie wordt uitgerold, trekt één kwestie in het bijzonder de aandacht van juridische professionals, compliance officers en technische teams: wat gebeurt er met systemen die emoties “lezen” uit gezichten, stemmen of gebaren? De Richtlijn over het verbod op AI die emoties afleidt op werkplekken en onderwijsinstellingen, uitgegeven door het Deense Agentschap voor Digitalisering, biedt een van de eerste interpretaties van artikel 5, lid 1, onder f, van Verordening (EU) 2024/1689.De boodschap is duidelijk: het is verboden om AI-systemen op de markt te brengen, in gebruik te nemen of te gebruiken die bedoeld zijn om de emoties van natuurlijke personen op de werkvloer of in het onderwijs af te leiden, behalve om medische of veiligheidsredenen. Dit is niet louter een verklarende interpretatie; het trekt een juridische grens die inkoopbeslissingen, productontwerp en governanceprocessen binnen publieke en private organisaties in heel Europa zal vormgeven.De richtlijn richt zich allereerst op de reden waarom hier een rode lijn is getrokken. Menselijke emoties zijn contextuele, culturele en individuele realiteiten die niet betrouwbaar kunnen worden “geobjectiveerd” door wiskundige regels. Een glimlach betekent niet altijd geluk; een verheven stem bewijst geen woede. Zelfs wanneer een systeem ogenschijnlijk correct lijkt te functioneren, blijft de betrouwbaarheid laag en kan het gebruik ervan leiden tot vooringenomenheid en ongunstige behandeling. Wanneer dergelijk gebruik plaatsvindt binnen asymmetrische machtsverhoudingen (werkgever-werknemer, leraar-leerling), worden de risico’s voor fundamentele rechten verder vergroot. Dit vormt de basis voor het specifieke verbod in deze contexten.
Vanuit praktisch oogpunt structureert de richtlijn de analyse rond drie cumulatieve voorwaarden. Ten eerste moet sprake zijn van het op de markt brengen, het in gebruik nemen of het gebruiken van een AI-systeem met als specifiek doel het afleiden van emoties. Ten tweede moet het systeem biometrische gegevens analyseren (zoals gezichtsuitdrukkingen, lichaamstaal, stemtoon of spraakcadans) en op basis daarvan een herkenbare emotionele toestand afleiden (bijvoorbeeld geluk, verdriet, verveling, stress of enthousiasme). Ten derde moet het gebruik plaatsvinden in een werk- of onderwijsomgeving. Wanneer aan alle drie de voorwaarden is voldaan, is de praktijk in de hele EU verboden. Als aan één van deze voorwaarden niet wordt voldaan, valt de situatie buiten de reikwijdte van dit specifieke verbod, hoewel zij om andere redenen nog steeds onwettig kan zijn.
De eerste voorwaarde betreft de materiële reikwijdte van de regel. Om een praktijk te verbieden, moet het systeem in de Europese Unie op de markt zijn gebracht, in gebruik zijn genomen of worden gebruikt met het specifieke doel emoties af te leiden. Het loutere bestaan van een technologie die daartoe technisch in staat is, is dus niet voldoende: zij moet ook daadwerkelijk voor dat doel worden ingezet of als zodanig worden aangeboden. Het verbod geldt daarmee zowel voor ontwikkelaars en aanbieders van dergelijke systemen als voor de organisaties die ze implementeren.
De tweede voorwaarde vormt het technische scharnierpunt van de analyse en verdient nadere aandacht. Het is niet voldoende dat een systeem bepaalde eigenschappen registreert; het moet expliciet een emotie afleiden. De richtlijn benadrukt dat het begrip “afleiden” interpretatie veronderstelt: het omzetten van fysieke of gedragskenmerken in een emotionele conclusie, zoals “desinteresse”, “frustratie” of “voldoening”. Tegelijk wordt verduidelijkt dat niet elke vorm van gedragsanalyse hieronder valt. Het louter detecteren van gebaren of het tellen van glimlachen, zonder daar een emotionele betekenis aan toe te kennen, leidt op zichzelf niet tot het verbod. Wat verboden is, is het toeschrijven van een emotionele toestand aan een persoon op basis van biometrische gegevens. De derde voorwaarde definieert de relevante contexten. Het begrip “werkplek” wordt ruim geïnterpreteerd en omvat onder meer kantoren, fabrieken, magazijnen, virtuele werkomgevingen zoals Teams of Zoom, thuiswerksituaties, openbare ruimtes waarin een arbeidsrelatie bestaat, en wervings- en selectiesituaties (zoals interviews en assessments). Ook “onderwijsinstelling” wordt breed opgevat: het gaat om basis- en voortgezet onderwijs, universiteiten, beroepsopleidingen, volwasseneneducatie en e-learningplatforms wanneer het gebruik daarvan verplicht is. De focus ligt steeds op personen die zich in een ondergeschikte of afhankelijke positie bevinden ten opzichte van de organisatie. Ter illustratie bevat de richtlijn twee scenario’s die vandaag de dag gemakkelijk herkenbaar zijn. In het eerste scenario installeert een bedrijf AI-gestuurde camera’s in vergaderruimtes om stemmen en gezichten van medewerkers te analyseren en zo het “enthousiasme” tijdens presentaties te meten. De autoriteit concludeert dat dit verboden is: er is sprake van een AI-systeem, emotionele inferentie op basis van biometrische gegevens en gebruik op de werkplek, zonder medische of veiligheidsrechtvaardiging. In het tweede scenario gebruiken scholen technologie die de gezichten van leerlingen in de klas monitort om leraren in realtime te informeren of een leerling zich verveelt, moe of gefrustreerd voelt. Ook dit gebruik is verboden, aangezien aan alle drie de voorwaarden is voldaan, met als bijkomende factor dat minderjarigen betrokken zijn. De richtlijn erkent dat er uitzonderingen bestaan. De AI-verordening staat het afleiden van emoties uitsluitend toe wanneer het doel medisch is of verband houdt met veiligheid, mits dat doel duidelijk gerechtvaardigd en gedocumenteerd is en er geen even effectieve, minder ingrijpende alternatieven bestaan. Voorbeelden zijn therapeutische toepassingen (zoals ondersteuning voor mensen met autisme) of toegankelijkheidstoepassingen (zoals hulp voor blinden of doven). Daarentegen kwalificeren toepassingen zoals het geven van een “thermometer” voor medewerkerstevredenheid of het meten van de “aandacht” van studenten niet als medische of veiligheidsdoeleinden en vallen zij dus niet onder de uitzondering.
Hoe zouden organisaties moeten reageren?
Een logisch startpunt is het beoordelen van elk AI-initiatief dat betrekking heeft op stem, beeld of gebaren binnen HR-processen, werving en selectie, prestatiebeoordeling, monitoring van klantenserviceteams, leeranalyse of toezicht in de klas. Wanneer het werkelijke doel is om de emotionele toestand van personeel of studenten af te leiden, is de juridische conclusie eenvoudig: stop, neem het systeem niet in gebruik of beëindig het gebruik ervan. Het verbod geldt vanaf het begin en kan niet worden “gerepareerd” zolang de intentie tot emotionele analyse blijft bestaan. Daarnaast moeten organisaties hun eisen richting fabrikanten en leveranciers heroverwegen. De richtlijn benadrukt dat een systeem buiten het verbod kan vallen wanneer het geen emoties afleidt, maar zich bijvoorbeeld beperkt tot objectieve interactie-indicatoren in vergaderingen (zoals spreektijd, beurtverdeling of onderbrekingen) of niet-emotionele pedagogische meetwaarden in de klas (zoals inzendingen of observeerbare participatie zonder emotionele labeling). Dit vergt herontwerp van producten en contractuele en technische garanties dat geen verborgen emotionele inferentie plaatsvindt. Daarbij is de nuance cruciaal: zelfs wanneer emotionele classificaties niet zichtbaar zijn voor gebruikers, blijft het gebruik in werk- of onderwijscontexten verboden als dergelijke inferentie intern plaatsvindt. Verder is het essentieel onderscheid te maken tussen emoties en fysieke toestanden. Een systeem dat slaperigheid bij professionele bestuurders detecteert op basis van knipperfrequentie en rijgedrag kan onder de veiligheidsuitzondering vallen, mits het aantoonbaar gericht is op de bescherming van leven en gezondheid en er geen minder ingrijpend alternatief bestaat. Het detecteren van “stress” bij een callcenteroperator via spraakanalyse om scripts aan te passen, daarentegen, is noch een veiligheidsmaatregel noch een medische interventie en valt onder het verbod. Doel en proportionaliteit worden niet verondersteld; zij moeten aantoonbaar worden gemaakt. Op bestuursniveau sluit de richtlijn aan bij het beginsel van proactieve verantwoording. Het is niet voldoende om verwijzingen naar “emotie” of “stemming” te verwijderen. Organisaties moeten functionaliteiten actief auditen en documenteren dat systemen in deze contexten geen emotionele inferentie uitvoeren. Bij inkoop dienen contracten clausules te bevatten die de huidige en toekomstige activering van emotieherkenningsmodules op de werkplek of in het onderwijs expliciet verbieden en technische audits mogelijk maken. Interne complianceprogramma’s moeten AI-beleid, lijsten van verboden praktijken en mechanismen voor het afwijzen van juridisch onhoudbare gebruikssituaties actualiseren, ook wanneer deze vanuit zakelijk perspectief aantrekkelijk lijken. Tot slot is het belangrijk te benadrukken dat de AI-verordening naast de AVG en het arbeids- en onderwijsrecht bestaat. Een toepassing die niet onder het verbod van artikel 5, lid 1, onder f, valt, kan om andere redenen alsnog onrechtmatig zijn, bijvoorbeeld wegens het ontbreken van een rechtsgrond voor de verwerking van biometrische gegevens, gebrek aan transparantie of gegevensminimalisatie, of onevenredige gevolgen voor gelijkheid en non-discriminatie. De richtlijn maakt duidelijk dat zij zich uitsluitend richt op het specifieke verbod op emotionele inferentie in werk- en onderwijscontexten en geen afbreuk doet aan andere toepasselijke wetgeving.
Samenvattend kan de Deense richtlijn over het verbod op AI-systemen die emoties afleiden worden gezien als een vroeg referentiepunt voor de toepassing van de Europese AI-verordening. De interpretatie verduidelijkt de grenzen van een praktijk die, vanwege de mogelijke impact op privacy en menselijke waardigheid, in werk- en onderwijsomgevingen is verboden, behoudens medische of veiligheidsredenen.
Het document onderstreept dat organisaties elke technologie die biometrische gegevens gebruikt om emoties af te leiden kritisch moeten herzien, zodat het gebruik strikt wettig is en geen machtsongelijkheden of onnodig indringende vormen van gegevensverwerking veroorzaakt. Daarmee draagt de richtlijn bij aan het versterken van vertrouwen in de ontwikkeling en inzet van kunstmatige intelligentie binnen de Europese Unie.