Klantenservice AI-toepassingen worden als hoog-risico beschouwd wanneer ze worden ingezet voor beslissingen die een significante invloed hebben op de grondrechten, toegang tot essentiële diensten of de rechtspositie van mensen. Denk aan geautomatiseerde systemen die kredietwaardigheid beoordelen, noodoproepen verwerken of klantprofielen aanmaken op basis van persoonskenmerken. De EU AI Act legt hiervoor concrete verplichtingen op die voor klantenserviceorganisaties steeds relevanter worden. Dit artikel beantwoordt de meest gestelde vragen over hoog-risico AI in de klantenservicecontext.
Wat maakt een AI-systeem officieel ‘hoog-risico’ onder de AI Act?
Een AI-systeem is officieel hoog-risico onder de EU AI Act wanneer het valt onder één van de acht domeinen uit Annex III van de verordening, of wanneer het een veiligheidscomponent vormt van een product dat al onder EU-harmonisatiewetgeving valt en een conformiteitsbeoordeling door een derde partij vereist. Profilering van natuurlijke personen is altijd hoog-risico, zonder uitzonderingen.
De acht domeinen uit Annex III zijn concreet omschreven in de wet. Het gaat om biometrie, kritieke infrastructuur, onderwijs en beroepsopleiding, werkgelegenheid en personeelsbeheer, toegang tot essentiële diensten (zoals kredietwaardigheid, verzekeringen en noodoproepen), rechtshandhaving, migratie en grenscontrole, en rechtsbedeling en democratische processen.
Er is één uitzondering op de Annex III-classificatie: een systeem dat uitsluitend een enge procedurele of voorbereidende taak vervult en geen significant risico voor grondrechten vormt, kan buiten de hoog-risico-categorie vallen. Maar dan moet de aanbieder dit wel onderbouwd documenteren. Zodra een systeem personen profileert, vervalt die mogelijkheid volledig.
Welke specifieke klantenservice AI-toepassingen vallen onder hoog-risico?
In de klantenservicecontext vallen AI-toepassingen onder hoog-risico wanneer ze beslissingen ondersteunen of nemen over toegang tot essentiële diensten, persoonsprofielen aanmaken of noodoproepen verwerken. Niet elke chatbot of routeringstool is automatisch hoog-risico, maar de grens ligt dichter bij de dagelijkse praktijk dan veel organisaties beseffen.
Concrete voorbeelden van klantenservice AI die als hoog-risico worden aangemerkt:
- Geautomatiseerde kredietbeoordeling: AI die bepaalt of een klant in aanmerking komt voor een betalingsregeling, krediet of financieel product valt expliciet onder Annex III.
- Verzekeringsgerelateerde beslissingen: Systemen die klantdata analyseren om verzekeringsaanvragen te beoordelen of premies te berekenen zijn hoog-risico.
- Verwerking van noodoproepen: AI die noodoproepen routeert, prioriteert of beoordeelt valt onder de categorie toegang tot essentiële diensten.
- Klantprofilering voor persoonlijk aanbod: Zodra een systeem klantgedrag analyseert om individuele profielen op te stellen, is het per definitie hoog-risico vanwege de profileringsbepaling.
- AI in personeelsselectie via klantenservice: Systemen die sollicitanten of medewerkers beoordelen op basis van klantenservice-interacties vallen onder werkgelegenheid en personeelsbeheer.
Een standaard FAQ-chatbot die algemene vragen beantwoordt zonder persoonsprofielen aan te maken, valt in de meeste gevallen buiten de hoog-risico-categorie. Maar zodra zo’n chatbot klantdata combineert om gepersonaliseerde beslissingen te nemen, verschuift de classificatie.
Wat is het verschil tussen hoog-risico AI en verboden AI in klantenservice?
Verboden AI-toepassingen zijn onder de AI Act volledig verboden en mogen niet worden ingezet, ongeacht de context of voorzorgsmaatregelen. Hoog-risico AI is niet verboden, maar mag alleen worden ingezet als aan strikte conformiteitseisen wordt voldaan. Het onderscheid is fundamenteel: verboden AI is een harde grens, hoog-risico AI is een gereguleerde categorie.
In de klantenservicecontext zijn verboden toepassingen onder andere: AI-systemen die gebruik maken van subliminale technieken om klantgedrag te manipuleren zonder dat zij zich daarvan bewust zijn, systemen die misbruik maken van kwetsbaarheden van specifieke groepen (zoals ouderen of mensen met een beperking), en real-time biometrische identificatie in openbare ruimten voor rechtshandhavingsdoeleinden.
Hoog-risico AI in klantenservice is wel toegestaan, maar vereist onder meer een conformiteitsbeoordeling, technische documentatie, menselijk toezicht en registratie in de EU-databank. De verboden zijn al van kracht sinds 2 februari 2025. Wie nu nog verboden AI-toepassingen inzet, riskeert boetes tot 35 miljoen euro of 7% van de wereldwijde jaaromzet.
Welke verplichtingen gelden voor organisaties die hoog-risico AI inzetten in klantenservice?
Organisaties die hoog-risico AI inzetten in klantenservice moeten voldoen aan een uitgebreide set verplichtingen, afhankelijk van hun rol in de keten. De AI Act maakt onderscheid tussen aanbieders (die het systeem ontwikkelen), deployers (die het systeem inzetten) en importeurs of distributeurs. Elke rol brengt eigen verantwoordelijkheden met zich mee.
Verplichtingen voor aanbieders van hoog-risico AI
Aanbieders moeten een conformiteitsbeoordeling uitvoeren, technische documentatie opstellen en actueel houden, een CE-markering aanbrengen en het systeem registreren in de EU-databank. Daarnaast zijn zij verplicht een kwaliteitsbeheersysteem in te richten en menselijk toezicht technisch mogelijk te maken.
Verplichtingen voor deployers van hoog-risico AI
Organisaties die hoog-risico AI inzetten in hun klantenservice (deployers) moeten de instructies van de aanbieder opvolgen, menselijk toezicht borgen, gegevensbeheerpraktijken documenteren en bij bepaalde toepassingen een grondrechteneffectbeoordeling uitvoeren. Belangrijk aandachtspunt: een deployer kan ongemerkt aanbieder worden wanneer hij het systeem substantieel wijzigt of het beoogde doel zodanig aanpast dat het hoog-risico wordt. In dat geval gelden alle aanbiedersverplichtingen.
Praktisch betekent dit voor klantenserviceorganisaties dat zij nu al een register moeten aanleggen van alle AI-systemen en hun rol daarin moeten bepalen. Bijzondere aandacht is vereist voor de omstandigheden die een partij ongemerkt tot aanbieder kunnen maken.
Wanneer treedt de hoog-risico AI regelgeving in werking voor klantenservice organisaties?
De conformiteitseisen voor hoog-risico AI-systemen die vallen onder Annex III worden op 2 augustus 2026 afdwingbaar. Dat is de cruciale datum voor de meeste klantenservice AI-toepassingen. De verboden en de AI-geletterdheidsplicht zijn al van kracht sinds 2 februari 2025.
De volledige tijdlijn ziet er als volgt uit:
- 2 februari 2025: Verboden AI-praktijken (Artikel 5) en de verplichting tot AI-geletterdheid (Artikel 4) zijn van kracht.
- 2 augustus 2025: Verplichtingen voor GPAI-modellen, aangemelde instanties, governancestructuur en boetebepalingen worden actief.
- 2 augustus 2026: Conformiteitseisen voor hoog-risico Annex III-systemen worden afdwingbaar. Dit is de meest relevante datum voor klantenservice AI.
- 2 augustus 2027: Verplichtingen voor hoog-risico AI als veiligheidscomponent van gereguleerde producten (Annex I) worden actief. GPAI-modellen die voor augustus 2025 al op de markt waren, moeten dan ook conform zijn.
In 2026 is er dus geen tijd meer om achterover te leunen. Organisaties die nu nog geen inventarisatie hebben gemaakt van hun AI-systemen, lopen het risico onvoldoende voorbereid te zijn wanneer de handhaving begint.
Hoe bepaal je of jouw huidige klantenservice AI-tools hoog-risico zijn?
Om te bepalen of jouw klantenservice AI-tools hoog-risico zijn, stel je voor elk systeem drie kernvragen: Maakt het systeem profielen van individuele personen? Beïnvloedt het beslissingen over toegang tot essentiële diensten? En valt het gebruik onder één van de acht Annex III-domeinen? Als je één van deze vragen met ja beantwoordt, is het systeem waarschijnlijk hoog-risico.
Een praktische aanpak om dit te beoordelen:
- Inventariseer alle AI-systemen: Leg een register aan van elk systeem dat AI gebruikt, inclusief chatbots, routeringstools, spraakherkenning en analysesoftware.
- Bepaal je rol: Ben je aanbieder, deployer, importeur of distributeur? Dit bepaalt welke verplichtingen op jou van toepassing zijn.
- Analyseer het beoogde doel: Wat doet het systeem concreet? Beoordeelt het klanten, maakt het profielen of neemt het beslissingen die gevolgen hebben voor de klant?
- Controleer op profilering: Elk systeem dat individuele klantprofielen aanmaakt op basis van gedrag, voorkeuren of persoonskenmerken is automatisch hoog-risico.
- Vraag documentatie op bij leveranciers: Aanbieders van hoog-risico AI zijn verplicht documentatie te verstrekken over capaciteiten, beperkingen en conformiteitsstatus.
Twijfel je over de classificatie van een specifiek systeem? De wet biedt aanbieders de mogelijkheid om een Annex III-systeem buiten de hoog-risico-categorie te plaatsen als het uitsluitend een enge procedurele taak vervult en geen significant risico voor grondrechten vormt. Maar dit vereist onderbouwde documentatie en geldt niet voor systemen die profileren.
Hoe Pegamento helpt bij AI-compliance in klantenservice
Navigeren door de AI Act is voor veel klantenserviceorganisaties een flinke uitdaging, zeker wanneer bestaande systemen al jaren draaien en de vraag is hoe ze zich verhouden tot de nieuwe regelgeving. Wij helpen organisaties bij het in kaart brengen van hun AI-landschap en het inrichten van verantwoorde, compliant klantenserviceoplossingen.
Wat wij concreet bieden:
- Inventarisatie van AI-systemen: We helpen je een volledig overzicht opstellen van alle AI-toepassingen in jouw klantenserviceomgeving en bepalen de risicoclassificatie per systeem.
- Agentic AI voor klantenservice: Onze Agentic AI-oplossingen voor klantenservice zijn ontwikkeld met menselijk toezicht als uitgangspunt. Agentic AI is de evolutie van uitvoerende bots naar zelfdenkende assistenten die niet alleen instructies opvolgen, maar zelfstandig initiatief nemen en handelen, binnen de kaders die jij stelt.
- Alles onder één dak: Van ontwikkeling en implementatie tot beheer en ondersteuning. Geen complexe leveranciersconstructies, maar één aanspreekpunt voor het totaalpakket.
- Oplossingen op maat met standaard bouwblokken: Geen kostbaar maatwerk, maar een slimme combinatie van bewezen modules die aansluiten op jouw specifieke situatie en compliance-eisen.
- ISO 27001 gecertificeerd: Informatiebeveiliging staat bij ons voorop, aangevuld met ISO 9001 en ISO 26000 certificeringen die kwaliteit en maatschappelijke verantwoordelijkheid borgen.
Wil je weten hoe jouw huidige klantenservice AI-tools zich verhouden tot de hoog-risico criteria van de AI Act? Neem contact op en we denken graag met je mee over een aanpak die past bij jouw organisatie.
Veelgestelde vragen
Wat gebeurt er als mijn organisatie per ongeluk aanbieder wordt van hoog-risico AI?
Als je als deployer een hoog-risico AI-systeem substantieel wijzigt of het beoogde doel aanpast waardoor het hoog-risico wordt, val je automatisch onder de aanbiedersverplichtingen. Dit betekent dat je alsnog een conformiteitsbeoordeling moet uitvoeren, technische documentatie moet opstellen en het systeem moet registreren in de EU-databank. Het is daarom essentieel om bij elke aanpassing van een AI-systeem vooraf te toetsen of die wijziging je rol in de keten verandert.
Hoe voer ik een grondrechteneffectbeoordeling uit voor mijn klantenservice AI?
Een grondrechteneffectbeoordeling (Fundamental Rights Impact Assessment) breng je stap voor stap in kaart: identificeer welke grondrechten het systeem mogelijk raakt, analyseer de risico's per betrokken groep (zoals kwetsbare klanten), en beschrijf welke maatregelen je neemt om die risico's te mitigeren. Deployers van hoog-risico AI zijn verplicht deze beoordeling uit te voeren vóór ingebruikname. Raadpleeg hiervoor ook de richtlijnen van de Europese AI Office, die praktische sjablonen en guidance publiceren.
Wat betekent de AI-geletterdheidsplicht concreet voor mijn klantenserviceteam?
Sinds 2 februari 2025 zijn organisaties verplicht ervoor te zorgen dat medewerkers die met AI-systemen werken voldoende kennis hebben van de werking, beperkingen en risico's van die systemen. Voor klantenserviceteams betekent dit in de praktijk dat agents die werken met AI-ondersteunde tools getraind moeten worden in het herkennen van AI-gegenereerde output, het uitoefenen van menselijk toezicht en het signaleren van afwijkend systeemgedrag. Leg deze trainingen en hun inhoud vast in documentatie als bewijs van naleving.
Kan een standaard CRM-systeem met AI-functies ook als hoog-risico worden aangemerkt?
Ja, dat is mogelijk. Als een CRM-systeem AI-functies bevat die klantprofielen aanmaken op basis van gedrag of persoonskenmerken, of als het aanbevelingen doet die invloed hebben op toegang tot diensten, kan het onder de hoog-risico-categorie vallen — ook al is het primair een CRM. De classificatie hangt niet af van het type software, maar van wat het systeem concreet doet. Vraag bij je CRM-leverancier expliciet na welke AI-functies actief zijn en of zij conformiteitsdocumentatie kunnen aanleveren.
Welke documentatie moet ik nu al aanleggen, ook al is de deadline pas in augustus 2026?
Begin direct met een AI-register waarin je elk systeem vastlegt met het beoogde doel, de gebruikte data, je rol in de keten (aanbieder of deployer) en een voorlopige risicoclassificatie. Leg daarnaast de instructies en documentatie van je AI-leveranciers vast, en documenteer hoe menselijk toezicht is ingericht. Hoe eerder je dit register opbouwt, hoe minder werk je hebt naarmate de deadline nadert — en hoe sterker je positie is als toezichthouders vroegtijdig vragen stellen.
Wat zijn de meest voorkomende fouten die organisaties maken bij het inschatten van hun AI-risicoclassificatie?
De meest gemaakte fout is aannemen dat een systeem veilig is omdat het 'slechts ondersteunend' werkt of geen eindbesluiten neemt. Onder de AI Act is ook beslissingsondersteuning hoog-risico als het de uitkomst significant beïnvloedt. Een tweede veelgemaakte fout is het vergeten van indirecte profilering: systemen die op het oog alleen segmenteren of personaliseren, maken in de praktijk toch individuele profielen aan. Controleer altijd op basis van wat het systeem feitelijk doet, niet op basis van hoe de leverancier het positioneert.
Hoe ga ik om met hoog-risico AI van een externe leverancier die nog geen conformiteitsdocumentatie heeft?
Als je leverancier geen conformiteitsdocumentatie kan aanleveren, is dat een serieus risicosignaal. Als deployer ben je medeverantwoordelijk voor naleving en kun je niet volstaan met de verklaring dat 'de leverancier het regelt'. Stel je leverancier schriftelijk in gebreke en vraag om een concreet tijdpad voor conformiteit. Overweeg in de tussentijd het gebruik van het systeem te beperken tot niet-hoog-risico toepassingen, of start een selectietraject voor een alternatief dat aantoonbaar compliant is vóór augustus 2026.
