Begin bij het probleem, niet bij het AI-label
Schrijf eerst het praktische probleem op voordat je leveranciers vergelijkt: te veel cv's, inconsistente criteria, trage feedback van hiring managers, te weinig zicht op de onderbouwing of beperkte controleerbaarheid achteraf. Een product moet dat werkproces verbeteren zonder een groter probleem met beslissingen of gegevensbeheer te veroorzaken.
Vraag de leverancier om je eigen werkproces te demonstreren in plaats van een gelikt standaardvoorbeeld.
Vraag 1: Wat kan het systeem beslissen of veranderen?
Vraag om een exact overzicht van alle automatische output en alle handelingen die iets in het proces veranderen. Vraag of het product automatisch kan:
- een kandidaat afwijzen of door laten gaan naar de volgende ronde;
- kandidaten rangschikken of op een shortlist zetten;
- de status in het proces wijzigen;
- berichten naar kandidaten sturen;
- leren van handelingen van recruiters.
Vraag precies waar de AI-ondersteuning ophoudt en waar de handeling van een ingelogde gebruiker begint. “Human in the loop” zegt weinig zonder concrete details in het product.
Grens tussen AI en menselijke handeling
Een bruikbare demonstratie maakt onderscheid tussen onderbouwing die met AI is voorbereid en de handeling van een ingelogde beoordelaar die de status wijzigt of een bericht verstuurt.
Vraag 2: Wat ziet de beoordelaar echt?
Eis een live weergave die elke beoordeling koppelt aan onderbouwing in het materiaal van de kandidaat, die je zelf kunt controleren. Vraag om:
- de goedgekeurde functie-eisen;
- onderbouwing uit het kandidaatmateriaal per eis;
- de vindplaats in het ingediende materiaal;
- ontbrekende, zwakke of tegenstrijdige onderbouwing;
- onzekerheid en verwerkingsfouten.
Is de belangrijkste output een score of ranglijst, vraag dan hoe een beoordelaar die kan aanvechten zonder alle documenten opnieuw van begin tot eind te lezen.
Zichtbare onderbouwing
Onderbouwing per eis, de beoordelingsstatus, het bronmateriaal en de mogelijkheid om een beoordeling aan te vechten horen zichtbaar te zijn in het werkproces van de beoordelaar.
Vraag 3: Hoe worden criteria opgesteld en gewijzigd?
Criteria moeten door een mens zijn goedgekeurd, specifiek zijn voor de functie en onder versiebeheer staan. Stel vast wie harde eisen, voorkeurseisen en irrelevante informatie mag vastleggen. Vraag of een wijziging eerder gegenereerde kandidaatbeoordelingen ongemerkt kan veranderen.
Goede beoordelingstools maken zichtbaar op welke goedgekeurde basis kandidaten worden vergeleken.
Vraag 4: Wat gebeurt er als het systeem onzeker is?
Het systeem moet onzekerheid laten zien en fouten doorsturen voor handmatige beoordeling in plaats van zekerheid te veinzen. Gebruik tijdens de demonstratie lastige voorbeelden: ongebruikelijke functietitels, vergelijkbare ervaring uit een andere sector, gescande pdf's, onvolledige begin- en einddata van dienstverbanden en ontbrekende informatie.
Kijk of er expliciete statussen voor handmatige beoordeling zijn. Een systeem dat altijd een stellig antwoord geeft, verbergt fouten in plaats van ze te beheersen.
Zichtbare foutstatussen
Elk brondocument moet laten zien of het is geanalyseerd, ontbreekt of niet kon worden geanalyseerd, zodat beoordelaars het opnieuw kunnen laten verwerken, kunnen verwijderen of handmatig kunnen beoordelen.
Vraag 5: Welke gegevens worden verwerkt, waar en hoe lang?
Eis schriftelijke antwoorden over de volledige gegevensstroom die aansluiten op het contract. Vraag concreet naar:
- regio's voor opslag en verwerking;
- subverwerkers en aanbieders van AI-modellen;
- of klant- of kandidaatgegevens worden gebruikt om modellen te trainen;
- bewaartermijnen na afsluiting van de procedure of na verwijdering;
- toegangsbeheer, export, verwijdering en ondersteuning bij incidenten;
- telemetrie en logs die persoonsgegevens kunnen bevatten.
Het EDPB-advies over AI-modellen en persoonsgegevens laat zien waarom vragen over persoonsgegevens afhangen van de feiten en waarborgen van een concrete toepassing. De antwoorden moeten overeenkomen met de contractuele en privacydocumentatie, niet alleen met wat de verkoper zegt.
Vraag 6: Welke traceerbaarheid is beschikbaar?
Eis traceerbaarheid die in verhouding staat tot het doel: genoeg om de beoordeling te reconstrueren, zonder alles onbeperkt te bewaren. Vraag of de organisatie kan vaststellen welke criteria en systeemversie zijn gebruikt, wanneer de verwerking plaatsvond, welke output werd getoond en welke menselijke handeling daarop volgde.
Elke prompt en elk document voor altijd bewaren is iets anders dan bruikbare traceerbaarheid.
Vraag 7: Welke claims over regelgeving zijn onderbouwd?
Zie elke algemene claim over regelgeving als aanleiding om specifiek bewijs te vragen. De AI-verordening noemt AI-systemen die bedoeld zijn om sollicitaties te analyseren of te filteren en kandidaten te beoordelen bij de toepassingen op het gebied van werkgelegenheid die een hoog risico kunnen vormen. Artikel 6, lid 3, bevat beperkte uitzonderingen die van de concrete feiten afhangen; systemen die natuurlijke personen profileren, blijven AI-systemen met een hoog risico. De actuele richtsnoeren van de Europese Commissie vermelden dat de hoogrisicoregels voor werkgelegenheid gelden vanaf 2 december 2027. Vraag de leverancier het werkelijke beoogde doel te classificeren en onderscheid te maken tussen:
- geïmplementeerde maatregelen en beschikbare documentatie;
- huidige juridische aannames;
- gepland werk;
- afgeronde stappen voor conformiteitsbeoordeling of registratie;
- eventuele externe certificering.
Dat geldt in het bijzonder voor algemene claims als “AI Act-compliant”, “biasvrij” of “juridisch waterdicht”.
Welk bewijs en welke waarschuwingssignalen vergelijk je?
Skilltage-advies: Vraag elke leverancier om hetzelfde bewijs en gebruik voor iedereen dezelfde definitie van een waarschuwingssignaal:
| Criterium | Welk bewijs je vraagt | Waarschuwingssignaal |
|---|---|---|
| Aansluiting op je werkproces | Live doorlopen van je eigen proces, van functie tot beoordeling, inclusief overdrachten | Een gelikte standaarddemo vervangt je echte proces |
| Onderbouwing voor de beoordelaar | Bronfragmenten per eis, onzekerheid en de mogelijkheid om een beoordeling aan te vechten | Alleen een score, ranglijst of samenvatting is zichtbaar |
| Menselijke controle | Demonstratie in het product van hoe een ingelogde gebruiker kandidaten door laat gaan, afwijst en berichten stuurt | “Human in the loop” wordt beweerd zonder te laten zien waar de grens ligt |
| Foutafhandeling | Een mislukte cv-parsing, ontbrekende informatie, een status om opnieuw te proberen en een route naar handmatige beoordeling | Elke invoer levert een stellig antwoord op, of fouten verdwijnen |
| Gegevensverwerking | Contract, privacydocumentatie, subverwerkers, regio's, bewaartermijnen, verwijdering en toegangsbeheer | Antwoorden van sales botsen met de schriftelijke documentatie of slaan een deel van de gegevensstroom over |
| Traceerbaarheid | Criteriaversie, verwerkingslog, getoonde output en de menselijke handeling die volgde | Geen reconstructie mogelijk, of alles wordt ongericht en onbeperkt gelogd |
| Wezenlijke claims | Concreet bewijs voor elke claim over regelgeving, certificering, beveiliging of prestaties | Algemene claims zijn onbewezen, vaag of worden als toekomstig werk beschreven |
Hoe voer je een realistische leverancierstest uit?
Skilltage-advies: Doorloop met elke leverancier op de shortlist dezelfde genummerde stappen:
- Leg één realistische functie vast. Geef vijf goedgekeurde eisen, waaronder één harde eis en één voorkeurseis.
- Gebruik één representatief kandidaatdocument. Neem relevante ervaring op die in andere bewoordingen staat dan in de functieomschrijving.
- Voeg één foutgeval toe. Haal een cruciaal gegeven weg, gebruik een niet-ondersteund of beschadigd bestand, of breng bewust een tegenstrijdigheid tussen bronnen aan.
- Volg het volledige proces. Noteer zichtbare onderbouwing uit de bron, onzekerheid, hoe de status wordt gewijzigd, grenzen aan communicatie, gegevensverwerking en traceerbaarheid.
- Geef alleen een score voor wat je hebt gezien. Koppel elke score aan de demonstratienotitie of het document dat die onderbouwt en markeer onbewezen claims als niet geverifieerd.
Geef pas een score na de vragen
Maak een korte beslistabel met aansluiting op het werkproces, onderbouwing voor de beoordelaar, menselijke controle, foutafhandeling, gegevensbeheer, traceerbaarheid, implementatie-inspanning en geloofwaardigheid van de leverancier. Noteer naast elke score wat je in de demonstratie hebt gezien.
De score vat je bevindingen samen, maar vervangt ze niet.
Leveranciers vergelijken na controle van het bewijs
Een vergelijking met scores aan de kant van de koper is alleen nuttig als elke score is onderbouwd met notities uit de demonstratie, zichtbaar bewijs en gedocumenteerde grenzen aan claims.
Beperkingen en verantwoordelijkheid
Deze checklist bepaalt niet of een tool of toepassing rechtmatig, geschikt of conform is. Dat hangt af van hoe het product werkt, de configuratie, het gebruik binnen de organisatie, het rechtsgebied en professioneel advies.
Skilltage adviseert elke leverancier – ook Skilltage – langs dezelfde meetlat te leggen voor werkproces en bewijs.
Gebruik gestructureerde screeningscriteria als testinvoer, de menselijke beslisgrens bij AI-ondersteunde screening als uitgangspunt voor wie beslist, en cv-screening voor productiebedrijven voor een leverancierstest in een productieomgeving.
Volgende stap
Kies één openstaande vacature en één representatief kandidaatdocument. Vraag elke leverancier op de shortlist het volledige traject te laten zien, van goedgekeurde eisen tot een handeling richting de kandidaat die door een mens is beoordeeld, inclusief een foutgeval.