Start med problemet, ikke AI-etiketten
Beskriv det operationelle problem før leverandørsammenligning: for mange CV'er, uensartede kriterier, langsom feedback, manglende evidens eller svag sporbarhed. Produktet skal forbedre workflowet uden at skabe et større beslutnings- eller dataproblem.
Bed leverandøren demonstrere jeres reelle workflow frem for et generisk salgseksempel.
Spørgsmål 1: Hvad kan systemet beslutte eller ændre?
Kræv et præcist kort over alle automatiske output og alle handlinger, der ændrer kandidatens tilstand. Spørg, om produktet automatisk kan:
- afvise eller sende en kandidat videre;
- rangere eller shortliste;
- ændre workflowstatus;
- sende kandidatkommunikation;
- lære af rekrutteringsfolkets handlinger.
Kræv en præcis forklaring af, hvor AI-assistance slutter, og autentificeret menneskelig handling begynder.
Grænsen for menneskelig handling
En nyttig demonstration bør adskille AI-understøttet evidens fra den autentificerede reviewerhandling, der ændrer status eller sender kommunikation.
Spørgsmål 2: Hvad ser revieweren?
Kræv en livedemonstration, der forbinder hver vurdering med inspicerbar kandidatevidens. Bed om at se:
- godkendte krav til rollen;
- kandidatevidens pr. krav;
- kildesteder i det indsendte materiale;
- manglende, svag eller modstridende evidens;
- usikkerhed og behandlingsfejl.
Hvis hovedresultatet er en score eller rangering, så spørg, hvordan revieweren kan udfordre det uden at læse alt forfra.
Synlig evidens
Evidens pr. krav, vurderingstilstand, kildemateriale og mulighed for at udfordre bør være synlige i reviewerens workflow.
Spørgsmål 3: Hvordan oprettes og ændres kriterier?
Kriterier skal være menneskegodkendte, rollespecifikke og versionsstyrede. Find ud af, hvem der kan definere ufravigelige krav, præferencer og irrelevant information, og om ændringer påvirker tidligere vurderinger.
Spørgsmål 4: Hvad sker der ved usikkerhed?
Systemet skal vise usikkerhed og sende fejl til review frem for at fremstille sikkerhed. Brug svære eksempler: usædvanlige jobtitler, tilsvarende erfaring fra en anden branche, scannede PDF'er, ufuldstændige datoer og manglende information.
Se efter en eksplicit manuel reviewtilstand. Et system, der altid svarer sikkert, skjuler fejl.
Fejltilstande og retry
Behandlingskøer bør vise parsing, fejl og klar-tilstande, så reviewere kan retrye, fjerne eller sende materiale til manuel gennemgang.
Spørgsmål 5: Hvilke data behandles, hvor og hvor længe?
Kræv skriftlige svar, der stemmer med kontrakten, for hele dataflowet. Bed om konkrete oplysninger om:
- lagrings- og behandlingsregioner;
- underdatabehandlere og modelleverandører;
- brug af kunde- eller kandidatdata til træning;
- opbevaring efter lukning eller sletning;
- adgang, eksport, sletning og hændelseshåndtering;
- telemetri og logs med persondata.
EDPB's udtalelse om AI-modeller og persondata viser, hvorfor spørgsmål om persondata afhænger af implementeringens konkrete forhold og sikkerhedsforanstaltninger. Svarene skal stemme med kontrakter og privatlivsdokumentation.
Spørgsmål 6: Hvilken sporbarhed findes?
Kræv proportional sporbarhed, som kan genskabe reviewet uden at gemme alt for evigt. Spørg, om organisationen kan fastslå, hvilke kriterier og hvilken systemversion der blev brugt, hvornår behandlingen skete, hvilket output der blev vist, og hvilken menneskelig handling der fulgte.
At gemme alt for evigt er ikke det samme som nyttig sporbarhed.
Spørgsmål 7: Hvilke regulatoriske udsagn er dokumenteret?
Behandl ethvert bredt regulatorisk udsagn som en anmodning om specifik evidens. EU's AI-forordning oplister AI, der er beregnet til at analysere eller filtrere jobansøgninger og evaluere kandidater, blandt de beskæftigelsesanvendelser, som kan være højrisiko. Artikel 6, stk. 3, indeholder begrænsede undtagelser, mens profileringssystemer forbliver højrisiko. Europa-Kommissionens aktuelle vejledning angiver, at højrisikoreglerne på beskæftigelsesområdet finder anvendelse fra 2. december 2027. Bed leverandøren klassificere den faktiske tilsigtede brug og adskille:
- implementerede kontroller og dokumentation;
- nuværende juridiske antagelser;
- planlagt arbejde;
- afsluttede konformitets- eller registreringstrin;
- eventuel ekstern certificering.
Brede udsagn som “AI Act compliant”, “bias free” eller “juridisk sikker” kræver specifik evidens.
Hvilken evidens og hvilke advarselstegn skal I sammenligne?
Skilltage-vejledning: Brug den samme evidensanmodning og definition af advarselstegn for alle leverandører:
| Kriterium | Evidens, I skal bede om | Advarselstegn |
|---|---|---|
| Workflow-fit | Live gennemførelse af jeres workflow fra rolle til review, inklusive overdragelser | En poleret generisk demo erstatter jeres reelle proces |
| Evidens til revieweren | Kildeuddrag pr. krav, usikkerhed og mulighed for at udfordre | Kun en score, rangering eller opsummering er synlig |
| Menneskelig kontrol | Produktdemo af autentificeret progression, afslag og kommunikation | “Human in the loop” hævdes uden at vise handlingsgrænsen |
| Fejlhåndtering | Parsingfejl, manglende oplysninger, retrytilstand og vej til manuelt review | Alle input giver et sikkert svar, eller fejl forsvinder |
| Datahåndtering | Kontrakt, privatlivsdokumentation, underdatabehandlere, regioner, opbevaring, sletning og adgang | Salgssvar strider mod skriftlig dokumentation eller udelader dele af flowet |
| Sporbarhed | Kriterieversion, behandlingsregistrering, vist output og efterfølgende menneskelig handling | Leverandøren tilbyder enten ingen rekonstruktion eller ubegrænset, udifferentieret logning |
| Væsentlige udsagn | Navngivet evidens for hvert regulatorisk, certificerings-, sikkerheds- eller performanceudsagn | Brede udsagn er udokumenterede, uklare eller beskrevet som fremtidigt arbejde |
Hvordan gennemfører I en realistisk leverandørtest?
Skilltage-vejledning: Kør den samme nummererede procedure med alle leverandører på shortlisten:
- Lås én realistisk rolle. Giv fem godkendte krav, herunder ét ufravigeligt krav og én præference.
- Brug ét repræsentativt kandidatdokument. Medtag relevant evidens med andre ord end rollebeskrivelsen.
- Indfør én fejltilstand. Fjern en nøgleoplysning, brug en ikke-understøttet eller beskadiget kopi, eller skab en kontrolleret modstrid mellem kilder.
- Observer hele workflowet. Registrér synlig kildeevidens, usikkerhed, statuskontroller, kommunikationsgrænser, datahåndtering og sporbarhed.
- Giv kun score til det observerede. Vedhæft demonstrationen eller dokumentet bag hver vurdering, og markér udokumenterede udsagn som ikke verificeret.
Brug først en score efter spørgsmålene
Lav en kort beslutningstabel med workflow-fit, evidens, menneskelig kontrol, fejlhåndtering, datastyring, sporbarhed, implementeringsarbejde og troværdighed. Notér evidensen fra demonstrationen ved hver vurdering.
Scoren skal opsummere fundene, ikke erstatte dem.
Vendor-sammenligning efter evidensreview
En scoret købersammenligning er først nyttig, når hver vurdering understøttes af noter fra demonstrationen, synlig evidens og dokumenterede claim-grænser.
Begrænsninger og beslutningsgrænser
Tjeklisten afgør ikke, om et værktøj eller en implementering er lovlig, egnet eller konform. Det afhænger af produktadfærd, konfiguration, organisationens brug, jurisdiktion og professionel rådgivning.
Skilltage anbefaler at vurdere alle leverandører—også Skilltage—efter samme operationelle evidensstandard.
Brug strukturerede screeningskrav som testinput, den menneskelige beslutningsgrænse ved AI-assisteret screening som baseline og workflowet til CV-screening i produktionsvirksomheder til en branchespecifik leverandørtest.
Næste skridt
Vælg én aktiv rolle og ét repræsentativt kandidatdokument. Bed hver leverandør demonstrere hele vejen fra godkendte krav til menneskegennemgået kandidathandling, inklusive en fejltilstand.