Start med problemet, ikke med AI-etiketten
Skriv det konkrete problem ned, før I sammenligner leverandører: for mange CV'er, uensartede kriterier, langsom feedback fra ansættende ledere, for lidt overblik over, hvad vurderingerne bygger på, eller svag sporbarhed. Et produkt skal forbedre den arbejdsgang uden at skabe et større problem med beslutninger eller datastyring.
Bed leverandøren vise jeres egen proces frem for et poleret standardeksempel.
Spørgsmål 1: Hvad kan systemet afgøre eller ændre?
Bed om en præcis oversigt over alt, hvad systemet producerer automatisk, og alle handlinger, der ændrer noget i forløbet. Spørg, om produktet automatisk kan:
- afvise en kandidat eller sende vedkommende videre;
- rangordne kandidater eller sætte dem på en shortliste;
- ændre status i forløbet;
- sende beskeder til kandidater;
- lære af rekrutterernes handlinger.
Bed om en præcis forklaring på, hvor AI-assistancen slutter, og hvor den handling begynder, som en logget ind bruger selv foretager. “Human in the loop” er ikke nok uden konkrete detaljer om, hvordan det fungerer i produktet.
Grænsen mellem AI og menneskelig handling
En brugbar demonstration skelner mellem det belæg, AI'en hjælper med at finde frem, og den handling, som en logget ind rekrutteringsansvarlig selv foretager, når status ændres, eller en besked sendes.
Spørgsmål 2: Hvad ser den rekrutteringsansvarlige egentlig?
Bed om en live-visning, der knytter hver vurdering til belæg i kandidatens materiale, som I selv kan efterprøve. Bed om at se:
- de godkendte krav til stillingen;
- belægget i kandidatens materiale for hvert krav;
- hvor i det indsendte materiale belægget står;
- manglende, svagt eller modstridende belæg;
- usikkerhed og behandlingsfejl.
Er hovedresultatet en score eller en rangliste, så spørg, hvordan den rekrutteringsansvarlige kan anfægte resultatet uden at læse alle dokumenter forfra.
Synligt belæg
Belæg pr. krav, vurderingens status, kildemateriale og mulighed for at anfægte vurderingen bør være synlige der, hvor den rekrutteringsansvarlige arbejder.
Spørgsmål 3: Hvordan oprettes og ændres kriterierne?
Kriterierne skal være godkendt af et menneske, specifikke for stillingen og versionsstyrede. Find ud af, hvem der kan fastlægge hårde krav, foretrukne krav og irrelevante oplysninger. Spørg, om en ændring kan slå igennem på kandidatvurderinger, der allerede er lavet, uden at nogen opdager det.
Et godt værktøj gør det tydeligt, hvilket godkendt grundlag kandidaterne sammenlignes på.
Spørgsmål 4: Hvad sker der, når systemet er usikkert?
Systemet skal vise usikkerhed og sende fejl til manuel gennemgang i stedet for at foregive sikkerhed. Brug svære eksempler under demonstrationen: usædvanlige jobtitler, tilsvarende erfaring fra en anden branche, scannede PDF'er, ufuldstændige ansættelsesdatoer og manglende oplysninger.
Se efter tydelige statusser for manuel gennemgang. Et system, der altid kommer med et selvsikkert svar, skjuler fejl i stedet for at håndtere dem.
Synlige fejl
Hvert kildedokument bør vise, om det er analyseret, mangler eller ikke kunne analyseres, så den rekrutteringsansvarlige kan prøve igen, fjerne materialet eller sende det til manuel gennemgang.
Spørgsmål 5: Hvilke data behandles, hvor og hvor længe?
Bed om skriftlige svar om hele dataflowet, som stemmer overens med kontrakten. Bed om konkrete oplysninger om:
- hvilke regioner data lagres og behandles i;
- underdatabehandlere og udbydere af AI-modeller;
- om kunde- eller kandidatdata bruges til at træne modeller;
- hvor længe data opbevares, efter at sagen er lukket, eller efter at der er bedt om sletning;
- adgangsstyring, eksport, sletning og hjælp ved sikkerhedshændelser;
- telemetri og logfiler, der kan indeholde persondata.
EDPB's udtalelse om AI-modeller og persondata viser, hvorfor spørgsmål om persondata afhænger af de konkrete forhold og garantier i den enkelte løsning. Svarene skal stemme overens med kontrakter og privatlivsdokumentation – ikke kun med det, sælgeren siger.
Spørgsmål 6: Hvilken sporbarhed er der?
Bed om sporbarhed i et passende omfang, så vurderingen kan genskabes, uden at alt gemmes på ubestemt tid. Spørg, om organisationen kan se, hvilke kriterier og hvilken systemversion der blev brugt, hvornår behandlingen skete, hvilket resultat der blev vist, og hvilken menneskelig handling der fulgte.
At gemme alle prompts og dokumenter for evigt er ikke det samme som brugbar sporbarhed.
Spørgsmål 7: Hvilke udsagn om regelefterlevelse er dokumenteret?
Behandl ethvert bredt udsagn om regulering som en anledning til at bede om konkret dokumentation. AI-forordningen nævner AI-systemer, der er beregnet til at analysere eller filtrere jobansøgninger og evaluere kandidater, blandt de anvendelser på beskæftigelsesområdet, der kan være højrisiko. Artikel 6, stk. 3, indeholder begrænsede undtagelser, der afhænger af de konkrete forhold; systemer, der profilerer fysiske personer, betragtes altid som højrisiko. Europa-Kommissionens aktuelle retningslinjer angiver, at højrisikoreglerne på beskæftigelsesområdet gælder fra 2. december 2027. Bed leverandøren klassificere systemets faktiske tilsigtede formål og holde disse ting adskilt:
- implementerede kontroller og tilgængelig dokumentation;
- nuværende juridiske antagelser;
- planlagt arbejde;
- gennemførte trin i overensstemmelsesvurdering eller registrering;
- eventuel ekstern certificering.
Det gælder især brede udsagn som “AI Act-compliant”, “biasfri” eller “juridisk sikker”.
Hvilken dokumentation og hvilke advarselstegn skal I sammenligne?
Skilltage-vejledning: Bed alle leverandører om den samme dokumentation, og brug den samme definition af advarselstegn for dem alle:
| Kriterium | Det skal I bede om at se | Advarselstegn |
|---|---|---|
| Passer til jeres proces | Jeres eget forløb fra stilling til vurdering gennemført live, inklusive overdragelser | En poleret standarddemo erstatter jeres egen proces |
| Belæg for den, der vurderer | Kildeuddrag pr. krav, usikkerhed og mulighed for at anfægte vurderingen | Kun en score, en rangering eller et resumé er synligt |
| Menneskelig kontrol | Demonstration i produktet af, at en logget ind bruger selv sender videre, afviser og kommunikerer | “Human in the loop” påstås, uden at det vises, hvor grænsen går |
| Fejlhåndtering | En mislykket CV-parsing, manglende oplysninger, mulighed for at prøve igen og en vej til manuel gennemgang | Alt input giver et selvsikkert svar, eller fejl forsvinder |
| Datahåndtering | Kontrakt, privatlivsdokumentation, underdatabehandlere, regioner, opbevaring, sletning og adgangsstyring | Salgssvarene strider mod den skriftlige dokumentation eller udelader dele af dataflowet |
| Sporbarhed | Kriterieversion, registrering af behandlingen, vist resultat og efterfølgende menneskelig handling | Forløbet kan slet ikke genskabes, eller alt logges ukritisk og uden tidsgrænse |
| Væsentlige udsagn | Konkret dokumentation for hvert udsagn om regulering, certificering, sikkerhed eller ydeevne | Brede udsagn er udokumenterede, uklare eller beskrevet som fremtidigt arbejde |
Hvordan gennemfører I en realistisk leverandørtest?
Skilltage-vejledning: Gennemfør den samme nummererede procedure med alle leverandører på shortlisten:
- Fastlæg én realistisk stilling. Brug fem godkendte krav, herunder ét hårdt krav og ét foretrukket krav.
- Brug ét repræsentativt kandidatdokument. Det skal indeholde relevant belæg, der er formuleret med andre ord end i stillingsbeskrivelsen.
- Indbyg én fejlsituation. Fjern en vigtig oplysning, brug en fil i et format, der ikke understøttes, eller en beskadiget kopi, eller læg en kontrolleret modstrid ind mellem kilderne.
- Følg hele forløbet. Noter synligt kildebelæg, usikkerhed, hvordan status ændres, grænser for kommunikation, datahåndtering og sporbarhed.
- Giv kun point for det, I har set. Vedhæft notatet fra demonstrationen eller det dokument, der understøtter hver vurdering, og marker udokumenterede udsagn som ikke verificerede.
Giv først point, når spørgsmålene er besvaret
Lav en kort beslutningstabel med disse kriterier: passer til jeres proces, synligt belæg for vurderingen, menneskelig kontrol, fejlhåndtering, datastyring, sporbarhed, implementeringsindsats og leverandørens troværdighed. Noter belægget fra demonstrationen ud for hver vurdering.
Pointene skal opsummere jeres fund, ikke erstatte dem.
Leverandørsammenligning efter gennemgang af dokumentationen
En sammenligning med point er først nyttig for køberen, når hver vurdering bygger på noter fra demonstrationen, synligt belæg og dokumenterede grænser for leverandørens udsagn.
Begrænsninger og ansvar
Tjeklisten afgør ikke, om et værktøj eller en konkret anvendelse er lovlig, egnet eller i overensstemmelse med reglerne. Det afhænger af produktets adfærd, konfigurationen, organisationens brug, jurisdiktionen og professionel rådgivning.
Skilltage anbefaler, at alle leverandører – også Skilltage – vurderes efter de samme praktiske krav til dokumentation.
Brug strukturerede screeningskrav som testgrundlag, den menneskelige beslutningsgrænse ved AI-assisteret screening som udgangspunkt for, hvem der træffer beslutningerne, og CV-screening i produktionsvirksomheder til en leverandørtest målrettet produktion.
Næste skridt
Vælg én aktiv stilling og ét repræsentativt kandidatdokument. Bed hver leverandør på shortlisten vise hele forløbet fra godkendte krav til den handling over for kandidaten, som et menneske har taget stilling til – inklusive en fejlsituation.