Sådan måler I, om jeres CV-screening faktisk bliver bedre

Hvad betyder bedre CV-screening?#

Bedre screening kan ikke koges ned til ét tal. En brugbar opfølgning undersøger, om kandidaterne går gennem en kontrolleret proces, om bedømmerne kan nå arbejdet, om beslutningerne bygger ensartet på synlig dokumentation, og om fejl bliver opdaget og fulgt op. En hurtigere screening kan være en dårligere screening, hvis den skjuler manglende dokumentation, parsingfejl eller beslutninger, som et menneske efterfølgende har omgjort.

Acas anbefaler en ensartet proces med udgangspunkt i jobbeskrivelsen og kravprofilen, mens CIPD beskriver strukturerede udvælgelsesmetoder og deres evidensgrundlag. Ingen af kilderne giver et universelt scorecard, der passer til alle stillinger. Teamet skal stadig selv definere, hvad det måler, og have nævneren med.

AI-forordningen danner baggrund for spørgsmål om gennemsigtighed, menneskeligt tilsyn, nøjagtighed, robusthed og overvågning for de systemer, der er omfattet. ICO's tilsyn med AI-værktøjer til rekruttering beskriver problemer, som blev fundet i bestemte værktøjer og arbejdsgange. Kilderne foreskriver ikke skemaet nedenfor, og de beviser hverken, at en proces overholder reglerne, eller at målene er fair eller valide.

Fastlæg en baseline, før I sammenligner perioder#

Definér én stilling, én godkendt kriterieversion, én afgrænset kreds af ansøgerkilder og én beslutningsregel for screeningen. Skilltage-vejledning: brug de første 25 afsluttede vurderinger eller de første fire uger som baseline – alt efter hvad der tager længst tid. Følg derefter op hver fjerde uge. Lad to bedømmere vurdere 20 % af kohorten uafhængigt af hinanden, med 10–30 sager pr. periode. Er der færre end 10 sager, så vis de enkelte sager, og undlad at konkludere en tendens.

Bland ikke væsentligt forskellige stillinger, kriterieversioner, sprog eller ansøgerkilder sammen i én andel. Ændrer en af dem sig, så start en ny delgruppe, eller markér tydeligt, at sammenligningen er brudt.

Resultatmål#

Fra screening til samtale#

• Tæller: kandidater i kohorten, der fik planlagt en samtale efter screeningen.
• Nævner: kandidater i samme kohorte, hvor et menneske har truffet en afsluttet screeningsbeslutning.
• Kohorte og periode: én stilling, én kriterieversion, én afgrænsning af ansøgerkilder og en periode på fire uger.
• Forbehold: andelen afhænger af ansøgerfeltet, kapaciteten til samtaler og ansættelser og de valgte tærskler; den beviser hverken screeningens kvalitet eller en bedre ansættelse.
• Ejer: rekrutteringsansvarlig.
• Tærskel: undersøg en absolut ændring på 10 procentpoint i forhold til baseline eller enhver væsentlig ændring i kohorten.
• Handling: gennemgå kriterier, kildemix, kapacitet og beslutningsnoter; hæv eller sænk ikke automatisk målet for, hvor mange der går videre til samtale.
• Næste opfølgning: næste fireugersopfølgning, noteret i måleskemaet.

Procesmål#

Screeningstempo#

• Tæller: afsluttede screeningsbeslutninger truffet af mennesker.
• Nævner: de bedømmertimer, der er brugt på beslutningerne; notér også det rå antal beslutninger og den mediane gennemløbstid hver for sig.
• Kohorte og periode: samme stillingskohorte og fireugersperiode som resultatmålet.
• Forbehold: et højere tempo kan skyldes mindre grundige vurderinger, enklere kandidater eller bedre forberedelse; det er ikke i sig selv et kvalitetsresultat.
• Ejer: ansvarlig for screeningsprocessen.
• Tærskel: undersøg en ændring på 20 % eller mere i forhold til baseline – op eller ned.
• Handling: tag stikprøver af beslutninger og fejlsager, før I ændrer bemanding eller arbejdsgang.
• Næste opfølgning: næste fireugersopfølgning.

Anmodninger om afklaring#

• Tæller: vurderede kandidater, der har fået mindst én anmodning om afklaring vedrørende stillingen.
• Nævner: alle kandidater i kohorten med en afsluttet screening.
• Kohorte og periode: samme stilling og fireugersperiode; tæl hver kandidat én gang, også selvom der er stillet flere spørgsmål.
• Forbehold: en anmodning om afklaring kan være en sund måde at indhente dokumentation på; færre anmodninger er ikke automatisk bedre.
• Ejer: ledende bedømmer.
• Tærskel: undersøg en absolut ændring på 10 procentpoint, eller hvis det samme spørgsmål går igen hos mindst tre kandidater.
• Handling: afgør, om kriteriet, ansøgningsspørgsmålet, stillingsopslaget eller vejledningen til bedømmerne skal revideres.
• Næste opfølgning: næste fireugersopfølgning – eller før, hvis et kriterium bliver revideret.

Kvalitetsmål#

Enighed mellem bedømmere#

• Tæller: uafhængigt dobbeltvurderede sager, hvor begge bedømmere satte samme første vurderingsstatus.
• Nævner: alle sager i perioden, der blev dobbeltvurderet uafhængigt før drøftelse.
• Kohorte og periode: den lagdelte stikprøve på 20 % for stillingen med samme kriterieversion; notér enighed om dokumentationsstatus separat.
• Forbehold: enighed beviser ikke, at et kriterium er relevant, fair, lovligt eller korrekt.
• Ejer: kalibreringsansvarlig.
• Tærskel: enhver uenighed om et hårdt krav eller et fald på 10 procentpoint i forhold til baseline.
• Handling: sammenlign dokumentationen i kilden og formuleringerne, kalibrér bedømmerne, og giv enhver godkendt ændring af et kriterium et nyt versionsnummer.
• Næste opfølgning: straks efter kalibreringen og igen i næste fireugersstikprøve.

Dækningsgrad for dokumentation#

• Tæller: kriterievurderinger i stikprøven (ét kriterium for én kandidat), der enten har sporbar dokumentation i kilden eller en eksplicit status: mangler, usikker, modstridende eller analyse fejlede.
• Nævner: alle relevante kriterievurderinger i stikprøven.
• Kohorte og periode: alle kriterier for den dobbeltvurderede stikprøve i fireugersperioden.
• Forbehold: en registreret status gør vurderingen sporbar, men beviser ikke, at dokumentationen er tilstrækkelig, eller at kriteriet er validt.
• Ejer: ansvarlig for gennemgang af dokumentation.
• Tærskel: ethvert afgørende kriterium uden sporbar kilde eller status, eller en samlet dækningsgrad under 95 %.
• Handling: find kilden frem igen, ret status, eller sæt beslutningen på pause, før I bygger videre på resultatet.
• Næste opfølgning: efter udbedringen og i næste planlagte stikprøve.

Skred i fortolkningen#

• Tæller: kontrollerede beslutninger, der ikke følger kriteriets fastlåste ordlyd og den aftalte fortolkning af dokumentationen.
• Nævner: alle beslutninger, der er kontrolleret mod netop den kriterieversion.
• Kohorte og periode: den dobbeltvurderede stikprøve plus eventuelle eskalerede sager i fireugersperioden.
• Forbehold: en ændret fortolkning kan afspejle, at stillingen reelt har ændret sig; men baseline må ikke i al stilhed skrives om, så den passer til en foretrukken kandidat.
• Ejer: ansættende leder og rekrutteringsansvarlig i fællesskab.
• Tærskel: enhver flytning af tærsklen, mens screeningen er i gang, eller skred i mere end 10 % af de kontrollerede sager.
• Handling: sæt screeningen på pause, dokumentér årsagen, godkend og versionér kriteriet, hvis det er berettiget, og start derefter en ny sammenligning under den nye version.
• Næste opfølgning: før der screenes videre med det ændrede kriterium og ved næste fireugersopfølgning.

Sikkerheds- og kontrolmål#

Parsingfejl#

• Tæller: indsendte dokumenter, hvor parsingen fejlede, eller hvor en væsentlig udeladelse blev fundet, da kilden blev hentet frem manuelt.
• Nævner: alle dokumenter i den definerede screeningskohorte; vis blokeret, i kø, fejlet og klar hver for sig.
• Kohorte og periode: dokumenter til stillingen modtaget i fireugersperioden.
• Forbehold: layout og sprog påvirker andelen; en fejl betyder, at input mangler – ikke at der er belæg imod kandidaten.
• Ejer: ansvarlig for modtagelse af ansøgninger (intake).
• Tærskel: enhver fejl, der påvirker en beslutning, uden at kilden er hentet frem, eller en andel, der er mindst dobbelt så høj som baseline.
• Handling: sæt den berørte beslutning på pause, tjek originalen, notér, hvordan kilden blev genskabt, og eskalér gentagne fejlmønstre.
• Næste opfølgning: når kilden er genskabt, og ved næste fireugersopfølgning.

Genåbnede eller omgjorte beslutninger#

• Tæller: kandidater, hvis første registrerede afsluttede status senere blev genåbnet eller ændret.
• Nævner: kandidater i kohorten med en første status som shortlistet eller afvist.
• Kohorte og periode: beslutninger, der første gang blev afsluttet i fireugersperioden, fulgt frem til næste opfølgning.
• Forbehold: det kan være rigtigt at omgøre en beslutning, når der kommer ny dokumentation; årsagen betyder mere end at holde andelen nede.
• Ejer: rekrutteringsansvarlig.
• Tærskel: enhver omgørelse uden navngiven årsag og ejer, eller en andel over 10 %.
• Handling: klassificér årsagen som ny dokumentation, skred i kriteriet, kildefejl, bedømmerfejl eller procesændring, og tag hånd om netop den årsag.
• Næste opfølgning: når rekrutteringssagen lukkes, og ved næste fireugersopfølgning.

Afviste eller ændrede værktøjsforslag#

• Tæller: sager i stikprøven, hvor en bedømmer afviste eller ændrede et synligt forslag fra værktøjet.
• Nævner: sager i stikprøven, hvor der faktisk var et sådant forslag; skriv »ikke registreret«, hvis det ikke blev registreret.
• Kohorte og periode: den dobbeltvurderede stikprøve i fireugersperioden.
• Forbehold: en høj eller lav andel siger ikke i sig selv noget om kvalitet, og Skilltage tilbyder ikke i dag dette scorecard som analysedashboard.
• Ejer: ansvarlig for menneskeligt tilsyn.
• Tærskel: enhver afvisning eller ændring uden en registreret begrundelse med belæg i dokumentationen, eller en absolut ændring på 10 procentpoint i forhold til baseline.
• Handling: gennemgå kilden, forslaget, bedømmerens begrundelse og kriteriet; ret arbejdsgangen i stedet for at styre efter en bestemt andel.
• Næste opfølgning: efter enhver ubegrundet afvisning eller ændring og ved næste fireugersopfølgning.

Skema til baseline og periodisk opfølgning#

Brug én række pr. mål. Skriv aldrig en procent uden tæller og nævner.

Regneeksempel#

I en baseline på fire uger med 40 afsluttede screeninger noterer teamet 10 planlagte samtaler (10/40), 8 kandidater, der fik en anmodning om afklaring (8/40), samme første status i 10 af 12 dobbeltvurderinger (10/12) og 188 eksplicitte dokumentationsstatusser ud af 200 kriterievurderinger (188/200). Teamet noterer også 3 dokumenter med parsingfejl eller væsentlig udeladelse ud af 40 modtagne (3/40), 2 genåbnede beslutninger ud af 34 første afsluttede statusser (2/34) og 4 afviste eller ændrede forslag ud af 15 stikprøvesager, hvor et forslag var synligt (4/15).

Tallene er en baseline, ikke en dom. Ved næste opfølgning sammenligner ejeren æbler med æbler, anvender de registrerede tærskler, forklarer ændrede nævnere og noterer handlingen. En samlet score eller et gennemsnit må ikke skjule et nul for genskabelse af kilder eller menneskelig kontrol.

Hvad kan Skilltage gøre synligt i dag?#

Skilltage-vejledning: knyt måleskemaet til jeres faktiske arbejdsgang uden at påstå, at der findes et færdigt analyseværktøj. Skilltage holder trinnene Definér, Intake, Gennemgå og Interaktioner adskilt; viser status for dokumentbehandlingen; viser dokumentation og huller for hvert krav; lader et menneske vælge kandidatens vurderingsstatus; og fører en afgrænset log over menneskelige og AI-baserede handlinger. Den nuværende forbrugsopgørelse handler om produktforbrug som modeltokens, ikke om kvalitetsscorecardet ovenfor. Teamet skal selv beregne, fortolke og eje målene uden for produktet, medmindre en særskilt analysefunktion bliver implementeret og valideret.

Begrænsninger og næste skridt#

Scorecardet kan ikke bevise, at processen er fair, lovlig, valid eller præcis, eller at I ansætter bedre. Små stikprøver svinger, enighed kan fastholde en dårlig regel, andelen, der går videre til samtale, ændrer sig med ansøgerfeltet, og registreret dokumentation kan stadig blive fejlfortolket. Konsekvenser for grupper, der er beskyttet mod forskelsbehandling, og krav, der gælder i den enkelte jurisdiktion, kræver en analyse med passende styring og kvalificeret rådgivning.

Start med at sætte grænser for menneskelig kontrol i AI-assisteret CV-screening. Er der tale om en produktafprøvning, så definér målene i en AI-assisteret screeningspilot, der kan rulles tilbage. Når enigheden mellem bedømmerne skrider, så kalibrér screeningskriterierne igen, og når udtrækket fra kilden fejler, så brug den manuelle nødprocedure, når CV-parsing fejler.