Börja med problemet, inte med AI-etiketten
Innan du jämför leverantörer bör du skriva ned det praktiska problemet: för många CV:n, olika bedömningsgrunder, långsam återkoppling från rekryterande chefer, dålig överblick över beläggen eller svag spårbarhet. En produkt ska förbättra just det arbetsflödet utan att skapa ett allvarligare problem med beslut eller datastyrning.
Be leverantören visa ert verkliga arbetsflöde i stället för ett välputsat standardexempel.
Fråga 1: Vad kan systemet besluta eller ändra?
Kräv en exakt genomgång av alla automatiska utdata och alla åtgärder som ändrar status. Fråga om produkten automatiskt kan:
- avslå en kandidat eller låta en kandidat gå vidare
- rangordna kandidater eller välja ut vilka som går vidare
- ändra status i arbetsflödet
- skicka meddelanden till kandidater
- lära sig av rekryterarnas åtgärder.
Be om en precis förklaring av var AI-stödet slutar och var en inloggad persons åtgärd tar vid. Att det finns ”en människa i loopen” räcker inte utan detaljer om hur det fungerar i produkten.
Gränsen för mänskliga åtgärder
En bra demonstration skiljer AI-stödda belägg från den åtgärd som en inloggad granskare utför för att ändra status eller skicka meddelanden.
Fråga 2: Vad ser granskaren faktiskt?
Kräv en livevisning som kopplar varje bedömning till belägg om kandidaten som går att granska. Be att få se:
- de godkända kraven för rollen
- kandidatens belägg kopplade till varje krav
- var i det inskickade materialet beläggen finns
- belägg som saknas, är svaga eller motsäger varandra
- osäkerheter och fel i behandlingen.
Om huvudresultatet är en poäng eller en rangordnad lista: fråga hur en granskare kan ifrågasätta resultatet utan att läsa om varje dokument från början.
Synliga belägg
Belägg krav för krav, bedömningens status, källmaterial och möjligheten att ifrågasätta bedömningen ska synas i granskarens arbetsflöde.
Fråga 3: Hur skapas och ändras kriterierna?
Kriterierna ska vara godkända av en människa, gälla den specifika rollen och vara versionshanterade. Ta reda på vem som kan bestämma ska-krav, bör-krav och vilken information som är irrelevant. Fråga om en ändring i det tysta kan påverka bedömningar av kandidater som redan har gjorts.
Bra granskningsverktyg gör det godkända jämförelseunderlaget synligt.
Fråga 4: Vad händer när systemet är osäkert?
Systemet ska visa osäkerhet och skicka fel vidare till granskning i stället för att låtsas vara säkert. Använd svåra exempel under demonstrationen: ovanliga yrkestitlar, likvärdig erfarenhet från en annan bransch, inskannade PDF-filer, ofullständiga anställningsdatum och uppgifter som saknas.
Leta efter tydliga statusar för manuell granskning. Ett system som alltid ger ett säkert svar döljer sina fel i stället för att hantera dem.
Synliga felstatusar
Varje källdokument ska visa om det har analyserats, saknas eller om analysen misslyckades, så att granskaren kan försöka igen, ta bort materialet eller skicka det till manuell granskning.
Fråga 5: Vilka data behandlas, var och hur länge?
Kräv skriftliga svar som stämmer med avtalet och täcker hela dataflödet. Be om konkreta uppgifter om:
- regioner för lagring och behandling
- underbiträden och modelleverantörer
- om kundens eller kandidaternas data används för att träna modeller
- lagringstid efter att rekryteringen har avslutats eller data har raderats
- behörighetsstyrning, export, radering och stöd vid incidenter
- telemetri och loggar som kan innehålla personuppgifter.
EDPB:s yttrande om AI-modeller och personuppgifter visar varför frågor om personuppgifter beror på omständigheterna och skyddsåtgärderna i det enskilda införandet. Svaren ska stämma med avtalet och integritetsdokumentationen, inte bara med vad säljaren säger.
Fråga 6: Vilken spårbarhet finns?
Kräv spårbarhet som står i proportion till behovet och gör det möjligt att rekonstruera granskningen utan att allt sparas för all framtid. Fråga om organisationen kan ta reda på vilka kriterier och vilken systemversion som användes, när behandlingen skedde, vilket resultat som visades och vilken mänsklig åtgärd som följde.
Att spara varje prompt och varje dokument för alltid är inte samma sak som användbar spårbarhet.
Fråga 7: Vilka påståenden om regelverk har stöd?
Se varje brett påstående om regelverk som en anledning att begära konkret underlag. EU:s AI-förordning räknar AI som är avsedd att analysera eller filtrera platsansökningar och bedöma kandidater till de användningsområden inom anställning som kan utgöra hög risk. Artikel 6.3 innehåller begränsade undantag som beror på omständigheterna i det enskilda fallet, men system som profilerar fysiska personer räknas fortfarande som AI-system med hög risk. Enligt Europeiska kommissionens aktuella vägledning gäller reglerna för AI-system med hög risk inom anställning från och med den 2 december 2027. Be leverantören klassificera den faktiska avsedda användningen och hålla isär:
- införda kontroller och tillgänglig dokumentation
- nuvarande juridiska antaganden
- planerat arbete
- genomförda steg för bedömning av överensstämmelse eller registrering
- eventuell extern certifiering.
Det gäller i synnerhet breda påståenden som ”uppfyller AI-förordningen”, ”fri från partiskhet” eller ”juridiskt säker”.
Vilka belägg och varningssignaler bör du jämföra?
Skilltages vägledning: begär samma underlag och använd samma varningssignaler för varje leverantör:
| Kriterium | Underlag att begära | Varningssignal |
|---|---|---|
| Passar arbetsflödet | Att ert flöde från roll till granskning genomförs i sin helhet live, inklusive överlämningar | En välputsad standarddemo ersätter er verkliga process |
| Granskarens belägg | Utdrag ur källan krav för krav, osäkerheter och möjlighet att ifrågasätta | Bara en poäng, en rangordning eller en sammanfattning syns |
| Mänsklig kontroll | Demonstration i produkten av hur en inloggad person låter kandidater gå vidare, avslår och skickar meddelanden | ”En människa i loopen” påstås utan att gränsen för åtgärderna visas |
| Felhantering | En misslyckad tolkning, uppgifter som saknas, möjlighet att försöka igen och väg till manuell granskning | Alla indata ger ett säkert resultat, eller så försvinner felen |
| Datahantering | Avtal, integritetsdokumentation, underbiträden, regioner, lagringstid, radering och behörighetsstyrning | Säljarens svar strider mot den skriftliga dokumentationen eller utelämnar delar av flödet |
| Spårbarhet | Kriterieversion, behandlingspost, visat resultat och efterföljande mänsklig åtgärd | Leverantören erbjuder antingen ingen rekonstruktion alls eller urskillningslös loggning utan slut |
| Väsentliga påståenden | Namngivet underlag för varje påstående om regelverk, certifiering, säkerhet eller prestanda | Breda påståenden saknar stöd, är tvetydiga eller beskrivs som framtida arbete |
Hur genomför du ett realistiskt leverantörstest?
Skilltages vägledning: gå igenom samma numrerade steg med varje leverantör ni har kvar i urvalet:
- Lås en realistisk roll. Ange fem godkända krav, varav ett ska-krav och ett bör-krav.
- Använd ett representativt kandidatdokument. Ta med relevanta belägg som uttrycks med andra ord än i rollbeskrivningen.
- Lägg in ett felfall. Ta bort en viktig uppgift, använd en kopia i ett format som inte stöds eller som är skadad, eller skapa en kontrollerad motsägelse mellan källor.
- Följ hela arbetsflödet. Notera synliga belägg i källan, osäkerheter, statuskontroller, gränser för kommunikationen, datahantering och spårbarhet.
- Poängsätt bara det du har sett. Bifoga anteckningen från demonstrationen eller dokumentet som stöder varje bedömning, och markera obevisade påståenden som ej verifierade.
Poängsätt först när frågorna är besvarade
Gör en kort beslutstabell med passform i arbetsflödet, granskarens belägg, mänsklig kontroll, felhantering, datastyrning, spårbarhet, insats vid införandet och leverantörens trovärdighet. Notera underlaget från demonstrationen bredvid varje bedömning.
Poängen ska sammanfatta det ni har kommit fram till, inte ersätta det.
Leverantörsjämförelse efter granskning av underlaget
En poängsatt jämförelse på köparsidan är bara användbar när varje bedömning stöds av anteckningar från demonstrationen, synliga belägg och dokumenterade gränser för påståendena.
Begränsningar och beslutsgränser
Checklistan avgör inte om ett verktyg eller ett införande är lagligt, lämpligt eller uppfyller kraven. Det beror på hur produkten fungerar, hur den är konfigurerad, hur organisationen använder den, vilken jurisdiktion som gäller och på professionell rådgivning.
Skilltage rekommenderar att alla leverantörer – även Skilltage – utvärderas mot samma krav på arbetsflöde och underlag.
Använd strukturerade krav för urvalet som testunderlag, gränsen för mänsklig granskning vid AI-stödd CV-granskning som utgångspunkt för beslutskontrollen och arbetsflödet för CV-granskning inom tillverkning för ett leverantörstest som är anpassat för produktionsroller.
Nästa steg
Välj en aktiv tjänst och ett representativt kandidatdokument. Be varje leverantör ni har kvar i urvalet att visa hela vägen från godkända krav till en kandidatåtgärd som en människa har granskat, inklusive ett felfall.