Sprawdź, czy selekcja CV naprawdę się poprawia

Co oznacza lepsza selekcja CV?#

Lepszej selekcji nie da się sprowadzić do jednej liczby. Rzetelny przegląd sprawdza, czy kandydaci przechodzą przez kontrolowany proces, czy osoby oceniające są w stanie wykonać pracę, czy decyzje konsekwentnie opierają się na widocznych informacjach z CV i czy błędy prowadzą do konkretnych działań. Szybsza selekcja może być gorsza, jeśli ukrywa brak potwierdzeń w CV, błędy parsowania albo decyzje, które człowiek musiał później zmienić.

Acas zaleca spójny proces oparty na opisie stanowiska i profilu kandydata, a CIPD opisuje ustrukturyzowane metody selekcji oraz to, co mówią o nich badania. Żadne z tych źródeł nie podaje uniwersalnej karty wyników dla każdego stanowiska. Zespół i tak musi sam określić, co mierzy, i zachować mianownik.

Akt w sprawie sztucznej inteligencji (AI Act) stanowi tło dla kwestii przejrzystości, nadzoru ze strony człowieka, dokładności, solidności i monitorowania systemów objętych regulacją. Audyty ICO dotyczące narzędzi AI w rekrutacji opisują problemy wykryte w konkretnych skontrolowanych narzędziach i praktykach. Źródła te nie narzucają poniższego arkusza i nie dowodzą, że proces jest zgodny z przepisami ani że miary są sprawiedliwe czy trafne.

Ustal punkt odniesienia, zanim zaczniesz porównywać okresy#

Określ jedno stanowisko, jedną zatwierdzoną wersję kryteriów, jeden zakres źródeł kandydatów i jedną regułę podejmowania decyzji w selekcji. Wskazówki Skilltage: za punkt odniesienia przyjmij pierwszych 25 zakończonych ocen albo pierwsze cztery tygodnie — w zależności od tego, co potrwa dłużej. Następnie wykonuj przegląd co cztery tygodnie. Zleć niezależną podwójną ocenę 20% kohorty, czyli od 10 do 30 kandydatur w każdym okresie. Jeśli kandydatur jest mniej niż 10, pokaż poszczególne przypadki i nie wyciągaj wniosków o trendzie.

Nie łącz w jednym wskaźniku istotnie różnych stanowisk, wersji kryteriów, języków ani źródeł kandydatów. Jeśli któryś z tych elementów się zmieni, utwórz nową grupę porównawczą albo wyraźnie zaznacz, że ciągłość porównania została przerwana.

Miara rezultatu#

Odsetek zaproszeń na rozmowę#

• Licznik: kandydaci z kohorty, z którymi po selekcji umówiono rozmowę.
• Mianownik: kandydaci z tej samej kohorty, wobec których człowiek podjął ostateczną decyzję w selekcji.
• Kohorta i okres: jedno stanowisko, jedna wersja kryteriów, jeden zakres źródeł kandydatów i okres czterech tygodni.
• Zastrzeżenie: odsetek zależy od puli kandydatów, możliwości zespołu i przyjętych progów; nie dowodzi jakości selekcji ani trafniejszego zatrudnienia.
• Właściciel: osoba kierująca rekrutacją.
• Próg: zbadaj zmianę o 10 punktów procentowych względem punktu odniesienia albo każdą istotną zmianę kohorty.
• Działanie: przeanalizuj kryteria, strukturę źródeł, możliwości zespołu i zapisy decyzji; nie podnoś ani nie obniżaj automatycznie docelowego odsetka.
• Następny przegląd: kolejny czterotygodniowy przegląd karty wyników, odnotowany w arkuszu.

Miary procesu#

Wydajność selekcji#

• Licznik: decyzje w selekcji podjęte przez człowieka.
• Mianownik: godziny pracy osób oceniających poświęcone na te decyzje; osobno zapisz też liczbę decyzji i medianę czasu ich realizacji.
• Kohorta i okres: ta sama kohorta stanowiska i ten sam czterotygodniowy okres co w mierze rezultatu.
• Zastrzeżenie: wyższa wydajność może oznaczać mniej wnikliwą ocenę, prostsze kandydatury albo lepsze przygotowanie; sama w sobie nie świadczy o jakości.
• Właściciel: osoba odpowiedzialna za organizację selekcji.
• Próg: zbadaj zmianę o co najmniej 20% względem punktu odniesienia — w górę lub w dół.
• Działanie: przejrzyj próbę decyzji i przypadków błędów, zanim zmienisz obsadę lub proces.
• Następny przegląd: kolejny przegląd czterotygodniowy.

Odsetek próśb o doprecyzowanie#

• Licznik: ocenieni kandydaci, do których wysłano co najmniej jedną prośbę o doprecyzowanie związaną ze stanowiskiem.
• Mianownik: wszyscy kandydaci z kohorty z zakończoną selekcją.
• Kohorta i okres: to samo stanowisko i ten sam czterotygodniowy okres; każdego kandydata licz raz, nawet jeśli wysłano mu kilka pytań.
• Zastrzeżenie: prośba o doprecyzowanie może być rozsądnym sposobem zbierania informacji; mniejsza liczba próśb nie jest automatycznie lepsza.
• Właściciel: główna osoba oceniająca.
• Próg: zbadaj zmianę o 10 punktów procentowych albo każde pytanie, które powtarza się u co najmniej trzech kandydatów.
• Działanie: zdecyduj, czy trzeba poprawić kryterium, pytanie w formularzu aplikacyjnym, ogłoszenie o pracę lub instrukcję dla osób oceniających.
• Następny przegląd: kolejny przegląd czterotygodniowy albo wcześniej, po zmianie kryterium.

Miary jakości#

Zgodność między oceniającymi#

• Licznik: kandydatury ocenione niezależnie przez dwie osoby, które nadały ten sam pierwszy status oceny.
• Mianownik: wszystkie kandydatury w danym okresie ocenione niezależnie przez dwie osoby przed wspólnym omówieniem.
• Kohorta i okres: warstwowa próba 20% dla stanowiska, oceniana według tej samej wersji kryteriów; zgodność co do statusu potwierdzeń zapisz osobno.
• Zastrzeżenie: zgodność nie dowodzi, że kryterium jest adekwatne, sprawiedliwe, zgodne z prawem ani poprawne.
• Właściciel: osoba odpowiedzialna za kalibrację.
• Próg: każda rozbieżność dotycząca wymagania krytycznego albo spadek o 10 punktów procentowych względem punktu odniesienia.
• Działanie: porównaj informacje w dokumencie źródłowym i sformułowania, przeprowadź kalibrację osób oceniających, a każdą zatwierdzoną zmianę kryterium zapisz jako nową wersję.
• Następny przegląd: zaraz po kalibracji i ponownie w kolejnej czterotygodniowej próbie.

Udokumentowanie kryteriów#

• Licznik: sprawdzenia kryterium u kandydata w próbie, dla których istnieje możliwe do prześledzenia potwierdzenie w źródle albo wyraźnie oznaczony status: brak, niepewność, sprzeczność lub analiza nieudana.
• Mianownik: wszystkie sprawdzenia kryterium u kandydata objęte próbą.
• Kohorta i okres: wszystkie kryteria dla próby z podwójną oceną w okresie czterech tygodni.
• Zastrzeżenie: zapisany status pozwala prześledzić ocenę, ale nie dowodzi, że potwierdzenie jest wystarczające, a kryterium trafne.
• Właściciel: osoba odpowiedzialna za przegląd potwierdzeń.
• Próg: każde rozstrzygające kryterium bez możliwego do prześledzenia źródła lub statusu albo łączne udokumentowanie poniżej 95%.
• Działanie: odzyskaj źródło, popraw status albo wstrzymaj decyzję, zanim oprzesz się na wyniku.
• Następny przegląd: po usunięciu problemu i w kolejnej zaplanowanej próbie.

Odchylenia od kalibracji#

• Licznik: skontrolowane decyzje, które nie są zgodne z ustalonym brzmieniem kryterium i uzgodnioną interpretacją informacji z CV.
• Mianownik: wszystkie decyzje skontrolowane względem dokładnie tej wersji kryterium.
• Kohorta i okres: próba z podwójną oceną oraz wszystkie przypadki eskalowane w okresie czterech tygodni.
• Zastrzeżenie: zmiana interpretacji może wynikać z rzeczywistej zmiany wymagań stanowiska; nie dopasowuj jednak po cichu punktu odniesienia do preferowanego kandydata.
• Właściciel: wspólnie hiring manager i osoba kierująca rekrutacją.
• Próg: każde przesunięcie progu w trakcie trwającej selekcji albo odchylenia w ponad 10% skontrolowanych decyzji.
• Działanie: wstrzymaj selekcję, zapisz przyczynę, w uzasadnionym przypadku zatwierdź kryterium i zapisz je jako nową wersję, a potem rozpocznij porównanie od nowa według tej wersji.
• Następny przegląd: przed dalszą selekcją według zmienionego kryterium i podczas kolejnego przeglądu czterotygodniowego.

Miary bezpieczeństwa i kontroli#

Odsetek błędów parsowania#

• Licznik: przesłane dokumenty, których parsowanie się nie powiodło lub w których przy ręcznym odzyskiwaniu źródła wykryto istotne pominięcie.
• Mianownik: wszystkie dokumenty w zdefiniowanej kohorcie selekcji; stany „zablokowane”, „w kolejce”, „niepowodzenie” i „gotowe” pokaż osobno.
• Kohorta i okres: dokumenty dotyczące stanowiska otrzymane w okresie czterech tygodni.
• Zastrzeżenie: układ dokumentu i język wpływają na odsetek; błąd oznacza brak danych wejściowych, a nie informację przemawiającą przeciwko kandydatowi.
• Właściciel: osoba odpowiedzialna za przyjmowanie CV.
• Próg: każdy błąd, który wpłynął na decyzję bez odzyskania źródła, albo odsetek co najmniej dwukrotnie wyższy niż punkt odniesienia.
• Działanie: wstrzymaj decyzję, której to dotyczy, sprawdź oryginał, odnotuj sposób odzyskania danych i zgłaszaj powtarzające się błędy wyżej.
• Następny przegląd: po odzyskaniu źródła i podczas kolejnego przeglądu czterotygodniowego.

Ponowne otwarcie lub zmiana decyzji#

• Licznik: kandydaci, których pierwszy zapisany status zamykający ocenę został później ponownie otwarty lub zmieniony.
• Mianownik: kandydaci z kohorty, którzy otrzymali pierwszy status „Na shortliście” lub „Odrzucony”.
• Kohorta i okres: decyzje po raz pierwszy zamknięte w danym okresie czterech tygodni, śledzone do daty kolejnego przeglądu.
• Zastrzeżenie: zmiana decyzji może być właściwa, gdy pojawią się nowe informacje; przyczyna jest ważniejsza niż sprowadzenie odsetka do minimum.
• Właściciel: osoba kierująca rekrutacją.
• Próg: każda zmiana decyzji bez wskazanej przyczyny i właściciela albo odsetek powyżej 10%.
• Działanie: zaklasyfikuj przyczynę jako nowe informacje, odchylenie od kryterium, błąd źródła, błąd osoby oceniającej lub zmianę procesu i zajmij się właśnie tą przyczyną.
• Następny przegląd: przy zamknięciu rekrutacji i podczas kolejnego przeglądu czterotygodniowego.

Odrzucone lub zmienione sugestie narzędzia#

• Licznik: przypadki z próby, w których osoba oceniająca odrzuciła lub zmieniła widoczną sugestię narzędzia.
• Mianownik: przypadki z próby, w których taka sugestia rzeczywiście się pojawiła; jeśli tego nie odnotowano, wpisz „nie zarejestrowano”.
• Kohorta i okres: próba z podwójną oceną w okresie czterech tygodni.
• Zastrzeżenie: wysoki lub niski odsetek sam w sobie nie mówi nic o jakości, a Skilltage nie udostępnia obecnie tej karty wyników jako panelu analitycznego.
• Właściciel: osoba odpowiedzialna za nadzór ze strony człowieka.
• Próg: każde odrzucenie lub zmiana sugestii bez zapisanego uzasadnienia opartego na dowodach albo zmiana odsetka o 10 punktów procentowych względem punktu odniesienia.
• Działanie: sprawdź źródło, sugestię, uzasadnienie osoby oceniającej i kryterium; popraw proces, zamiast celować w określony odsetek.
• Następny przegląd: po każdej nieuzasadnionej zmianie sugestii i podczas kolejnego przeglądu czterotygodniowego.

Arkusz pomiaru bazowego i przeglądu okresowego#

Każdej mierze poświęć jeden wiersz. Nigdy nie wpisuj wartości procentowej bez licznika i mianownika.

Przykład liczbowy#

W czterotygodniowym pomiarze bazowym obejmującym 40 zakończonych ocen zespół zapisuje 10 umówionych rozmów (10/40), 8 kandydatów, do których wysłano prośbę o doprecyzowanie (8/40), ten sam pierwszy status w 10 z 12 podwójnych ocen (10/12) oraz 188 wyraźnie oznaczonych statusów potwierdzeń na 200 sprawdzeń kryteriów (188/200). Zapisuje też 3 dokumenty z błędem parsowania lub istotnym pominięciem na 40 otrzymanych (3/40), 2 ponownie otwarte decyzje na 34 pierwsze statusy zamykające ocenę (2/34) oraz 4 odrzucone lub zmienione sugestie na 15 przypadków z próby, w których sugestia była widoczna (4/15).

Te liczby to punkt odniesienia, a nie werdykt. Podczas kolejnego przeglądu właściciel zestawia ze sobą tylko porównywalne dane, stosuje zapisane progi, wyjaśnia zmiany mianowników i dokumentuje podjęte działanie. Łączny wynik ani średnia nie mogą ukryć zera w odzyskiwaniu źródeł lub w kontroli człowieka.

Co Skilltage może dziś pokazać?#

Wskazówki Skilltage: odnieś arkusz do rzeczywistego procesu, nie twierdząc, że istnieje gotowy moduł analityczny. Skilltage rozdziela etapy definiowania wymagań, przyjmowania CV, oceny i kontaktu z kandydatami; pokazuje stany przetwarzania dokumentów; przy każdym wymaganiu prezentuje potwierdzenia z CV i luki; pozostawia wybór statusu oceny kandydata człowiekowi; oraz zapisuje ograniczony ślad działań ludzi i AI. Obecne rozliczanie użycia dotyczy zużycia produktu, na przykład tokenów modelu, a nie opisanej powyżej karty jakości. Zespół musi sam obliczać i interpretować te miary poza produktem oraz za nie odpowiadać, dopóki nie zostanie wdrożona i zweryfikowana osobna funkcja analityczna.

Ograniczenia i następny krok#

Karta wyników nie dowodzi, że proces jest sprawiedliwy, zgodny z prawem, trafny czy dokładny, ani że dzięki niemu zatrudniasz lepiej. Wyniki małych prób są niestabilne, zgodność może utrwalać złą regułę, odsetek zaproszeń na rozmowę zmienia się wraz z pulą kandydatów, a zapisane informacje wciąż można błędnie zinterpretować. Ocena wpływu na grupy chronione przed dyskryminacją i obowiązków wynikających z przepisów danej jurysdykcji wymaga odpowiednio nadzorowanej analizy i porady wykwalifikowanego specjalisty.

Zacznij od wyznaczenia granic kontroli człowieka w selekcji CV wspieranej przez AI. Jeśli testujesz produkt, określ miary w ramach odwracalnego pilotażu selekcji wspieranej przez AI. Gdy zgodność ocen zaczyna się rozjeżdżać, ponownie skalibruj kryteria selekcji, a gdy nie udaje się odczytać danych ze źródła, skorzystaj z ręcznej procedury awaryjnej na wypadek błędu parsowania CV.