Zacznij od problemu, a nie od etykiety AI
Zanim zaczniesz porównywać dostawców, zapisz problem operacyjny: zbyt wiele CV, niespójne kryteria, powolna informacja zwrotna od menedżerów zatrudniających, słabo widoczne podstawy ocen albo brak możliwości audytu. Produkt powinien usprawnić ten proces, nie tworząc poważniejszego problemu z decyzjami lub zarządzaniem danymi.
Poproś dostawcę o demonstrację na rzeczywistym procesie rekrutacyjnym firmy, a nie na dopracowanym, ogólnym przykładzie.
Pytanie 1: Co system może zdecydować lub zmienić?
Poproś o dokładny wykaz wszystkich automatycznych wyników i wszystkich działań, które zmieniają stan procesu. Zapytaj, czy produkt potrafi automatycznie:
- odrzucić kandydata lub przekazać go do kolejnego etapu;
- uszeregować kandydatów lub umieścić ich na shortliście;
- zmienić status w procesie;
- wysyłać wiadomości do kandydatów;
- uczyć się na podstawie działań rekruterów.
Poproś o precyzyjne wskazanie, gdzie kończy się wsparcie AI, a zaczyna działanie wykonywane przez zalogowanego użytkownika. Samo hasło „human in the loop” nie wystarczy, jeśli nie widać, jak działa to w produkcie.
Granica między AI a działaniem człowieka
Wartościowa demonstracja oddziela informacje z CV wskazane przy wsparciu AI od działania zalogowanego rekrutera, który zmienia status lub wysyła wiadomość do kandydata.
Pytanie 2: Co naprawdę widzi osoba oceniająca?
Poproś o pokaz na żywo, w którym każda ocena jest powiązana z informacjami z dokumentów kandydata, które można samodzielnie sprawdzić. Poproś o pokazanie:
- zatwierdzonych wymagań dla stanowiska;
- potwierdzenia w dokumentach kandydata dla każdego wymagania;
- miejsc w przesłanych dokumentach, z których pochodzą te informacje;
- brakujących, słabych lub sprzecznych informacji;
- niepewności i błędów przetwarzania.
Jeśli głównym wynikiem jest liczba punktów lub ranking, zapytaj, jak osoba oceniająca może zakwestionować wynik bez czytania wszystkich dokumentów od nowa.
Widoczne potwierdzenie w CV
Potwierdzenie dla poszczególnych wymagań, stan oceny, materiał źródłowy i możliwość zakwestionowania oceny powinny być widoczne tam, gdzie pracuje osoba oceniająca.
Pytanie 3: Jak powstają i zmieniają się kryteria?
Kryteria powinny być zatwierdzone przez człowieka, dopasowane do stanowiska i wersjonowane. Ustal, kto może określać wymagania krytyczne, wymagania preferowane i informacje, które nie mają znaczenia dla oceny. Zapytaj, czy zmiana kryteriów może po cichu zmienić wcześniej wygenerowane oceny kandydatów.
Dobre narzędzie do oceny kandydatów powinno jasno pokazywać zatwierdzoną podstawę porównania.
Pytanie 4: Co się dzieje, gdy system nie ma pewności?
System powinien pokazywać niepewność i kierować błędy do ręcznej weryfikacji, zamiast udawać pewność. Podczas demonstracji użyj trudnych przykładów: nietypowych nazw stanowisk, równoważnego doświadczenia z innej branży, zeskanowanych plików PDF, niepełnych dat zatrudnienia i brakujących informacji.
Sprawdź, czy system ma wyraźne statusy ręcznej weryfikacji. System, który zawsze udziela pewnej odpowiedzi, ukrywa błędy, zamiast nimi zarządzać.
Widoczne błędy
Każdy dokument źródłowy powinien pokazywać, czy został przeanalizowany, czy go brakuje, czy analiza się nie powiodła – tak aby osoba oceniająca mogła ponowić próbę, usunąć materiał lub przekazać go do ręcznej weryfikacji.
Pytanie 5: Jakie dane są przetwarzane, gdzie i jak długo?
Poproś o pisemne odpowiedzi zgodne z umową, obejmujące cały przepływ danych. Poproś o konkretne informacje na temat:
- regionów przechowywania i przetwarzania danych;
- podprocesorów i dostawców modeli AI;
- tego, czy dane klienta lub kandydatów służą do trenowania modeli;
- okresu przechowywania danych po zamknięciu rekrutacji lub po ich usunięciu;
- kontroli dostępu, eksportu i usuwania danych oraz wsparcia w razie incydentu;
- telemetrii i logów, które mogą zawierać dane osobowe.
Opinia EROD w sprawie modeli AI i danych osobowych pokazuje, dlaczego odpowiedzi na pytania o dane osobowe zależą od faktów i zabezpieczeń w konkretnym wdrożeniu. Odpowiedzi powinny być spójne z dokumentacją umowną i dokumentacją ochrony prywatności, a nie tylko z zapewnieniami handlowców.
Pytanie 6: Jaką identyfikowalność zapewnia system?
Wymagaj proporcjonalnej identyfikowalności, która pozwala odtworzyć przebieg oceny bez bezterminowego przechowywania wszystkiego. Zapytaj, czy organizacja może ustalić, jakie kryteria i która wersja systemu zostały użyte, kiedy nastąpiło przetwarzanie, jaki wynik został pokazany i jakie działanie podjął potem człowiek.
Przechowywanie każdego promptu i dokumentu bez końca to nie to samo co użyteczna identyfikowalność.
Pytanie 7: Które deklaracje regulacyjne są poparte dokumentacją?
Każdą ogólną deklarację regulacyjną traktuj jako powód, by poprosić o konkretne potwierdzenie. Akt w sprawie sztucznej inteligencji (AI Act) wymienia systemy AI przeznaczone do analizowania lub filtrowania podań o pracę oraz oceny kandydatów wśród zastosowań związanych z zatrudnieniem, które mogą być systemami wysokiego ryzyka. Art. 6 ust. 3 przewiduje ograniczone wyjątki, zależne od konkretnych okoliczności; systemy profilujące osoby fizyczne zawsze pozostają systemami wysokiego ryzyka. Aktualne wytyczne Komisji Europejskiej wskazują, że przepisy dotyczące systemów wysokiego ryzyka w obszarze zatrudnienia stosuje się od 2 grudnia 2027 r. Poproś dostawcę o sklasyfikowanie faktycznego przeznaczenia systemu i rozdzielenie:
- wdrożonych mechanizmów kontrolnych i dostępnej dokumentacji;
- obecnych założeń prawnych;
- planowanych prac;
- zakończonych etapów oceny zgodności lub rejestracji;
- ewentualnej zewnętrznej certyfikacji.
Dotyczy to zwłaszcza ogólnych deklaracji typu „zgodne z AI Act”, „wolne od uprzedzeń” czy „bezpieczne prawnie”.
Jakie potwierdzenia i sygnały ostrzegawcze warto porównać?
Wskazówki Skilltage: Od każdego dostawcy żądaj tych samych potwierdzeń i stosuj te same sygnały ostrzegawcze:
| Kryterium | O co poprosić | Sygnał ostrzegawczy |
|---|---|---|
| Dopasowanie do procesu | Przejście na żywo przez rzeczywisty proces: od stanowiska do oceny kandydata, wraz z przekazaniami między osobami | Dopracowana, ogólna prezentacja zastępuje rzeczywisty proces |
| Podstawy oceny dla oceniającego | Fragmenty źródłowe dla każdego wymagania, niepewność i możliwość zakwestionowania oceny | Widoczny jest tylko wynik punktowy, ranking lub podsumowanie |
| Kontrola człowieka | Pokaz w produkcie, jak zalogowany użytkownik przekazuje kandydata dalej, odrzuca go i wysyła wiadomości | „Human in the loop” jest deklarowane bez pokazania, gdzie przebiega granica |
| Obsługa błędów | Nieudane parsowanie, brakujące informacje, możliwość ponowienia i ścieżka do ręcznej weryfikacji | Każdy plik daje pewny wynik albo błędy znikają bez śladu |
| Przetwarzanie danych | Umowa, dokumentacja ochrony prywatności, podprocesorzy, regiony, okres przechowywania, usuwanie danych i dostęp | Odpowiedzi handlowców są sprzeczne z dokumentacją lub pomijają część przepływu danych |
| Identyfikowalność | Wersja kryteriów, zapis przetwarzania, pokazany wynik i późniejsze działanie człowieka | Brak możliwości odtworzenia oceny albo bezterminowe, bezrefleksyjne zapisywanie wszystkiego |
| Istotne deklaracje | Konkretne potwierdzenie każdej deklaracji dotyczącej przepisów, certyfikacji, bezpieczeństwa lub skuteczności | Ogólne deklaracje są nieudokumentowane, niejasne albo opisane jako planowane prace |
Jak przeprowadzić realistyczny test dostawcy?
Wskazówki Skilltage: Przeprowadź tę samą procedurę krok po kroku z każdym dostawcą z krótkiej listy:
- Ustal jedno realistyczne stanowisko. Podaj pięć zatwierdzonych wymagań, w tym jedno krytyczne i jedno preferowane.
- Użyj jednego reprezentatywnego dokumentu kandydata. Umieść w nim istotne doświadczenie opisane innymi słowami niż w opisie stanowiska.
- Wprowadź jeden przypadek błędu. Usuń kluczową informację, użyj pliku w nieobsługiwanym formacie lub uszkodzonej kopii albo celowo wprowadź sprzeczność między źródłami.
- Obserwuj cały proces. Zapisz widoczne fragmenty źródłowe, niepewność, sposób zmiany statusu, granice komunikacji, przetwarzanie danych i identyfikowalność.
- Oceniaj tylko to, co zobaczysz. Do każdej oceny dołącz notatkę z demonstracji lub dokument, który ją potwierdza, a niepotwierdzone deklaracje oznacz jako niezweryfikowane.
Przyznawaj punkty dopiero po zadaniu pytań
Przygotuj krótką tabelę decyzyjną z kryteriami: dopasowanie do procesu, podstawy oceny widoczne dla osoby oceniającej, kontrola człowieka, obsługa błędów, zarządzanie danymi, identyfikowalność, nakład pracy przy wdrożeniu i wiarygodność dostawcy. Obok każdej oceny zapisz obserwacje z demonstracji, które ją uzasadniają.
Punkty mają podsumowywać ustalenia, a nie je zastępować.
Porównanie dostawców po sprawdzeniu potwierdzeń
Punktowe porównanie po stronie kupującego ma sens tylko wtedy, gdy każda ocena opiera się na notatkach z demonstracji, tym, co faktycznie było widać, i udokumentowanych granicach deklaracji.
Ograniczenia i odpowiedzialność
Ta lista kontrolna nie przesądza, czy narzędzie lub sposób jego użycia są zgodne z prawem, odpowiednie lub zgodne z wymogami regulacyjnymi. To zależy od działania produktu, konfiguracji, sposobu użycia w organizacji, jurysdykcji i porady specjalisty.
Skilltage zaleca ocenianie każdego dostawcy – w tym Skilltage – według tych samych kryteriów praktycznych i tych samych wymagań dotyczących potwierdzeń.
Użyj ustrukturyzowanych kryteriów selekcji jako danych wejściowych do testu, granicy ludzkiej decyzji w selekcji wspieranej przez AI jako punktu odniesienia dla kontroli decyzji oraz procesu selekcji CV w firmach produkcyjnych do testu dostawcy w realiach produkcji.
Następny krok
Wybierz jedno aktywne stanowisko i jeden reprezentatywny dokument kandydata. Poproś każdego dostawcę z krótkiej listy o pokazanie całej ścieżki – od zatwierdzonych wymagań do działania wobec kandydata podjętego po ocenie przez człowieka – łącznie z przypadkiem błędu.