Zacznij od problemu, nie od etykiety AI
Przed porównaniem dostawców zapisz problem operacyjny: zbyt wiele CV, niespójne kryteria, wolny feedback, słaba widoczność dowodów albo brak identyfikowalności. Produkt powinien poprawić proces bez tworzenia poważniejszego problemu decyzyjnego lub z danymi.
Poproś dostawcę o demonstrację rzeczywistego procesu, a nie ogólnego scenariusza sprzedażowego.
Pytanie 1: Co system może zdecydować lub zmienić?
Wymagaj dokładnej mapy każdego automatycznego wyniku i działania zmieniającego stan kandydata. Zapytaj, czy produkt automatycznie może:
- odrzucić lub przesunąć kandydata;
- uszeregować lub stworzyć shortlistę;
- zmienić status procesu;
- wysłać komunikację;
- uczyć się z działań rekruterów.
Poproś o precyzyjne wskazanie, gdzie kończy się wsparcie AI, a zaczyna uwierzytelnione działanie człowieka.
Granica działania człowieka
Użyteczna demonstracja powinna oddzielać dowody wspierane przez AI od uwierzytelnionego działania reviewera, które zmienia status lub wysyła komunikację.
Pytanie 2: Co naprawdę widzi reviewer?
Wymagaj demonstracji na żywo, która łączy każdą ocenę z możliwymi do sprawdzenia dowodami kandydata. Poproś o pokazanie:
- zatwierdzonych wymagań;
- dowodów kandydata dla każdego wymagania;
- miejsca pochodzenia dowodu;
- brakujących, słabych lub sprzecznych informacji;
- niepewności i błędów przetwarzania.
Jeżeli podstawowym wynikiem jest liczba lub ranking, zapytaj, jak można go zakwestionować bez ponownego czytania wszystkiego.
Widoczność dowodów
Dowody na poziomie wymagań, stan oceny, materiał źródłowy i możliwość zakwestionowania powinny być widoczne w workflow reviewera.
Pytanie 3: Jak tworzone i zmieniane są kryteria?
Kryteria powinny być zatwierdzone przez człowieka, właściwe dla roli i wersjonowane. Ustal, kto definiuje wymagania konieczne, preferencje i informacje nieistotne oraz jaki jest wpływ zmian na wcześniejsze oceny.
Pytanie 4: Co dzieje się przy niepewności?
System powinien ujawniać niepewność i kierować błędy do oceny zamiast wytwarzać pewność. Użyj trudnych przykładów: nietypowych tytułów, równoważnego doświadczenia z innej branży, skanowanych PDF-ów, niepełnych dat i braków.
Szukaj jawnego stanu ręcznej oceny. System, który zawsze odpowiada pewnie, ukrywa błędy.
Stany błędów i retry
Kolejki przetwarzania powinny pokazywać parsowanie, błędy i gotowe dokumenty, aby reviewer mógł ponowić, usunąć lub skierować materiał do ręcznego przeglądu.
Pytanie 5: Jakie dane są przetwarzane, gdzie i jak długo?
Wymagaj pisemnych, zgodnych z umową odpowiedzi dla całego przepływu danych. Poproś o szczegóły dotyczące:
- regionów przechowywania i przetwarzania;
- podprocesorów i dostawców modeli;
- użycia danych do trenowania;
- retencji po zamknięciu lub usunięciu;
- dostępu, eksportu, usuwania i obsługi incydentów;
- telemetrii i logów z danymi osobowymi.
Opinia EROD o modelach AI i danych osobowych pokazuje, dlaczego pytania o dane osobowe zależą od faktów i zabezpieczeń konkretnego wdrożenia. Odpowiedzi muszą odpowiadać dokumentacji umownej i prywatności.
Pytanie 6: Jaka identyfikowalność jest dostępna?
Wymagaj proporcjonalnej identyfikowalności, która pozwala odtworzyć ocenę bez bezterminowego przechowywania wszystkiego. Zapytaj, czy można ustalić użyte kryteria i wersję systemu, czas przetwarzania, pokazany wynik i późniejsze działanie człowieka.
Przechowywanie wszystkiego bezterminowo nie jest użyteczną identyfikowalnością.
Pytanie 7: Które deklaracje regulacyjne są udokumentowane?
Każdą szeroką deklarację regulacyjną traktuj jako prośbę o konkretny dowód. Akt UE o AI wymienia AI przeznaczone do analizy lub filtrowania aplikacji i oceny kandydatów wśród zastosowań w zatrudnieniu, które mogą być wysokiego ryzyka. Artykuł 6 ust. 3 przewiduje ograniczone wyjątki, natomiast systemy profilujące pozostają wysokiego ryzyka. Aktualne wytyczne Komisji Europejskiej wskazują 2 grudnia 2027 r. jako datę stosowania przepisów wysokiego ryzyka dla zatrudnienia. Poproś dostawcę o klasyfikację faktycznego zamierzonego użycia i rozdzielenie:
- wdrożonych mechanizmów i dokumentacji;
- aktualnych założeń prawnych;
- planowanych prac;
- zakończonych działań zgodności lub rejestracji;
- zewnętrznych certyfikatów.
Deklaracje typu „AI Act compliant”, „bez uprzedzeń” lub „prawnie bezpieczne” wymagają konkretnych dowodów.
Jakie dowody i sygnały ostrzegawcze należy porównać?
Wskazówki Skilltage: Stosuj tę samą prośbę o dowód i definicję sygnału ostrzegawczego dla każdego dostawcy:
| Kryterium | Dowód do uzyskania | Sygnał ostrzegawczy |
|---|---|---|
| Dopasowanie do procesu | Przejście na żywo przez wasz proces od roli do oceny, wraz z przekazaniami | Dopracowana ogólna prezentacja zastępuje wasz rzeczywisty proces |
| Dowody dla reviewera | Fragmenty źródłowe dla wymagań, niepewność i możliwość zakwestionowania | Widoczny jest tylko wynik, ranking lub podsumowanie |
| Kontrola człowieka | Demonstracja uwierzytelnionego awansu, odrzucenia i komunikacji | „Human in the loop” jest deklarowane bez pokazania granicy działania |
| Obsługa błędów | Błąd parsowania, brak informacji, stan ponowienia i droga do ręcznej oceny | Każdy przypadek daje pewny wynik albo błędy znikają |
| Dane | Umowa, dokumentacja prywatności, podprocesorzy, regiony, retencja, usuwanie i dostęp | Odpowiedzi sprzedażowe przeczą dokumentacji lub pomijają część przepływu |
| Identyfikowalność | Wersja kryteriów, zapis przetwarzania, pokazany wynik i późniejsze działanie człowieka | Brak możliwości odtworzenia albo bezterminowe, nieograniczone logowanie |
| Istotne deklaracje | Nazwany dowód dla każdego stwierdzenia regulacyjnego, certyfikacyjnego, bezpieczeństwa lub wydajności | Szerokie deklaracje są nieudokumentowane, niejasne albo opisane jako przyszła praca |
Jak przeprowadzić realistyczny test dostawcy?
Wskazówki Skilltage: Uruchom tę samą numerowaną procedurę u każdego dostawcy z krótkiej listy:
- Zablokuj jedną realistyczną rolę. Podaj pięć zatwierdzonych wymagań, w tym jedno konieczne i jedną preferencję.
- Użyj jednego reprezentatywnego dokumentu kandydata. Umieść istotne dowody opisane innymi słowami niż wymagania roli.
- Wprowadź jeden przypadek błędu. Usuń kluczową informację, użyj nieobsługiwanej lub uszkodzonej kopii albo utwórz kontrolowaną sprzeczność źródeł.
- Obserwuj cały proces. Zapisz widoczne dowody źródłowe, niepewność, kontrolę statusu, granice komunikacji, dane i identyfikowalność.
- Oceniaj tylko to, co zaobserwowano. Do każdej oceny dołącz notatkę z demonstracji lub dokument, a niepotwierdzone deklaracje oznacz jako niezweryfikowane.
Oceniaj punktowo dopiero po pytaniach
Stwórz tabelę obejmującą proces, dowody, kontrolę człowieka, błędy, dane, identyfikowalność, wdrożenie i wiarygodność. Obok każdej oceny zapisz dowody z demonstracji.
Punkty mają podsumować ustalenia, nie je zastąpić.
Porównanie vendorów po przeglądzie dowodów
Porównanie punktowe po stronie kupującego jest użyteczne dopiero wtedy, gdy każda ocena ma oparcie w notatkach z demonstracji, widocznych dowodach i udokumentowanych granicach deklaracji.
Ograniczenia i granice decyzji
Lista nie rozstrzyga, czy narzędzie lub wdrożenie jest zgodne z prawem, odpowiednie lub zgodne regulacyjnie. Zależy to od zachowania produktu, konfiguracji, użycia, jurysdykcji i profesjonalnej porady.
Skilltage zaleca ocenianie każdego dostawcy—w tym Skilltage—według tego samego standardu.
Użyj ustrukturyzowanych kryteriów selekcji jako danych testowych, granicy ludzkiej decyzji w selekcji wspieranej AI jako punktu odniesienia oraz procesu selekcji CV dla produkcji do branżowego testu dostawcy.
Następny krok
Wybierz jedną aktywną rolę i reprezentatywny dokument kandydata. Poproś każdego dostawcę o pokazanie całej ścieżki od zatwierdzonych wymagań do działania człowieka, łącznie z przypadkiem błędu.