Human-in-the-loop: człowiek w pętli agenta AI

Autonomiczny agent AI, który działa nieprzerwanie, sam wybiera swoją ścieżkę i działa bez pytania o zgodę na każdym etapie, rodzi logiczne pytanie: w którym momencie człowiek przejmuje kontrolę? Human-in-the-loop to odpowiedź na to pytanie. To nie hamulec dla autonomii, lecz świadomie wybrany punkt przejścia, umieszczony tam, gdzie działanie ma dość istotne konsekwencje, by uzasadnić zatwierdzenie.

Definicja szczegółowa

Human-in-the-loop (HITL), dosłownie człowiek w pętli, oznacza zasadę projektową, w której osoba zachowuje prawo do zatwierdzenia, poprawienia lub zablokowania decyzji bądź działania wygenerowanego przez system AI, w precyzyjnym punkcie procesu, zanim wywoła ono rzeczywisty skutek. Ramy zarządzania ryzykiem AI NIST (AI Risk Management Framework, AI RMF 1.0) traktują nadzór ludzki i podział odpowiedzialności między człowiekiem a AI jako elementy governance wymagające jawnego udokumentowania, i stały się wspólnym punktem odniesienia dla regulatorów i audytorów oceniających governance AI w organizacji.

Trzeba odróżnić human-in-the-loop od ciągłego nadzoru. HITL nie oznacza, że człowiek nieustannie obserwuje każdy etap działania agenta, co pozbawiłoby autonomię jakiegokolwiek sensu. Przełącznik pojawia się głównie wtedy, gdy agent przechodzi od zwykłej sugestii do rzeczywistego działania: wysłania wiadomości, modyfikacji bazy, uruchomienia workflow. To ukierunkowany punkt kontroli, umieszczony przed działaniami uznanymi za najbardziej wrażliwe lub najmniej odwracalne: wysłanie wiadomości do nieznajomego, publikacja publiczna, transakcja finansowa. Reszta pracy agenta może kontynuować działanie w pełnej autonomii.

To jeden z możliwych mechanizmów ochronnych, nie uniwersalny wymóg. W zależności od poziomu ryzyka danego działania organizacja może zdecydować się nie ustanawiać żadnego punktu zatwierdzenia przez człowieka, ustanowić go systematycznie lub pozostawić wybór użytkownikowi.

Jak to działa

W praktyce punkt zatwierdzenia przez człowieka wstawiany jest w precyzyjnym momencie zautomatyzowanego przepływu. AI (lub agent) przygotowuje działanie, ale zamiast natychmiastowego wykonania trafia ono do kolejki oczekujących. Osoba otrzymuje powiadomienie, sprawdza proponowaną treść i wybiera, czy zatwierdzić, zmodyfikować, czy odrzucić. Dopiero po tym zatwierdzeniu działanie wywołuje rzeczywisty skutek, na przykład faktyczne wysłanie wiadomości.

Trzy elementy odróżniają dobry punkt zatwierdzenia przez człowieka od zwykłego biurokratycznego hamulca: moment (zatwierdzenie pojawia się we właściwej chwili, ani za wcześnie, ani za późno, by być użyteczne), kontekst dostarczony osobie zatwierdzającej (musi mieć na czym oprzeć osąd, nie tylko przycisk do kliknięcia bez informacji) oraz zakres (przez ten filtr przechodzą wyłącznie naprawdę wrażliwe działania, nie cała praca agenta, pod groźbą uczynienia go bezużytecznym).

Konkretny przykład z Atako

W Atako najlepiej udokumentowany mechanizm zatwierdzenia przez człowieka dotyczy wysyłania e-maili na zimno, tak zwanego cold send, wiadomości wysyłanej do kogoś, z kim agent nie prowadzi jeszcze rozmowy. Dla tego kanału istnieją trzy tryby: tryb approval, aktywny domyślnie, umieszcza każdą wysyłkę w kolejce oczekującej na zatwierdzenie przez człowieka, zanim faktycznie wyjdzie; tryb auto wysyła natychmiast bez ponownego sprawdzenia, z ostrzeżeniem wyświetlanym w interfejsie sygnalizującym ten wybór; tryb disabled uniemożliwia agentowi wysłanie e-maila na zimno, może wtedy odpowiadać wyłącznie w już trwających wątkach rozmów. Odpowiedzi w istniejącej rozmowie natomiast nigdy nie podlegają zatwierdzeniu, dotyczy ono wyłącznie pierwszego kontaktu.

Drugi udokumentowany przykład dotyczy przypadku użycia release-communicator, agenta redagującego i publikującego ogłoszenia o nowych funkcjach na kilku kanałach. Dla większych wydań zatwierdzenie treści przed publikacją jest opisane jako opcjonalne po stronie człowieka, wybór pozostawiony zespołowi, a nie narzucone przez platformę ograniczenie.

Poza tymi dwoma udokumentowanymi mechanizmami nie istnieje ogólna bramka zatwierdzenia przez człowieka, która stosowałaby się automatycznie do każdego działania agenta Atako. Zasada pozostaje ta sama: celować w punkty zatwierdzenia tam, gdzie działanie ma konsekwencje, zamiast systematycznie blokować wszystko.

Częste błędy

Klasycznym błędem jest mylenie human-in-the-loop ze stałym nadzorem. HITL nie wymaga od człowieka obserwowania każdego etapu działania agenta, co unieważniłoby samą wartość automatyzacji. To precyzyjny punkt przejścia, nie ciągła kontrola.

Drugi błąd: umieszczanie punktu zatwierdzenia przez człowieka na zbyt wielu działaniach naraz. System, który żąda zatwierdzenia dla każdej mikro-decyzji, kończy zwykle ignorowany lub omijany, ponieważ osoba mająca zatwierdzać klika bez faktycznego sprawdzenia. Lepiej zarezerwować zatwierdzenie dla działań o wysokim wpływie lub słabo odwracalnych.

Trzeci błąd: przekonanie, że brak jawnej wzmianki o mechanizmie zatwierdzenia w dokumentacji oznacza brak jakiejkolwiek kontroli. Trzeba odróżnić jawne zatwierdzenie przez człowieka (człowiek musi kliknąć, aby działanie wyszło) od innych mechanizmów ochronnych stosowanych wcześniej, jak uprawnienia czy limity, bez konieczności bezpośredniej interwencji człowieka za każdym razem.

Wreszcie myślenie, że human-in-the-loop jest niezgodne z autonomią agenta, to błąd myślenia. Dobrze zaprojektowany autonomiczny agent łączy oba elementy: szeroką autonomię w większości swojej pracy oraz ukierunkowane punkty zatwierdzenia przy decyzjach, które na to zasługują.