Human-in-the-loop: at holde et menneske i loopet hos en AI-agent

En autonom AI-agent, der kører kontinuerligt, vælger sin egen kurs og handler uden at blive spurgt ved hvert trin, rejser et logisk spørgsmål: hvornår tager et menneske over igen? Human-in-the-loop er svaret på det spørgsmål. Det er ikke en bremse på autonomien, det er et bevidst valgt kontrolpunkt, placeret dér hvor handlingen har konsekvenser nok til at retfærdiggøre en godkendelse.

Detaljeret definition

Human-in-the-loop (HITL), bogstaveligt menneske i loopet, betegner et designprincip, hvor en person bevarer autoriteten til at godkende, rette eller blokere en beslutning eller handling genereret af et AI-system, på et præcist punkt i processen, før den får en reel effekt. NIST's rammeværk for AI-risikostyring (AI Risk Management Framework, AI RMF 1.0) behandler menneskelig overvågning og fordelingen af ansvar mellem menneske og AI som styringselementer, der skal dokumenteres eksplicit, og det er blevet en fælles reference for regulatorer og revisorer, der vurderer en organisations AI-governance.

Human-in-the-loop skal adskilles fra løbende overvågning. HITL indebærer ikke, at et menneske konstant følger hvert trin i en agent, hvilket ville tømme autonomien for al værdi. Vendepunktet ligger primært, når en agent går fra ren forslagsstiller til reel handling: at sende en besked, ændre en database, udløse et workflow. Det er et målrettet kontrolpunkt, placeret før de handlinger, der vurderes mest følsomme eller mindst reversible: en besked til en fremmed, en offentlig udgivelse, en finansiel transaktion. Resten af agentens arbejde kan fortsætte i fuld autonomi.

Det er én mekanisme blandt andre mulige værn, ikke et universelt krav. Afhængigt af en handlings risikoniveau kan en organisation vælge slet ikke at indsætte et menneskeligt godkendelsespunkt, at indsætte et systematisk, eller at lade valget være op til brugeren.

Sådan fungerer det

I praksis indsættes et menneskeligt godkendelsespunkt på et præcist tidspunkt i et automatiseret forløb. AI'en (eller agenten) forbereder en handling, men den sættes i kø i stedet for at blive udført med det samme. En person modtager en notifikation, gennemgår det foreslåede indhold og vælger at godkende, ændre eller afvise det. Først efter denne godkendelse får handlingen en reel effekt, for eksempel den faktiske afsendelse af en besked.

Tre elementer adskiller et godt menneskeligt godkendelsespunkt fra en ren bureaukratisk bremse: timingen (godkendelsen kommer på det rette tidspunkt, hverken for tidligt eller for sent til at være nyttig), konteksten givet til den godkendende person (vedkommende skal have nok til at vurdere, ikke bare en knap at klikke på uden information), og omfanget (kun de virkelig følsomme handlinger går gennem dette filter, ikke agentens samlede arbejde, ellers bliver det ubrugeligt).

Konkret eksempel fra Atako

Hos Atako er den bedst dokumenterede mekanisme for menneskelig godkendelse afsendelse af koldt sendte e-mails, det der kaldes cold send, en besked sendt til nogen, agenten endnu ikke har en igangværende samtale med. Der findes tre tilstande for denne kanal: approval-tilstanden, aktiveret som standard, sætter hver afsendelse i kø til menneskelig godkendelse, før den reelt sendes; auto-tilstanden sender straks uden gennemsyn, med en advarsel vist i grænsefladen for at signalere dette valg; disabled-tilstanden forhindrer agenten i at sende en kold e-mail, den kan da kun svare i allerede igangværende samtaletråde. Svar i en eksisterende samtale går derimod aldrig gennem godkendelse, kun den første kontakt er berørt.

Et andet dokumenteret eksempel angår use casen release-communicator, en agent der skriver og udgiver annoncer om nye funktioner på flere kanaler. For større udgivelser beskrives godkendelse af indholdet før publicering som valgfri fra menneskelig side, et valg overladt til teamet snarere end en begrænsning pålagt af platformen.

Ud over disse to dokumenterede mekanismer findes der ikke en generisk menneskelig godkendelsesport, der automatisk gælder for enhver handling fra en Atako-agent. Princippet forbliver: målret godkendelsespunkterne dér, hvor handlingen har konsekvenser, i stedet for systematisk at blokere.

Almindelige fejl

En klassisk fejl er at forveksle human-in-the-loop med permanent overvågning. HITL kræver ikke, at et menneske overvåger hvert trin i en agent, hvilket ville ophæve selve pointen med automatiseringen. Det er et præcist kontrolpunkt, ikke en løbende kontrol.

Anden fejl: at placere et menneskeligt godkendelsespunkt på for mange handlinger på én gang. Et system, der kræver godkendelse for hver mikrobeslutning, ender med at blive ignoreret eller omgået, fordi den person, der skal godkende, klikker uden reelt at gennemgå indholdet. Bedre at forbeholde godkendelsen til handlinger med stor effekt eller lav reversibilitet.

Tredje fejl: at tro, at fravær af eksplicit omtale af en godkendelsesmekanisme i en dokumentation betyder, at der ikke findes nogen kontrol. Man skal skelne mellem eksplicit menneskelig godkendelse (et menneske skal klikke, for at handlingen udføres) og andre værn, der gælder tidligere i processen, som tilladelser eller kvoter, uden at kræve direkte menneskelig indgriben hver gang.

Endelig er det en fejlagtig indramning at tro, at human-in-the-loop er uforeneligt med en agents autonomi. En velkonstrueret autonom agent kombinerer begge dele: bred autonomi på størstedelen af sit arbejde og målrettede godkendelsespunkter på de beslutninger, der fortjener det.