Human-in-the-Loop: AI 에이전트에 사람을 개입시키는 방법

계속 작동하고 스스로 경로를 선택하며 매 단계마다 사람의 요청 없이 행동하는 자율 AI 에이전트는 논리적인 질문 하나를 던집니다. 그렇다면 언제 사람이 다시 통제권을 쥐는가? Human-in-the-loop가 바로 이 질문에 대한 답입니다. 이것은 자율성을 가로막는 브레이크가 아니라, 행동의 결과가 검증을 정당화할 만큼 클 때 놓이는 선택된 통과 지점입니다.

상세 정의

Human-in-the-loop(HITL), 말 그대로 고리 안의 사람은 프로세스의 특정 지점에서 사람이 AI 시스템이 생성한 판단이나 행동을 검증하거나 수정하거나 차단할 권한을 유지하는 설계 원칙을 말합니다. 실제 효과를 내기 전에 이루어집니다. NIST의 AI 위험 관리 프레임워크(AI RMF 1.0)는 사람의 감독과 사람과 AI 사이의 책임 분배를 명시적으로 문서화해야 할 거버넌스 요소로 다루며, 조직의 AI 거버넌스를 평가하는 규제 당국과 감사자들 사이에서 공통 기준이 되었습니다.

Human-in-the-loop는 지속적인 감독과 구분해야 합니다. HITL은 사람이 에이전트의 매 단계를 계속 지켜본다는 뜻이 아닙니다. 그렇게 되면 자율성의 이점이 모두 사라져 버립니다. 실제로 전환이 일어나는 지점은 에이전트가 단순한 제안에서 실제 행동으로 넘어가는 순간입니다. 메시지를 보내거나, 데이터베이스를 수정하거나, 워크플로를 실행하는 순간 말입니다. 가장 민감하거나 되돌리기 어려운 행동, 이를테면 낯선 사람에게 보내는 메시지, 공개 게시물, 금전 거래 앞에 배치된 표적화된 통제 지점입니다. 에이전트의 나머지 작업은 완전한 자율성 속에서 계속 진행될 수 있습니다.

이것은 가능한 여러 가드레일 중 하나이지, 보편적인 요구사항이 아닙니다. 행동의 위험 수준에 따라 조직은 사람의 검증 지점을 전혀 두지 않기로 결정할 수도, 체계적으로 하나를 두기로 결정할 수도, 사용자에게 선택을 맡길 수도 있습니다.

작동 원리

실제로 사람의 검증 지점은 자동화된 흐름의 특정 순간에 삽입됩니다. AI(또는 에이전트)가 행동을 준비하지만, 즉시 실행되는 대신 대기열에 들어갑니다. 사람이 알림을 받고, 제안된 내용을 확인한 뒤, 승인하거나 수정하거나 거부하기로 선택합니다. 이 검증을 거친 뒤에야 비로소 그 행동이 실제 효과를 냅니다. 예를 들어 메시지가 실제로 발송되는 식입니다.

세 가지 요소가 좋은 사람의 검증 지점과 단순한 관료적 걸림돌을 구분합니다. 타이밍(검증이 너무 이르지도 늦지도 않은, 유용한 순간에 이루어지는지), 검증하는 사람에게 제공되는 맥락(정보 없이 그냥 버튼을 누르는 것이 아니라 판단할 근거가 있어야 합니다), 범위(정말 민감한 행동만 이 필터를 거치도록 하고, 에이전트가 하는 모든 일을 거치게 해서 쓸모없게 만들지 않는 것)입니다.

아타코의 실제 사례

아타코에서 가장 잘 문서화된 사람의 검증 메커니즘은 콜드 이메일 발송, 즉 에이전트가 아직 대화를 나눈 적 없는 상대에게 보내는 메시지와 관련이 있습니다. 이 채널에는 세 가지 모드가 있습니다. 기본으로 활성화된 approval 모드는 실제로 발송되기 전에 모든 발송을 사람의 검증 대기열에 넣습니다. auto 모드는 검토 없이 즉시 발송하며, 인터페이스에 이 선택을 알리는 경고가 표시됩니다. disabled 모드는 에이전트가 콜드 이메일을 보내지 못하게 하며, 이미 진행 중인 대화 스레드에서만 답장할 수 있습니다. 기존 대화 속 답장은 사람의 검증을 거치지 않으며, 첫 접촉만 이 대상이 됩니다.

두 번째 문서화된 사례는 여러 채널에 신기능 발표를 작성하고 게시하는 에이전트인 release-communicator 유즈케이스와 관련이 있습니다. 주요 릴리스의 경우 게시 전 콘텐츠 검증이 선택 사항으로 설명되어 있으며, 플랫폼이 강제하는 제약이 아니라 팀이 결정하는 선택입니다.

이 두 가지 문서화된 메커니즘 외에는, 아타코 에이전트의 모든 행동에 자동으로 적용되는 범용 사람의 검증 관문은 존재하지 않습니다. 원칙은 여전히 유효합니다. 무조건 차단하기보다, 행동에 결과가 따르는 지점에 검증을 표적화하는 것입니다.

흔한 오해

흔한 오해 하나는 human-in-the-loop와 지속적인 감독을 혼동하는 것입니다. HITL은 에이전트의 매 단계를 사람이 감시하라고 요구하지 않습니다. 그렇게 하면 자동화의 이점 자체가 사라져 버립니다. 이것은 지속적인 통제가 아니라 정밀한 통과 지점입니다.

두 번째 오해는 너무 많은 행동에 동시에 사람의 검증 지점을 두는 것입니다. 모든 사소한 판단마다 검증을 요구하는 시스템은 결국 무시되거나 우회됩니다. 검증해야 할 사람이 실제로 다시 읽지 않고 그냥 클릭하게 되기 때문입니다. 영향이 크거나 되돌리기 어려운 행동에만 검증을 아껴 쓰는 편이 낫습니다.

세 번째 오해는 문서에 검증 메커니즘이 명시되어 있지 않으면 아무 통제도 없다고 믿는 것입니다. 명시적인 사람의 검증(행동이 나가려면 사람이 클릭해야 하는 것)과, 권한이나 쿼터처럼 매번 직접적인 사람의 개입 없이 상류에서 적용되는 다른 가드레일을 구분해야 합니다.

마지막으로, human-in-the-loop가 에이전트의 자율성과 양립할 수 없다고 생각하는 것도 관점의 오류입니다. 잘 설계된 자율 에이전트는 두 가지를 결합합니다. 작업 대부분에 대한 넓은 자율성과, 그럴 만한 가치가 있는 판단에 대한 표적화된 검증 지점입니다.