아마존이 AI 인간 감독을 거부하는 이유 일탈의 정상화 개념으로 본 AI 거버넌스 위기

AI 시스템을 감시하는 인간 감독자가 오히려 위험을 키울 수 있다는 주장이 아마존에서 나왔습니다. 아마존 보안 부문 VP이자 수석 엔지니어인 에릭 브랜드와인(Eric Brandwine) 은 The Register와의 인터뷰에서 “인간이 루프 안에 있는 감독 모델(human-in-the-loop)“은 AI 거버넌스의 황금 기준이 아니라고 밝혔습니다. 그가 그 이유로 꺼낸 개념은 일탈의 정상화(normalization of deviance) 입니다.

단순히 “AI를 더 믿자”는 주장으로 읽히면 안 됩니다. 브랜드와인의 논리는 인간의 주의력 한계와 조직 심리학에 근거한 것으로, 동시에 아마존이 AI 에이전트 시대에 어떤 거버넌스 모델로 이동하려는지를 드러냅니다. 이 글에서는 그 논리의 구조, 함정, 그리고 실질적 함의를 분석합니다.

기사원문보기

일탈의 정상화란 무엇인가

일탈의 정상화(normalization of deviance) 는 사회학자 다이앤 본(Diane Vaughan) 이 1986년 챌린저 우주왕복선 폭발 사고를 분석하며 정립한 개념입니다. 처음에는 명백히 비정상적인 상태를 점검하던 엔지니어들이 큰 사고 없이 시간이 지나자 그 비정상을 점차 정상으로 받아들이게 되고, 결국 치명적 판단 착오로 이어진다는 내용입니다.

브랜드와인은 2017년 AWS re:Invent 컨퍼런스에서 이미 이 개념을 소개한 바 있습니다. 그리고 이번 인터뷰에서 동일한 메커니즘이 AI 인간 감독에도 적용된다고 주장합니다. 인간 검토자는 처음에는 AI 출력을 꼼꼼히 확인하지만, 수백 건의 정상 출력 이후 경계를 낮추기 시작하고, 정작 이상 신호가 나타났을 때는 그것을 그냥 통과시키게 된다는 것입니다.

인간의 주의력은 단조로운 반복 작업에서 필연적으로 저하됩니다. 이는 인간의 결함이 아니라 생물학적 사실입니다.

아마존이 제안하는 대안 구조

브랜드와인이 인간 감독을 완전히 없애자고 주장하는 것은 아닙니다. 그가 제시하는 대안은 “엔드투엔드 책임(accountability end to end)” 구조입니다.

이 구조의 핵심은 세 가지입니다. 첫째, 인간 정체성과 소유권을 모든 AI 행동에 추적 가능하게 연결합니다. AI가 어떤 행동을 했을 때 그 행동을 승인하거나 시작한 인간이 누구인지를 항상 특정할 수 있어야 한다는 것입니다. 둘째, 기본값으로 인간이 개별 행동을 승인하는 방식 대신 인프라 수준의 통제(infrastructure-level controls) 와 기계 기반 가드레일(machine-enforced guardrails) 을 도입합니다. 셋째, 인간 감독자는 이 가드레일의 예외가 발생했을 때 개입하는 방식으로 역할을 재정의합니다.

요약하면, 인간은 매 단계마다 승인하는 역할에서 예외 상황 판단자 역할로 이동합니다. 일상적 감시는 기계가, 이례적 상황 판단은 인간이 담당한다는 구조입니다.

이 논리의 설득력과 한계

브랜드와인의 주장에는 분명한 근거가 있습니다. 실제로 보안 업계에서 경보 피로(alert fatigue, 너무 많은 경보에 노출된 분석가가 중요한 경보를 무시하게 되는 현상)는 오래된 문제입니다. 반복적인 AI 출력 검토 작업에서도 동일한 피로 현상이 나타날 수 있다는 점은 현실적입니다.

그러나 이 논리에는 중요한 빈틈이 있습니다. 누가 가드레일을 설계하고 유지하는가의 문제입니다. 인프라 수준의 통제도 인간이 설계하며, 그 설계 자체에 일탈의 정상화가 작동할 수 있습니다. 가드레일을 지속적으로 업데이트하고 검증하는 과정 역시 인간의 주의력에 의존합니다.

또한 이 구조는 대형 클라우드 사업자에게 유리한 모델이기도 합니다. 인프라 수준의 통제가 강조될수록, 그 인프라를 제공하는 아마존의 역할과 권한이 커집니다. 거버넌스 논의가 기업 이익과 겹쳐지는 지점입니다.

AI 에이전트 시대의 감독 문제가 한국 기업에 주는 의미

한국 기업들도 빠르게 AI 에이전트 (스스로 작업을 계획하고 실행하는 자율형 AI 시스템)를 업무에 도입하고 있습니다. 이메일 자동 처리, 고객 응대 자동화, 코드 생성 및 배포까지 인간 승인 없이 AI가 연속 행동을 수행하는 사례가 늘어나고 있습니다.

이 맥락에서 브랜드와인의 경고는 의미가 있습니다. “AI를 검토하는 담당자를 두면 안전하다”는 가정 자체를 재검토해야 한다는 것입니다. 단순히 인력을 배치하는 것이 아니라, 그 인력이 실제로 효과적으로 작동할 수 있는 환경과 구조를 설계하는 것이 핵심입니다.

동시에 아마존의 대안을 그대로 수용하기 전에 의사결정 구조의 투명성과 책임 소재의 명확성 을 어떻게 담보할 것인지도 함께 검토해야 합니다.

AI 거버넌스 논쟁이 가리키는 본질

이 논쟁의 진짜 의미는 “인간 감독이 필요한가”를 넘어서 있습니다.

누가, 어떤 방식으로, 무엇을 감독해야 하는가라는 질문입니다. 브랜드와인의 주장은 기존의 인간 감독 모델이 가진 실제 한계를 날카롭게 짚지만, 그 대안이 더 안전하다는 증거는 아직 충분하지 않습니다. AI 에이전트가 더 많은 자율성을 갖게 될수록, 이 질문은 기술 문제가 아니라 조직 설계와 책임 윤리의 문제로 이동합니다.

인간 감독의 한계를 인정하되, 그것을 기계 통제로 대체하는 것이 아니라 인간 감독이 실질적으로 작동할 수 있는 구조를 설계하는 것이 지금 AI 거버넌스가 가야 할 방향입니다.

#아마존AI #인간감독 #AI거버넌스 #normalization of deviance #에릭브랜드와인 #AI에이전트 #AI안전