그 기록만 남을 때가 있다
이 글에서 '형식적 감독'은 검토자가 게으르다는 뜻이 아니다. 인간 검토자가 판단에 필요한 시간과 근거, 거부할 권한 없이 승인 절차에만 놓인 상태를 뜻한다. 기록에는 사람의 결재가 남지만, 결론은 이미 기계가 낸 것이다.
Section Ⅰ · The Irony승인은 남고 판단은 사라진다
사람을 넣어 두는 것으로
안전해지지 않는다
AI를 업무에 들일 때 기업이 가장 자주 다는 안전장치는 한 문장이다. "최종 결정은 사람이 한다." 그 문장은 감사에도 통하고 회의에서도 통한다. 다만 그 사람이 실제로 결정하고 있는지는 따로 물어야 한다.
리샌 베인브리지가 1983년 논문 「자동화의 아이러니」에서 짚은 문제가 여기에 있다. 자동화가 대부분의 일을 가져가면 사람에게는 자동화하지 못한 일과 감시하는 일이 남는다. 그런데 손을 쓰는 일이 줄면 그 기술은 연습 부족으로 무뎌진다. 문제는 그다음이다. 사람이 넘겨받아야 하는 순간은 대개 무언가 잘못된 순간이고, 그때는 평소보다 더 높은 숙련이 필요하다. 그래서 베인브리지는 자동화할수록 훈련을 오히려 늘려야 한다고 했다. 40년 전 발전소와 항공기를 두고 쓴 글인데, 지금 읽으면 AI 도입 회의록 같다.
최근 연구는 여기에 한 층을 더한다. 마이크로소프트 리서치의 이하오핑 리 연구진은 지식노동자 319명에게서 실제 생성형 AI 사용 사례 936건을 모아 CHI 2025에 발표했다. 결과 중 하나가 이랬다. AI의 능력을 더 신뢰할수록 산출물을 비판적으로 따져 보는 노력이 줄었다. 반대로 자기 능력에 대한 자신감이 높은 사람은 더 활발히 따져 보았다.
같은 연구는 비판적 사고가 사라진다기보다 자리를 옮긴다고 본다. 정보를 모으는 일에서 검증하는 일로, 문제를 푸는 일에서 답을 통합하는 일로, 실행하는 일에서 관리하는 일로. 부담이 줄었다기보다 종류가 바뀐 것이다. 그런데 조직의 감독 설계는 대개 그 변화를 따라가지 않는다. 검토자에게 여전히 승인 버튼 하나만 주어진다.
Section Ⅱ · Not Less Trust덜 믿기가 답이 아니다
고쳐야 할 것은 총량보다
분해능이다
여기까지 읽으면 결론이 "그러니 AI를 덜 믿자"로 기울기 쉽다. 연구는 그 방향에 제동을 건다.
이 대목에서 우리 시리즈도 한 번 고쳐 읽어야 한다. Vol. 32에서 우리는 '끄는 자리'를 알아야 한다고 썼다. 그 말이 'AI를 덜 믿어라'로 읽히면 절반만 맞다. 끄는 자리를 정하는 목적은 의심의 총량을 늘리는 데 있지 않고, 켤 자리에서는 제대로 켜기 위해서다. 무차별한 불신은 무차별한 신뢰만큼이나 값을 치른다.
“적정 의존은 옳은 AI 조언과 틀린 AI 조언을 구별하고, 그 구별에 따라 행동하는 능력이다.” (요지 · Schemmer 외, Appropriate Reliance on AI Advice, IUI 2023)
Section Ⅲ · Make It Real감독을 실질로 만드는 설계
검토자를 넣지 말고
검토할 조건을 넣는다
인간 감독의 질은 검토자의 수로 재지지 않는다. 그가 무엇을 가지고, 어느 시점에, 어떤 권한으로 개입할 수 있는지로 재야 한다. 그 조건을 설계로 세우려면 다음을 통과해야 한다.
이 다섯 가지가 없으면 남는 것은 결재란의 이름뿐이다. 사고가 났을 때 그 이름은 책임을 지지만, 사고를 막지는 못한다. 우리가 Vol. 26에서 본 그대로다. 책임은 시스템으로 넘어가지 않는데, 판단은 이미 조용히 넘어가 있는 상태가 가장 위험하다.
그래서 신뢰의 최종 기준은 정확도가 아니다. 틀렸을 때 알아차리고, 멈추고, 고칠 수 있는가이다. 완벽한 AI를 기다리는 것은 계획이 될 수 없다. 오류를 전제하고도 그 능력을 쓰면서, 판단의 주인을 사람 쪽에 남겨 두는 설계가 계획이다.
AI를 더 많이 들일수록 더 많이 의심해야 하는 것은 아니다. 더 정확히 나누어 묻고, 더 독립적으로 확인하고, 더 빨리 고칠 수 있어야 한다. 성숙한 조직은 AI를 많이 쓰는 조직이 아니라, 어디까지 믿고 언제 멈출지를 미리 정해 둔 조직이다.