되돌릴 수 있는 문인가
이 글에서 '일방문·양방문'은 제프 베조스가 1997년 주주 서한에서 나눈 결정의 두 유형이다. 되돌릴 수 있는 결정(양방문)은 빠르게 내리고 위임해도 되고, 되돌릴 수 없는 결정(일방문)은 느리게, 사람이 신중히 내려야 한다. 이 글은 그 선을 사람과 AI 사이에 긋는다.
Section Ⅰ · The Reframe틀린 물음부터 버린다
물을 것은 능력보다
결정의 모양이다
AI에 결정을 맡겨도 되는가. 흔히 'AI가 이 결정을 내릴 만큼 똑똑한가'로 묻는다. 그런데 그 물음으로는 선을 그을 수 없다. 똑같이 유능한 AI라도, 어떤 결정은 맡겨도 되고 어떤 결정은 절대 맡기면 안 되기 때문이다.
가르는 것은 능력이 아니라 결정의 모양이다. 베조스는 결정을 두 종류로 나눴다. 되돌릴 수 있는 결정, 곧 양방문은 빠르게 내려도 된다. 틀려도 문을 도로 열고 나오면 그만이다. 그가 정보의 70%쯤 모이면 결정하라고 한 것도 이 유형이다. 반대로 되돌릴 수 없는 일방문은 느리게, 신중히, 사람이 내려야 한다.
위임의 선도 여기서 시작한다. AI가 얼마나 잘하느냐가 아니라, 틀렸을 때 우리가 되돌리고 알아챌 수 있느냐가 먼저다. 능력은 그다음 문제다.
Section Ⅱ · Three Gates세 관문으로 거른다
맡겨도 되는 결정은
세 관문을 지난다
그렇다면 어떤 결정을 AI에 맡겨도 되나. 세 관문으로 거른다. 셋을 다 지나면 맡겨도 손실이 작고, 하나라도 막히면 사람이 쥔다.
세 관문을 모두 지난 결정은 사람이 붙들고 있을 이유가 오히려 적다. 반대로 하나라도 막히면, AI가 아무리 그럴듯한 답을 내도 사람이 마지막에 선다. 셋을 함께 봐야 한다. 되돌릴 수 있어도 검증할 수 없으면 오답이 쌓이고, 검증돼도 되돌릴 수 없으면 한 번의 실수가 크다.
“직관은 규칙적인 환경에서, 피드백으로 그 규칙을 익힐 기회가 있을 때에만 믿을 만하다.” (요지 · Kahneman & Klein, 2009)
이 문장은 사람의 직관에 관한 것이지만, 패턴을 익혀 답을 내는 AI에도 그대로 적용된다. 규칙이 없는 곳에서 나온 확신은 사람의 것이든 기계의 것이든 믿을 근거가 얇다.
Section Ⅲ · Premortem넘기기 전에, 프리모템
일방문 앞에서는
먼저 실패를 상상한다
되돌릴 수 없는 결정을 AI에 맡기려 할 때, 넘기기 전에 할 일이 있다. 게리 클라인의 프리모템이다. "1년 뒤, 이 결정이 큰 사고로 끝났다. 왜인가?" 이미 실패한 것으로 놓고 원인을 거꾸로 짚는다. 1989년 연구에서 이 사후가정은 미래의 원인을 짚는 정확도를 30% 높였다. 과신과 집단사고를 눌러, 일방문 뒤에 무엇이 있는지 미리 보게 한다.
위임의 선을 실제 설계로 세우려면, 결정을 넘기기 전에 다음을 통과해야 한다.
위임은 능력의 문제처럼 보이지만 실은 되돌림의 문제다. 능력만 보고 넘기면, 되돌릴 수 없는 일방문을 조용히 기계에 열어 주게 된다. 정작 물어야 할 것은 이 문이 다시 열리느냐다.
이 편은 Vol. 09의 실무편이다. 실행이 공짜가 될수록 값이 오르는 것은 분별이라 했다. 무엇을 할지 가려내는 일과 무엇을 맡길지 가려내는 일은 같은 근육을 쓴다. Vol. 06에서 본 편향처럼, 자동화 편향도 결국 사람 쪽에서 다스릴 문제다.
AI에 맡길 결정과 사람이 쥘 결정을 가르는 선은 능력이 아니라 되돌림·검증·타당성에서 나온다. 양방문은 열어 주고, 일방문 앞에는 사람이 선다.