같은 사안을
두 사람에게 주면
답이 갈린다 한 보험사가 같은 서류를 여러 인수 심사자에게 돌렸다. 경영진은 10% 안팎의 차이를 예상했지만 실제 차이는 55%였다. 보상 담당자 사이에서도 43%였다.

Section Ⅰ · The Cost You Never See보이지 않는 비용

왜 이 비용은
보고서에 오르지 않는가

한 대형 보험사에서 있었던 일이다. 경영진은 인수 심사자들이 얼마나 비슷한 판단을 내리는지 확인해 보기로 했다. 방법은 단순했다. 실제 사건을 본떠 만든 서류 몇 건을 여러 심사자에게 각각 보내고, 각자 보험료를 매기게 했다. 서류는 완전히 같았고, 심사자들은 서로의 답을 알지 못했다.

결과를 보기 전에 경영진에게 예상을 물었다. 두 심사자의 보험료가 얼마나 차이 날 것 같으냐는 질문이었다. 대체로 10% 안팎이라고 답했다. 같은 회사에서 같은 기준으로 훈련받은 사람들이니 그 정도가 자연스럽다고 본 것이다. 실제 차이는 55%였다. 보험금 지급을 결정하는 보상 담당자들 사이에서도 43%의 차이가 나왔다. 한 임원은 인수 심사에서만 매년 수억 달러가 이 차이로 새어 나갈 것이라고 추정했다.

이 결과가 놀라운 이유는 차이의 크기보다 그 차이를 아무도 모르고 있었다는 데 있다. 원인은 업무 구조에 있다. 한 건의 서류는 한 사람에게 배정되고, 그 사람의 판단이 곧 회사의 결정이 된다. 다른 사람이 맡았다면 어떤 답이 나왔을지는 어디에도 남지 않는다. 조직은 같은 사안을 두 번 묻지 않기 때문이다.

보험사만의 이야기도 아니다. 같은 구조는 대부분의 회사에 그대로 있다. 같은 지원자를 다른 면접관이 봤다면 점수가 어떻게 달라졌을지, 같은 성과를 다른 팀장이 평가했다면 등급이 어떻게 달라졌을지, 같은 제안서를 다른 심사위원이 읽었다면 결과가 뒤집혔을지 우리는 알지 못한다. 한 사람에게 한 번 배정하고 끝내는 방식이 효율적이기 때문이고, 그 효율이 편차를 가려 준다.

그래서 이 비용은 사건이 되지 않는다. 잘못된 결정 하나가 크게 터지면 원인을 찾고 대책을 세우지만, 판단이 조용히 흩어지는 일은 터지지 않는다. 카너먼과 시보니, 선스타인이 2021년 책에서 이 현상에 노이즈라는 이름을 붙인 것도 그래서다. 이름이 없으면 회의에서 꺼낼 수 없고, 꺼내지 못하면 관리할 수도 없다.

Section Ⅱ · Bias and Noise편향과 편차

한쪽으로 치우친 오차와
흩어진 오차

이 문제를 이해하려면 오차를 두 가지로 나눠 보는 것이 도움이 된다. 저자들은 사격장을 예로 든다. 네 명이 각자 과녁에 총을 쏜다. 한 사람의 탄착점은 모두 오른쪽 위에 몰려 있다. 조준이 한쪽으로 치우친 것이고, 이것이 편향이다. 다른 사람의 탄착점은 과녁 전체에 흩어져 있다. 평균을 내면 가운데에 가깝지만 어느 한 발도 맞지 않았다. 이것이 편차다.

두 오차는 성격이 다르지만 결과에 더해지는 방식은 같다. 카너먼은 이를 간단한 식으로 설명했다. 전체 오차는 편향의 제곱과 편차의 제곱을 더한 값이다. 다시 말해 편차를 절반으로 줄이는 것과 편향을 절반으로 줄이는 것은 같은 크기의 개선이다. 그런데 조직이 쓰는 시간은 한쪽에 몰려 있다.

이유는 설명의 유무에 있다. 편향에는 이야기가 붙는다. 우리는 낙관적이었다거나, 특정 고객을 후하게 봤다거나 하는 식으로 원인을 말할 수 있다. 편차에는 그런 이야기가 없다. 어떤 심사자는 높게, 어떤 심사자는 낮게 매겼다는 사실만 남는다. 회의에서 꺼내기도 어렵다. 심사자 개인의 잘못이 아니기 때문이다.

같은 발견은 훨씬 전에도 있었다. 1974년 미국 연방사법센터의 앤서니 파트리지와 윌리엄 엘드리지는 제2연방항소법원 판사들에게 실제 사건의 판결 전 조사 보고서를 보내고 형량을 매기게 했다. 판사 한 사람이 약 서른 건을 맡았고, 1,442건의 답변이 돌아왔다. 그중 스무 건을 분석한 결과, 열여섯 건에서 판사들은 수감 여부 자체를 두고 갈렸다. 형량의 길이가 아니라 감옥에 보낼 것인가 말 것인가에서 의견이 나뉘었다는 뜻이다. 한 은행 강도 사건에서는 5년에서 18년까지 형량이 펼쳐졌다. 모두가 같은 서류를 읽은 뒤였다.

편향은 평균적인 오차이고, 편차는 사람들 사이의 흩어짐이다. 둘은 서로 다른 현상이다. (Daniel Kahneman, 2021년 인터뷰 중에서 · 요지)

한 가지 더 불편한 사실이 있다. 편차는 사람들 사이에서만 생기지 않는다. 같은 사람이 같은 사안을 다른 날 다르게 판단하기도 한다. 저자들은 대학 입학 사정관들이 흐린 날에는 지원자의 학업 성취를, 맑은 날에는 그 밖의 활동을 더 높게 평가한 연구를 소개한다. 본인은 날씨와 무관하게 판단했다고 믿는다. 이것이 편차가 잘 드러나지 않는 마지막 이유다. 안에서는 늘 일관되게 느껴진다.

Section Ⅲ · What Machines Remove기계가 지우는 것

편차는 사라지고
무엇이 남는가

여기서 모델이 등장한다. 같은 입력에 같은 출력을 내놓는 것은 소프트웨어의 기본 성질이다. 같은 서류를 열 번 넣으면 열 번 같은 답이 나오고, 월요일과 금요일이 다르지 않으며, 점심 전후가 다르지 않다. 노이즈만 놓고 보면 모델은 사람을 이긴다. 저자들도 이 점을 분명히 인정한다. 규칙과 알고리즘은 편차가 없다.

다만 여기서 한 걸음 더 가야 한다. 편차가 0이 되어도 오차는 남는다. 앞의 식으로 돌아가면 편차가 사라진 자리에 편향이 그대로 있다. 사람이 판단할 때는 잘못된 기준을 가진 사람과 그렇지 않은 사람이 섞여 있어 일부가 상쇄됐지만, 모델은 같은 기준을 모든 건에 똑같이 적용한다. 틀린 판단도 흔들림 없이 반복된다는 뜻이다. Vol. 37에서 다룬 문제가 정확히 여기에 있다. 어제의 데이터에서 배운 기준은 어제의 치우침까지 함께 배운다.

그래서 저자들은 편차를 0으로 만드는 것이 목표가 되어서는 안 된다고 말한다. 판단이 완전히 고정되면 유연성이 사라지고, 규칙이 예상하지 못한 사정을 반영할 자리도 없어진다. 어떤 결정은 흩어짐 자체가 비용이지만, 어떤 결정은 흩어짐이 곧 여러 관점이 살아 있다는 뜻이기도 하다.

리더가 할 일은 이 둘을 나누는 것이다. 같은 사안에 같은 답이 나와야 하는 자리와, 사람마다 다르게 볼 여지를 남겨야 하는 자리는 다르다. 보험료 산정, 신용 심사, 채용의 1차 선별처럼 일관성이 곧 공정인 결정은 앞쪽이다. 새로운 사업의 방향이나 사람을 키우는 결정처럼 가치가 개입하는 판단은 뒤쪽이다. 앞쪽은 규칙과 모델로 편차를 걷어 내고, 뒤쪽은 Vol. 17의 기준대로 사람이 쥔다.

노이즈 감사가 어려운 이유는 방법이 복잡해서가 아니다. 결과가 나오면 그동안의 결정들이 다르게 보이기 때문이다. 심사자 열 명의 답이 55% 흩어져 있었다면, 지난 몇 해 동안 나간 계약들도 그만큼 흩어져 있었다는 뜻이 된다. 그래서 대부분의 조직은 이 실험을 하지 않는다. 하지 않으면 숫자가 없고, 숫자가 없으면 문제도 없는 것처럼 보인다.

리더가 물어야 할 질문은 단순하다. 오늘 이 결정이 다른 사람에게 갔다면 같은 결론이 나왔을까. 그렇다고 자신 있게 답할 수 없다면, 그 자리에서 필요한 것은 더 나은 판단자가 아니라 더 나은 절차다.