꼬리가 두껍다
극단적인 값이 나올 확률이 종 모양 분포에서 예상하는 것보다 훨씬 큰 분포다. 키나 몸무게는 종 모양이어서 평균에서 멀어질수록 확률이 급격히 떨어진다. 그런 세계에서는 평균이 대표값 노릇을 한다. 두꺼운 꼬리에서는 그렇지 않다. 평균보다 열 배 큰 값이 드물지만 꾸준히 나오고, 그 몇 건이 전체 합계를 지배한다.
Section Ⅰ · What the Average Hides평균이 가리는 것
27%라는 숫자 뒤에
여섯 중 하나가 서 있다
예비비를 잡는 방식은 어느 조직이나 비슷하다. 비슷한 일이 보통 얼마나 넘었는지 보고, 그만큼을 얹는다. 합리적인 절차로 보이고 실제로 대부분의 영역에서 작동한다. 다만 이 절차는 전제를 하나 깔고 있다. 초과율의 분포가 평균 주위에 모여 있다는 전제다.
벤트 플루비야와 알렉산더 부지어는 IT 프로젝트 1,471건의 예산과 예상 성과를 실제 비용 및 결과와 견줬다. 평균 비용 초과율은 27%였다. 이 숫자만 보면 상황은 관리 가능하다. 30% 정도를 예비로 잡으면 대개 맞는다는 뜻이 되기 때문이다.
그 평균이 가린 것이 이 연구의 본론이다. 표본의 여섯 건 중 하나가 평균 200% 비용 초과, 70%에 가까운 일정 초과였다. 저자들의 정리는 분명하다. IT 변화 과제의 진짜 함정은 평균 초과율이 특별히 높다는 데 있지 않고, 극단적인 사례가 유난히 많다는 데 있다.
그 한 건이 조직에 무엇을 하는지는 사례로 보는 편이 빠르다. 2003년 리바이스는 110개가 넘는 나라에 흩어진 국가별 전산 체계를 하나의 SAP로 옮기기로 했다. 제안된 예산은 500만 달러 미만이었고 위험은 작아 보였다. 그런데 월마트가 자사 공급망 체계와 연동할 것을 요구하면서 장애물이 늘었고, 재무 보고와 내부 통제 절차가 부족해 분기 및 연간 실적을 정정할 뻔했다. 전환 기간에 주문을 처리하지 못해 미국 물류센터 세 곳을 일주일 동안 닫았다. 2008년 2분기에 회사는 1억 9,250만 달러를 실적에서 털어냈다.
500만 달러짜리 계획이 2억 달러에 가까운 손실로 끝났다. 비율로 치면 평균 27%와 같은 자에 올려놓을 수 없는 값이다. 이런 사건은 평균을 조금 올리는 방식으로 대비되지 않는다.
Section Ⅱ · Why the Tail Is Fat꼬리가 두꺼운 이유
평균이 존재하지 않는다는 말은
수사가 아니다
같은 연구진이 표본을 넓혀 2002년부터 2014년 사이에 끝난 IT 프로젝트 5,392건의 비용 초과율 분포를 살폈다. 정규분포를 비롯해 여러 분포를 맞춰 본 결과 자료에 맞는 것은 멱법칙이었다. 작은 초과를 겪은 프로젝트가 아주 많고, 극단적 초과를 겪은 프로젝트가 적은 수로 두꺼운 꼬리를 이루는 모양이다.
여기서 이 연구가 통상의 위험 경고보다 멀리 나간다. 꼬리가 너무 두꺼워 평균도 분산도 존재하지 않는다. 저자들은 이렇게 적는다. IT 프로젝트의 평균 비용 초과율은 존재하지 않으며 계산될 수 없고, 이는 IT 프로젝트에 돈을 대는 사람이라면 정신이 번쩍 들 만한 사실이라는 것이다.
직관에 어긋나는 말이라 풀어 둘 필요가 있다. 표본에서 평균을 구할 수는 물론 있다. 문제는 그 값이 안정되지 않는다는 데 있다. 표본을 늘릴수록 평균값이 수렴하지 않고 계속 커진다. 더 큰 극단값이 계속 나타나기 때문이다. 종 모양 세계에서 익숙한 평균 회귀가 여기서는 반대로 작동한다. 저자들은 이 현상을 꼬리로의 회귀라고 부른다. 새로 나타나는 최대값이 직전 최대값을 큰 폭으로 갈아치운다.
그러면 왜 IT 프로젝트에서 이런 모양이 생기는가. 저자들이 제시하고 전산 모의실험으로 보인 기제는 상호의존이다. IT 체계의 구성요소들은 서로 맞물려 있어서, 한 요소에서 생긴 문제가 그것에 의존하는 다른 요소로 번지고 거기서 다시 번진다. 연쇄가 어디서 멈출지는 미리 알 수 없고, 멈추지 않으면 비용이 몇 배로 뛴다. 리바이스에서 일어난 일이 정확히 이 모양이다. 한 고객사의 연동 요구가 재무 보고로, 다시 물류 중단으로 번졌다.
이 기제가 중요한 이유는 AI 과제의 성질과 겹치기 때문이다. 모델을 들이는 일은 대개 모델만 들이는 일로 끝나지 않는다. 데이터 경로와 권한 체계와 기존 업무 체계에 맞물린다. Vol. 39에서 통합 부채로, Vol. 61에서 하류 병목으로 다룬 것이 그 맞물림이었다. 맞물린 자리가 많을수록 연쇄가 길어지고, 연쇄가 길어질수록 꼬리가 두꺼워진다.
Section Ⅲ · Planning Without an Average평균 없이 계획하기
예비비를 늘리는 것으로는
이 위험을 막지 못한다
평균이 없는 분포에서 계획을 세우라는 요구는 막막하게 들린다. 그런데 실무에서 할 일은 오히려 단순해진다. 평균을 더 정확히 추정하려는 노력을 접고, 질문을 바꾸면 된다.
첫 질문은 상한이다. 이 과제가 세 배로 불어나도 조직이 버티는가. 버틴다면 그대로 간다. 버티지 못한다면 예비비를 조금 더 쌓는 것으로는 해결되지 않는다. 꼬리 사건의 크기는 예비비의 눈금과 다른 자에 있기 때문이다. 그때 남는 선택지는 과제를 작게 쪼개는 쪽이다.
둘째 질문은 맞물림이다. 꼬리를 만드는 것은 과제의 규모보다 연쇄의 길이다. 같은 양의 변경이라도 한 번에 바꾸면 한 지점의 문제가 전체로 번지고, 나눠서 바꾸면 번질 경로가 짧아진다. 분포 자체를 바꾸는 유일한 조작이 여기 있다. 예비비는 꼬리가 나왔을 때의 손실을 메우려는 시도이고, 쪼개기는 꼬리가 나올 확률을 줄이는 시도다.
셋째 질문은 중단이다. 꼬리로 들어간 과제의 특징은 멈추기 어렵다는 것이다. 이미 쓴 돈과 공개한 일정과 책임이 걸려 있어서, 상황이 나빠질수록 더 밀어붙이게 된다. 그래서 기준은 한창일 때 정할 수 없고 착수 전에 적어 두어야 한다. 어느 수치를 넘으면 멈추는지, 누가 그 판단을 하는지다. Vol. 17에서 가역성에 따라 점검 주기를 달리하자고 한 것과 같은 자리이고, Vol. 13에서 좋은 실패를 다룬 것과도 이어진다. 일찍 멈춘 과제는 실패가 아니라 꼬리를 피한 결과다.
읽을 때 주의할 점도 적어 둔다. 이 자료는 2002년부터 2014년 사이에 끝난 프로젝트이고, 지금의 AI 과제가 같은 분포를 따른다는 직접 증거는 아직 없다. 다만 저자들이 지목한 기제는 기술의 종류가 아니라 구성요소 사이의 맞물림이고, 그 맞물림은 줄지 않았다. 그러니 같은 숫자를 가져다 쓰기보다 같은 질문을 가져다 쓰는 편이 맞다.
Vol. 62에서 생산성 J커브를 다루며 값이 늦게 보이는 것과 값이 없는 것은 숫자에서 같아 보인다고 썼다. 이번 편은 반대쪽 끝이다. 비용이 평균으로 보이는 것과 평균이 없는 것도 숫자에서 같아 보인다. 두 경우 모두 평균 하나로는 판단할 수 없고, 분포의 모양을 묻는 질문이 더해져야 한다.
이 연구가 불편한 이유는 숫자가 커서가 아니다. 우리가 위험을 다룰 때 쓰는 도구 자체가 이 영역에서는 맞지 않는다고 말하기 때문이다. 평균과 표준편차와 예비비는 모두 종 모양 세계의 도구다. 그 도구를 두꺼운 꼬리에 들이대면 계산은 돌아가지만 답은 틀린다.
그러니 다음 과제의 예비비를 정할 때 물어야 할 것은 몇 퍼센트를 얹을지가 아니다. 이 일이 크게 어긋났을 때 우리가 어디까지 견디는지, 그리고 그 전에 멈출 방법이 있는지다. 앞의 질문에는 답이 있고, 뒤의 질문에는 대개 아직 답이 없다.