사람이 그은 선
저자가 쓰는 말로, 누가 결정을 내릴 자격이 있는지에 더해 그 결정이 신뢰받을 자격이 있는지에 대해 조직이 함께 가지고 있는 이해다. 권한 위임과 다르다. 권한은 문서로 줄 수 있고, 정당성은 그 결정을 받아들이는 사람들 사이에서 만들어진다. 결재선에 시스템을 올려 두고도 그 결정이 통하지 않는 조직은 권한은 옮겼고 정당성은 옮기지 못한 상태다.
Section Ⅰ · Approved, Never Authorized승인은 받았고 권한은 없었다
도입은 끝났는데
결정은 넘어가지 않았다
한 은행이 신용 심사에 AI를 들였다. 시범 운영에서 사람보다 빠르게 처리했고 오류가 줄었으며 비용 절감도 분명했다. 위험관리팀이 승인했고 준법 부서가 통과시켰으며 최고경영자는 미래를 향한 증거로 공개적으로 내세웠다. 하버드 경영대학원의 다스 나라얀다스가 2026년 11·12월호 『하버드 비즈니스 리뷰』 표지 기사에서 여는 장면이다.
여섯 달 뒤 시스템은 여전히 점수를 매기고 추천을 내놓고 있었다. 그런데 서류 대부분은 사람의 검토를 거쳐 흘러갔다. 예외가 늘어났고, 임시로 두었던 이중 검토 기준과 수동 확인 표시는 영구 절차로 굳어 있었다. 시스템은 업무 흐름의 한 부분이었지만 최종 결정은 거의 내리지 않았다.
붙는 설명은 익숙하다. 조직이 아직 준비되지 않았다, 모델을 더 다듬어야 한다, 직원 교육이 더 필요하다, 변화는 원래 어렵다. 저자가 그 설명들을 물리는 근거는 단순하다. 기술은 작동했고 경제성은 분명했으며 승인은 공식적이고도 열성적이었다. 주어지지 않은 것은 따로 있었다. 권한이다. 합의된 범위 안에서 조직 전체의 뒷받침을 받으며 결정을 내릴 권리다.
같은 장면이 업종을 바꿔 가며 반복된다. 한 글로벌 제조사는 AI 수요 예측을 도입했는데 기획 담당자들은 예전 방식을 그대로 쓰면서 AI의 예측을 참고 의견으로 다룬다. 한 의료 네트워크는 대기 시간을 줄이고 일관성을 높인 AI 분류 체계를 들였고 임상의들도 모델이 정확하다는 데 동의하지만, 추천의 대부분을 여전히 손으로 검토한다. 저자의 표현으로는 그 시스템이 결정보다 기록을 위해 쓰인다.
저자가 문제를 놓는 자리가 여기다. 실패한 시범 사업이 문제가 아니다. 책임과 정당성을 다루는 조직의 구조가 AI를 받아들일 만큼 바뀌지 않았다는 것이다. 그래서 한 문장이 남는다. 많은 조직이 지능을 쌓아 두면서 그 둘레를 다시 짜지는 않고 있다.
Section Ⅱ · Rational Self-Protection합리적인 자기 보호
뒤집는 사람은
구조를 잘못 읽은 것이 아니다
저자가 직접 관찰한 사례가 이 글에서 가장 날카롭다. 고가 화물을 다루는 한 글로벌 물류 회사가 AI 배차 시스템을 들였다. 시범 운영에서 지연 배송이 크게 줄었고 자산 활용도가 올랐다. 배차 담당자들은 그 시스템이 자기가 떠올리지 못했을 더 나은 경로를 자주 내놓는다고 사석에서 인정했다.
그런데도 그들은 하루 종일 경로를 손봤다. 오래 거래한 고객을 위해, 사내에서 정치적으로 중요한 화물을 위해, 더 믿는 기사를 위해. 처음에는 미세 조정이라고 불렀고, 시간이 지나자 시스템은 결정 엔진이기를 그만두었다. 그 산출은 대화의 출발점이 됐다.
경영진이 더 온전한 도입을 밀어붙였을 때, 담당자들은 시스템이 틀렸다고 주장하지도 않았고 쓰기를 거부하지도 않았다. 대신 구조를 더 붙였다. 민감 화물 표시, 추가 상신 단계, 더 낮은 검토 기준. 그러고 나서 한 담당자가 저자에게 이렇게 설명했다.
시스템이 결정하고 문제가 생기면 보고서에 올라가는 것은 자기 이름이고, 자기가 결정하면 적어도 설명은 할 수 있다는 것이다. 저자는 이 사람이 혼란스러웠던 것도 심리적으로 위축됐던 것도 아니었다고 적는다. 그는 책임 구조를 정확하게 읽고 있었다.
이 지점에서 저자는 흔한 다른 설명들을 하나씩 물린다. 구조적 관성이라는 설명은 맞지 않는다. AI에서는 겉보기의 순응이 보이기 때문이다. 대시보드는 돌아가고 업무 흐름에 시스템이 들어가 있으며 직원들은 그것을 쓴다. 자동화 안주라는 설명도 방향이 반대다. 그 연구는 사람이 기계에 너무 쉽게 기댄다고 경고하는데, 여기서는 기대지 않는다. 기대는 것이 직업적으로 위험하기 때문이다.
전문직 정체성 위협이라는 설명도 있다. 자기 전문성이 자동화되는 사람은 지위와 쓸모와 경력에 대해 실제로 불안을 느끼고, 그 불안은 사소하지도 비합리적이지도 않다. 그런데 저자가 보는 양상은 변화 관리가 잘된 곳, 심리적 안전감이 높은 곳, 직원들이 시스템이 자기보다 낫다고 공공연히 인정하는 곳에서도 나타난다. 남는 것은 구조적 노출이다. 시스템을 따르라는 요구를 받는 사람이 그것이 틀렸을 때 비용을 자기 경력으로 흡수하는 사람이다.
Vol. 26에서 떠넘길 수 없는 것을 다뤘다. AI에 결정은 맡겨도 책임은 넘길 수 없으니 책임의 공백을 통제 있는 자리에 붙들어 메우자는 이야기였다. Vol. 41은 최종 승인 칸만 사람이 채우는 형식적 감독을 봤다. 이번 편은 그 둘이 왜 함께 생기는지를 설명한다. 책임이 개인에게 묶여 있으면 사람은 통제를 놓지 않고, 놓지 않는 방법으로 형식적 절차를 늘린다. 저자의 문장이 그 결과를 요약한다. 그 조정들은 하나하나 설명이 되고, 합쳐 놓으면 파괴적이다.
Section Ⅲ · Moving Accountability책임을 함께 옮기기
권한은 정확도를 따라
옮겨 가지 않았다
저자는 같은 일이 처음은 아니었다고 적는다. 1990년대 전사적 자원관리 시스템과 자동 신용평가가 같은 자국을 남겼다. 네슬레 미국 법인의 사례에서 각 사업부는 생산과 비용과 공급계약을 각자 책임지며 자율적으로 움직이고 있었다. 시스템이 그 재량을 공통 절차에 내놓으라고 요구했을 때, 지역의 결과를 여전히 개인이 책임지던 직원들에게는 자기가 계속 결정할 이유가 충분했다. 저자의 요약이 선명하다. 시스템은 하나의 통합된 예측을 내놓았고, 책임 구조는 지역의 뒤집기에 상을 주고 있었다.
반대 방향의 사례도 있다. 항공사의 수익관리 시스템은 오래가는 권한을 얻었다. 저자가 드는 이유는 알고리즘의 정확도가 아니다. 항공사들이 책임을 함께 옮겼기 때문이다. 사람이 개입해도 되는 경우를 분명히 했고, 상신 절차를 구조화했고, 성과 평가를 바꿨고, 시스템을 따르는 일을 직업적으로 방어 가능한 행동으로 만들었다.
UPS의 배송 경로 시스템도 같은 길을 보여 준다. 2013년 도입 초기에 많은 기사가 컴퓨터가 짠 경로를 제안으로 받아들이고 자기 지역 지식과 고객 관계를 앞세웠다. UPS는 평가표를 바꿨다. 기사를 자기 과거 성과 대신 시스템이 제시한 경로를 기준으로 평가하고 그 준수 여부를 추적했다. 그러자 알고리즘을 따르는 일이 직업적으로 방어 가능한 행동이 됐다.
아마존의 사례에서 저자가 짚는 구분은 더 쓸모가 있다. 2012년에 시작된 그 작업은 예측과 가격과 구매 판단을 업무 도구 안에 심었는데, 거기서 투입에 대한 권한과 산출에 대한 권한을 갈랐다. 현업 팀은 데이터와 기준값을 다듬을 수 있지만 일상적인 뒤집기는 권장되지 않았고 때로는 승인을 받아야 했다. 무엇을 손댈 수 있는지와 무엇을 되돌릴 수 있는지를 분리한 설계다.
에이전트로 넘어가면 문제의 성격이 바뀐다는 지적도 적어 둘 만하다. 추천 시스템은 사람이 통제한다는 허구를 적어도 유지해 준다. 시스템이 제안하고 사람이 결정하므로 책임에 얼굴이 있다. 에이전트는 그 허구를 녹인다. 제안하지 않고 행동하기 때문이다. 누군가 승인했지만 아무도 계속 들여다보지 않는 범위 안에서 예약하고 승인하고 배차하고 계약하고 상신한다. 그 범위 안에서 움직인 결과가 나빴을 때 책임을 묻는 일은 실제로 어려워진다. 기준값이 잘못 잡혔던 것인지, 승인 범위가 너무 넓었던 것인지, 설계자가 예상하지 못한 상황을 만난 것인지.
Vol. 49에서 에이전트 사고의 대부분이 모델의 오류에서 생기지 않는다는 이야기를 했다. 하지 말라는 지시가 말로만 있고 실행 경로에는 장치가 없어서 생긴다는 것이었다. 이번 편은 그 앞 칸을 채운다. 장치를 놓기 전에 정해야 할 것이 있다. 그 장치가 막은 일과 막지 못한 일의 책임을 누가 지는가다.
마지막으로 이 글의 성격을 적어 둔다. 이것은 측정 연구가 아니다. 하버드 경영대학원 교수가 관찰과 사례로 쓴 실무 논설이다. 본문이 인용하는 자동차 대출 연구들, 곧 알고리즘 심사가 사람 심사보다 수익이 높고 연체가 낮았으며 그 차이가 심사역의 재량 유지 유인이 가장 강한 곳에서 가장 컸다는 결과는 저자가 2차로 끌어온 것이고 이 글이 원문을 확인하지는 않았다. 사례들도 공개 보도와 저자의 현장 관찰이 섞여 있다. 그러니 이 글에서 가져갈 것은 수치가 아니라 기제다.
그리고 그 기제가 주는 점검 기준은 분명하다. 저자가 말하는 진짜 도입의 표시는 사용률이 아니다. 결정 절차가 단순해지고 예외가 늘지 않고 줄어드는 것이다. 권한이 명시적으로 재배치돼서 누가 결정하고 누가 설명하고 누가 위험을 떠안는지를 사람들이 안다는 것이다.
AI 도입이 멎어 있는 조직에서 가장 자주 나오는 처방은 교육과 소통이다. 이 글이 그 처방에 붙이는 단서는 분명하다. 변화 관리를 잘해도, 심리적 안전감을 쌓아도, 모델을 따랐다가 잘못됐을 때 그 사람을 문책하는 구조가 남아 있으면 결과는 같다.
그러니 먼저 고칠 문장은 안내문이 아니다. 평가표와 상신 규정이다. 시스템을 따르는 일이 직업적으로 방어 가능한 행동이 되기 전까지, 사람들은 계속 자기 이름을 지키는 쪽으로 결정할 것이다.