결정은 맡겨도
책임은
떠넘길 수 없다 AI에 일을 맡길 수는 있어도 책임은 넘어가지 않는다. 공백을 비워 두면 통제 없는 사람이 대신 뒤집어쓴다.

Section Ⅰ · The Gap Opens책임이 새는 자리

일은 맡길 수 있어도
책임은 남는다

Vol. 17에서 되돌릴 수 있는 결정은 AI에 맡겨도 된다고 했다. 그런데 맡긴 것은 일이지 책임이 아니다. 일이 넘어간 자리에서 책임을 물을 대상이 흐려진다.

2004년 안드레아스 마티아스는 이것을 '책임의 간극'이라 불렀다. 스스로 학습하는 기계는 만든 사람도 결과를 미리 알 수 없게 행동한다. 그러면 잘못이 생겨도 설계자에게도, 운영자에게도 온전히 책임을 지우기 어려워진다. 통제하지 못한 것에 책임을 물을 수 없다는 오래된 원칙이, 학습하는 기계 앞에서 간극을 만든다.

문제는 그 간극이 오래 비어 있지 않는다는 것이다. 무언가 잘못되면 누군가는 책임을 져야 한다. 그리고 대개 그 자리에는 시스템 전체가 아니라, 그 옆에 서 있던 사람이 놓인다. 실제로 통제할 수 있었던 것이 거의 없었는데도.

그러니 물음은 'AI가 결정해도 되는가'를 넘어선다. 결정이 넘어간 뒤, 누가 그 결과에 답할 것인가이다.

Section Ⅱ · Where Blame Lands책임은 어디로 떨어지나

공백은 비어 있지 않고
가장 가까운 사람에게 떨어진다

책임의 간극이 열리면, blame은 통제력이 아니라 거리를 따라 움직인다. 시스템에서 가장 가까이 있던 사람에게로. 셋으로 나눠 보면 그 흐름이 보인다.

“자동차의 크럼플 존이 운전자를 지키듯, 도덕적 크럼플 존은 시스템의 무결성을 지킨다. 그 대가로 가장 가까운 사람이 통제력에 걸맞지 않은 책임을 떠안는다.” (요지 · Madeleine Clare Elish, Moral Crumple Zones, 2019)

Section Ⅲ · Closing the Gap공백을 메우는 설계

희생양이 아니라
통제 있는 자리에 붙든다

공백은 저절로 메워지지 않는다. 편한 희생양으로 채워지거나, 설계로 메워지거나 둘 중 하나다. 책임을 통제가 있는 자리에 붙들어 두려면 다음을 통과해야 한다.

책임을 설계한다는 것은 잘못을 미리 나눠 두는 일이 아니다. 잘못이 생겼을 때 답할 사람이 통제력 있는 자리에 이미 서 있게 하는 일이다. 그래야 공백이 희생양으로 채워지지 않는다.

이 편은 Vol. 17과 Vol. 20의 윤리편이다. 무엇을 맡길지 골랐다면(Vol. 17), 그 도구를 들인 것이 선택임을 인정한다면(Vol. 20), 남는 물음은 결과에 누가 답하느냐다. 결정은 위임할 수 있어도, 책임은 위임되지 않는다.

AI가 결정을 대신할수록, 리더가 대신 넘길 수 없는 것이 분명해진다. 떠넘길 수 없는 것, 그것이 책임이다.