돕는 대신 더 틀리게 한다
이 글에서 '울퉁불퉁한 경계'는 AI가 못하는 일의 목록이 아니다. AI의 능력이 고르지 않아, 비슷해 보이는 두 과업에서도 한쪽은 잘하고 다른 쪽은 틀리는 상태를 뜻한다. 경계선이 들쭉날쭉하고 눈에 보이지 않아서, 밖에서는 지금 어느 쪽에 서 있는지 알기 어렵다.
Section Ⅰ · Outside경계 밖에서
경계 밖에서 AI는
돕는 대신 더 틀리게 한다
AI를 언제 쓸지는 많이 이야기한다. 정작 덜 이야기되는 것이 있다. 언제 쓰지 말아야 하는가이다.
하버드와 BCG가 함께 한 2023년 실험이 그 답의 절반을 보여 준다. 컨설턴트 758명에게 실제 업무를 주고, AI(GPT-4)를 쓴 집단과 쓰지 않은 집단을 비교했다. AI가 잘하는 '경계 안' 과업에서 결과는 분명했다. 쓴 사람은 과업을 12% 더 많이, 25% 더 빨리 끝냈고, 품질은 40% 높았다.
그런데 AI가 못하는 '경계 밖' 과업에서는 정반대였다. AI를 쓴 사람이 안 쓴 사람보다 19%포인트 더 자주 틀렸다. 도구가 도움이 안 된 정도가 아니라, 오히려 사람을 더 틀리게 만든 것이다. 연구진이 짚은 이유는 하나다. 확신에 찬 얼굴로 내놓은 오답을, 사람들이 그대로 믿었다.
더 까다로운 것은 그 경계가 울퉁불퉁하다는 점이다. 비슷해 보이고 난이도도 비슷한 두 과업인데, 한쪽은 경계 안이고 한쪽은 밖이다. 밖에서는 지금 어느 쪽에 서 있는지 알기 어렵다. 그래서 '언제 쓸까'만큼 '언제 끌까'가 리더의 분별이 된다.
Section Ⅱ · No-Go Zones끄는 자리
경계가 안 보인다면
미리 끄는 자리를 정한다
경계가 보이지 않으니, 매번 알아맞히려 애쓰는 대신 규칙을 세우는 편이 낫다. 경계 밖일 확률이 높은 세 자리를 미리 '끄는 자리'로 표시하는 것이다.
“경계 밖에서 AI를 쓴 사람들은, 확신에 찬 얼굴로 제시된 틀린 답에 근거 없는 신뢰를 보내, 쓰지 않은 사람보다 더 자주 틀렸다.” (요지 · Dell'Acqua, Mollick 외, Jagged Frontier, 2023)
Section Ⅲ · The Off-Switch끄는 자리를 설계한다
안 쓰기로 한 판단도
분별이다
끄는 자리를 설계한다는 것은 AI를 멀리하는 것이 아니다. 경계 안에서는 마음껏 쓰되, 밖에서는 미리 끄거나 사람을 통과시키는 것이다. 그 설계를 세우려면 다음을 통과해야 한다.
AI를 잘 쓰는 조직은 많이 쓰는 조직이 아니다. 어디서 쓰고 어디서 끌지를 아는 조직이다. 경계 안에서는 40%의 이득을, 경계 밖에서는 19%포인트의 손해를 가른다.
이 편은 Vol. 17과 Vol. 18의 짝이다. AI의 확신은 규칙적인 영역에서만 믿을 만하고(Vol. 17), 그 확신을 다시 여는 것이 리더의 근육이다(Vol. 18). 끄는 자리를 아는 일은 그 둘을 한 문장으로 잇는다.
쓰는 법은 도구가 가르쳐 준다. 안 쓰는 자리는 리더가 정한다. 잘 끄는 것이 잘 쓰는 것의 절반이다.