Vol. 32 · The Jagged Frontier 판단 · Deep read
Dell'Acqua & Mollick · Harvard/BCG, 2023

경계 밖에서
AI는
더 틀린다
AI의 능력은 울퉁불퉁하다. 리더의 분별은 언제 쓸지만큼, 어디서 끌지를 아는 데 있다.

AI를 언제 쓸지는 많이 말한다. 정작 덜 말하는 것이 있다. 언제 쓰지 말아야 하는가이다. 하버드·BCG의 실험에서 AI는 경계 안 과업의 품질을 크게 올렸지만, 경계 밖에서는 쓴 사람을 더 자주 틀리게 만들었다. 리더가 아는 것은 끄는 자리다.

Outside경계 밖에서
No-Go Zones끄는 자리
The Off-Switch끄는 자리를 설계한다
원전
Navigating the Jagged Technological Frontier Dell'Acqua · Mollick et al. · Harvard/BCG, 2023
Previously on Vol. 31
감시가 된 편의돕겠다며 들어온 도구가 동시에 지켜보는 도구가 된다. 편의는 미끼이고, 진짜 상품은 행동 데이터일 수 있다.
용어 · 이 글에서의 정의
울퉁불퉁한 경계 The Jagged Frontier

이 글에서 '울퉁불퉁한 경계'는 AI가 못하는 일의 목록이 아니다. AI의 능력이 고르지 않아, 비슷해 보이는 두 과업에서도 한쪽은 잘하고 다른 쪽은 틀리는 상태를 뜻한다. 경계선이 들쭉날쭉하고 눈에 보이지 않아서, 밖에서는 지금 어느 쪽에 서 있는지 알기 어렵다.

Section Ⅰ · Outside경계 밖에서

경계 밖에서 AI는
돕는 대신 더 틀리게 한다

AI를 언제 쓸지는 많이 이야기한다. 정작 덜 이야기되는 것이 있다. 언제 쓰지 말아야 하는가이다.

하버드와 BCG가 함께 한 2023년 실험이 그 답의 절반을 보여 준다. 컨설턴트 758명에게 실제 업무를 주고, AI(GPT-4)를 쓴 집단과 쓰지 않은 집단을 비교했다. AI가 잘하는 '경계 안' 과업에서 결과는 분명했다. 쓴 사람은 과업을 12% 더 많이, 25% 더 빨리 끝냈고, 품질은 40% 높았다.

그런데 AI가 못하는 '경계 밖' 과업에서는 정반대였다. AI를 쓴 사람이 안 쓴 사람보다 19%포인트 더 자주 틀렸다. 도구가 도움이 안 된 정도가 아니라, 오히려 사람을 더 틀리게 만든 것이다. 연구진이 짚은 이유는 하나다. 확신에 찬 얼굴로 내놓은 오답을, 사람들이 그대로 믿었다.

더 까다로운 것은 그 경계가 울퉁불퉁하다는 점이다. 비슷해 보이고 난이도도 비슷한 두 과업인데, 한쪽은 경계 안이고 한쪽은 밖이다. 밖에서는 지금 어느 쪽에 서 있는지 알기 어렵다. 그래서 '언제 쓸까'만큼 '언제 끌까'가 리더의 분별이 된다.

Study
758
실제 업무로 AI 효과를 시험한 컨설턴트. BCG 인력의 7% (Harvard·BCG, 2023)
Inside
40%
경계 안 과업에서 AI를 쓴 사람의 품질 향상. 과업 수 +12%, 속도 +25%
Outside
19%p
경계 밖 과업에서 AI를 쓴 사람이 안 쓴 사람보다 더 자주 틀린 폭. 도움이 아니라 손해였다
The reason
1가지
경계 밖에서 더 틀린 이유: 확신에 찬 오답을 그대로 믿는 '가짜 확신' 효과

Section Ⅱ · No-Go Zones끄는 자리

경계가 안 보인다면
미리 끄는 자리를 정한다

경계가 보이지 않으니, 매번 알아맞히려 애쓰는 대신 규칙을 세우는 편이 낫다. 경계 밖일 확률이 높은 세 자리를 미리 '끄는 자리'로 표시하는 것이다.

Where to Turn It Off
경계 밖일 확률이 높은 세 자리
01
저타당성 영역
Low-validity · 규칙도 피드백도 옅은 곳
규칙이 옅고 피드백이 없는 영역에서는 AI의 확신도 근거가 얇다(Vol. 17). 그럴듯한 답일수록 경계 밖일 확률이 높다. 여기서는 답을 받되 믿지 않는다.
02
되돌릴 수 없는 고위험
Irreversible · 틀리면 못 되돌리는 결정
틀렸을 때 되돌릴 수 없는 결정이다. 검증 없이 맡기면 19%포인트의 오답이 그대로 남는다. 사람 검증을 통과 조건으로 걸어야 하는 자리다(Vol. 17·26).
03
사람이 본질인 일
Human-essential · 신뢰·현존·판단
신뢰와 현존, 사람에 대한 판단처럼 사람이 핵심인 일이다. 여기서 AI가 대신하면 얻는 게 아니라 잃는다(Vol. 10·12·27). 애초에 끄는 것이 설계다.
“경계 밖에서 AI를 쓴 사람들은, 확신에 찬 얼굴로 제시된 틀린 답에 근거 없는 신뢰를 보내, 쓰지 않은 사람보다 더 자주 틀렸다.” (요지 · Dell'Acqua, Mollick 외, Jagged Frontier, 2023)

Section Ⅲ · The Off-Switch끄는 자리를 설계한다

안 쓰기로 한 판단도
분별이다

끄는 자리를 설계한다는 것은 AI를 멀리하는 것이 아니다. 경계 안에서는 마음껏 쓰되, 밖에서는 미리 끄거나 사람을 통과시키는 것이다. 그 설계를 세우려면 다음을 통과해야 한다.

Design Checks · 끄는 자리를 정하려면
언제 쓰지 말지 가르는 다섯 질문
01
경계를 시험해 봤는가?
이 과업이 AI가 잘하는 안쪽인지, 확신에 찬 오답이 나오는 바깥쪽인지 실제로 시험해 봤는가.
02
확신을 의심하는가?
매끄러운 답일수록 한 번 더 검증하는가, 아니면 그 확신에 그대로 올라타는가(Vol. 18).
03
끄는 자리를 정했는가?
저타당성·되돌릴 수 없음·사람이 본질인 일을 'AI 끄는 자리'로 미리 표시했는가.
04
사람 검증을 의무화했는가?
경계가 애매한 고위험 과업에, 사람의 확인을 통과 조건으로 걸었는가.
05
안 쓰는 것도 성과로 보는가?
AI를 쓰지 않기로 한 판단을 게으름이 아니라 분별로 인정하는가.

AI를 잘 쓰는 조직은 많이 쓰는 조직이 아니다. 어디서 쓰고 어디서 끌지를 아는 조직이다. 경계 안에서는 40%의 이득을, 경계 밖에서는 19%포인트의 손해를 가른다.

이 편은 Vol. 17과 Vol. 18의 짝이다. AI의 확신은 규칙적인 영역에서만 믿을 만하고(Vol. 17), 그 확신을 다시 여는 것이 리더의 근육이다(Vol. 18). 끄는 자리를 아는 일은 그 둘을 한 문장으로 잇는다.

쓰는 법은 도구가 가르쳐 준다. 안 쓰는 자리는 리더가 정한다. 잘 끄는 것이 잘 쓰는 것의 절반이다.

Synthesis · Vol. 32

쓰는 법만큼,
안 쓰는 자리를 안다

하버드·BCG의 실험(758명)에서 AI는 경계 안 과업의 품질을 40% 올렸다. 그러나 경계 밖 과업에서는 쓴 사람이 안 쓴 사람보다 19%포인트 더 자주 틀렸다. 확신에 찬 오답을 그대로 믿었기 때문이다.

문제는 그 경계가 울퉁불퉁하고 보이지 않는다는 것이다. 그래서 리더의 분별은 '끄는 자리'를 아는 데 있다. 저타당성 영역, 되돌릴 수 없는 결정, 사람이 본질인 일. 거기서는 AI를 끄거나, 사람 검증을 반드시 통과시킨다.

Dell'Acqua & Mollick · '23 — Leadership Insight
More from Leadership Insight