나아졌다는 말은
무엇을 기준으로
한 말인가 실험 106건에서 효과크기 370개를 모았다. 사람과 AI를 합친 쪽은 사람 혼자보다 나았다. 그러나 사람과 AI 가운데 더 나은 쪽과 견주면 평균적으로 못했다. 두 문장 모두 같은 자료에서 나온다.

Section Ⅰ · Two Baselines두 개의 기준선

나아졌다는 말은
무엇을 기준으로 한 말인가

AI 도입 효과를 재는 자리에서 거의 언제나 쓰이는 기준선이 하나 있다. 도입하기 전의 우리다. 작년 이맘때와 비교해 보고서를 쓰는 데 몇 시간이 덜 들었는지, 처리 건수가 얼마나 늘었는지를 센다. 이 기준이라면 답은 대체로 '나아졌다'로 나온다. 그리고 그 답은 틀린 답이 아니다.

다만 그 기준선이 유일한 기준선은 아니다. 2024년 매사추세츠공과대학 연구진이 내놓은 메타분석은 같은 자료를 두 개의 기준선으로 읽으면 결론이 어떻게 갈리는지를 보여 준다. 연구진은 2020년 1월부터 2023년 6월 사이에 발표된 논문 5,126편을 훑어 조건을 갖춘 74편을 골랐고, 거기서 실험 106건과 효과크기 370개를 모았다. 분석 계획은 미리 등록했다.

연구진이 쓴 첫 번째 기준선은 사람 혼자다. 이 기준으로 보면 사람과 AI를 합친 쪽은 분명히 나았다. 연구진은 이것을 증강이라고 불렀다. 대부분의 조직이 보고 있는 숫자가 바로 이 숫자다.

두 번째 기준선이 다르다. 사람 혼자와 AI 혼자 가운데 더 잘한 쪽을 기준으로 삼는 것이다. 이쪽이 상식적인 질문에 가깝다. 둘을 합치는 수고를 들였다면, 적어도 둘 중 나은 하나보다는 나아야 하지 않겠는가. 이 기준에서 평균은 마이너스였다. Hedges' g = −0.23(95% 신뢰구간 −0.39~−0.07, p = 0.005). 합친 쪽이 더 나은 하나보다 평균적으로 못했다는 뜻이다.

사례로 옮기면 차이가 분명해진다. 고객 문의를 분류하는 일을 생각해 보자. 담당자 혼자 하면 정확도가 70%, 분류 모델만 돌리면 85%, 모델이 제안하고 담당자가 확인하면 80%가 나왔다고 하자. 도입 전과 비교하면 10%포인트가 올랐으니 성공이다. 그런데 모델만 돌렸을 때보다는 5%포인트 낮다. 사람이 확인하는 단계가 정확도를 깎고 있는 것이다. 첫 번째 기준선만 보는 조직은 이 사실을 끝내 모른다.

두 문장은 모두 참이고 같은 자료에서 나온다. 사람은 AI를 쓰면서 나아졌다. 그리고 그 결과는 둘 중 나은 쪽에 못 미쳤다. 어느 쪽을 보고할지는 자료가 정해 주지 않는다. 기준선을 고르는 사람이 정한다.

Section Ⅱ · Decide or Create결정하는 일과 만드는 일

평균 뒤에 가려진
두 종류의 과제

평균이 마이너스라고 해서 모든 곳에서 손해가 났다는 뜻은 아니다. 연구진이 과제를 둘로 나누자 방향이 갈렸다. 보기 중에서 고르거나 맞다 틀리다를 가리는 결정 과제에서는 손해가 분명했다(g = −0.27, p = 0.002). 반면 글이나 그림처럼 열린 결과물을 만드는 과제에서는 이득 쪽으로 기울었다(g = 0.19). 다만 만드는 과제의 표본이 34개로 작아 그 자체로는 통계적으로 유의하지 않았고, 유의했던 것은 두 종류 사이의 차이였다.

왜 결정에서 손해가 나는지는 짐작할 만하다. 결정 과제에서 사람이 하는 일은 대개 AI의 답을 받아 그대로 쓸지 말지를 고르는 것이다. 이때 사람이 보태는 것은 선택 하나뿐인데, 그 선택이 틀릴 수 있다. AI가 맞혔는데 사람이 뒤집으면 손해고, AI가 틀렸는데 사람이 그대로 두면 역시 손해다. Vol. 50에서 본 것처럼 따져 보는 정도를 가르는 것은 답의 품질이 아니라 그 순간의 신뢰다. 만드는 과제는 다르다. 사람이 보태는 것이 선택이 아니라 재료와 방향이라, 합쳐질 여지가 넓다.

방향을 정한 요인이 하나 더 있다. 그 일에서 원래 누가 더 잘했느냐다. 사람이 AI보다 잘하던 일에서는 합친 쪽이 이겼고, AI가 사람보다 잘하던 일에서는 합친 쪽이 졌다. 이 결과가 실무에 주는 지침은 단순하다. 사람을 어디에 넣을지 정하기 전에 둘 중 어느 쪽이 그 일을 더 잘하는지를 먼저 재어 봐야 한다. 재어 보지 않고 사람을 끼워 넣으면 확인이 아니라 잡음이 된다.

그런데 대부분의 조직은 이 측정을 하지 않는다. 사람이 최종 확인을 하니까 더 나아질 것이라고 가정하고 넘어간다. Vol. 41에서 본 형식적 감독이 여기서 다시 나타난다. 사람을 넣는 것 자체는 안전장치가 아니다. 안전장치가 되려면 그 사람이 그 일에서 기계보다 나아야 한다.

Section Ⅲ · The Design Few Tried거의 해 보지 않은 설계

왜 대부분의 실험은
같은 모양이었나

이 메타분석에서 가장 조용하지만 중요한 숫자는 따로 있다. 실험 106건 가운데 사람과 AI에게 하위 과제를 미리 나눠 맡긴 설계는 3건뿐이었다. 효과크기로는 4개다. 나머지 대부분은 같은 모양이었다. AI가 답이나 조언을 내놓고, 사람이 그것을 보고 받아들일지 말지를 정하는 구조다.

그 3건에서는 시너지가 양수로 나왔다(g = 0.22). 다만 표본이 너무 작아 통계적으로 유의하지는 않았고, 연구진도 결론으로 내세우지 않았다. 그러니 이 숫자를 근거로 삼을 수는 없다. 대신 읽어야 할 것은 숫자가 아니라 비어 있는 자리다. 나누어 맡기는 설계는 아직 거의 시험되지 않았다.

이 공백이 리더에게는 기회다. 지금 대부분의 조직이 쓰는 방식도 실험들과 같은 모양이기 때문이다. AI가 초안을 내고 사람이 검토한다. 이 구조에서는 사람이 보태는 것이 선택 하나로 줄어들고, 메타분석이 보여 준 손해가 그대로 재현될 수 있다. Vol. 14에서 코칭을 과업 단위로 쪼개 역할을 나눴던 것처럼, 한 덩어리로 넘기는 대신 공정을 쪼개 각 구간을 누가 맡을지 정하는 편이 낫다.

예를 들어 보자. 계약서를 검토하는 일을 통째로 맡기고 사람이 최종 확인하는 대신, 조항을 뽑아내는 구간은 기계에, 위험의 크기를 가늠하는 구간은 사람에, 표현을 다듬는 구간은 다시 기계에 맡기는 식이다. 구간마다 누가 더 잘하는지가 다르기 때문이다. 이렇게 나누면 Vol. 55에서 본 질문도 자연스럽게 따라온다. 어느 구간에 사람을 모아야 하는가.

마지막으로 이 연구의 한계를 적어 둔다. 대상이 된 실험은 2023년 6월까지 발표된 것들이라, 그 뒤로 빠르게 달라진 모델의 성능은 반영되지 않았다. 과제도 대체로 짧은 실험실 과제였다. 그러므로 이 결과를 '사람을 빼라'거나 '합치지 말라'로 읽으면 안 된다. 읽어야 할 것은 하나다. 합치면 나아질 것이라는 가정은 자료로 뒷받침되지 않았으니, 가정하지 말고 재어 보라는 것이다.

이 메타분석이 불편한 이유는 결과가 나빠서가 아니다. 우리가 그동안 쉬운 기준선만 써 왔다는 사실을 보여 주기 때문이다. 도입 전과 비교하면 거의 모든 도입이 성공이 된다. 그 비교로는 무엇을 더 해야 할지 알 수 없다.

리더가 물어야 할 질문은 짧다. 이 일을 사람만, 기계만 시켰다면 각각 어땠을까. 답을 모른다면 지금 쓰고 있는 조합이 더 나은 것인지도 모르고 있는 것이다.