교정은 가장 비싸다
정확성을 희생하면서까지 사용자에게 동의하고 추어올리는 성질이다. 사실 여부를 가릴 수 있는 질문에서 틀린 쪽으로 따라오는 것은 그중 좁은 경우이고, 같은 연구진이 넓은 쪽을 따로 이름 지었다. 사회적 아첨은 사용자가 지키고 싶어 하는 자기 모습을 과하게 보존해 주는 것이다. 사람의 일에서는 대개 후자가 문제가 된다.
Section Ⅰ · How Much It Agrees얼마나 동의하는가
사람보다 49%
더 자주 지지했다
모델이 사용자에게 잘 맞춰 준다는 인상은 오래 있었다. 인상과 측정은 다른 것이어서, 스탠퍼드의 마이라 쳉과 공저자들은 비교 기준을 사람으로 두고 재기로 했다. 같은 질문에 사람이 내놓은 답과 모델이 내놓은 답을 나란히 놓고, 질문한 사람의 행동을 지지하는 비율을 셌다.
최신 모델 11개에서 결과는 한 방향이었다. 모델은 사람보다 49% 더 자주 사용자의 행동을 지지했다. 모델별 차이는 있었지만 방향이 뒤집힌 모델은 없었다.
더 눈여겨볼 대목은 어디에서도 멈추지 않았다는 점이다. 사용자의 질문에 조종이나 속임, 관계를 해치는 행동이 적혀 있을 때도 모델은 그 행동을 지지했다. 사람은 그런 경우에 제동을 걸었다. 모델은 질문자가 자기 입으로 적어 둔 잘못을 읽고도 질문자의 편에 섰다.
같은 연구진이 앞서 만든 벤치마크가 이 성질의 모양을 더 자세히 보여 준다. 조언을 구하는 질문과 사용자가 잘못을 분명히 적어 둔 질문에서, 모델은 사람보다 45퍼센트포인트 더 많이 사용자의 체면을 지켜 주었다. 도덕적으로 다툴 여지가 있는 사안에서는 양쪽을 모두 긍정하는 답이 48%에 이르렀다. 어느 쪽이 묻든 그쪽이 맞다고 해 준다는 뜻이다.
왜 이렇게 되는지는 설계를 보면 짐작이 간다. 모델은 사람의 선호 평가로 다듬어진다. 사람은 자기 뜻에 맞춰 주는 답을 더 좋은 답으로 고르는 경향이 있고, 그 선호가 학습 신호로 쌓이면 동의하는 쪽이 점수를 더 받는다. 아첨은 어딘가에서 끼어든 결함보다 최적화의 결과에 가깝다.
Section Ⅱ · What It Changes무엇이 바뀌는가
한 번의 대화로
복구할 뜻이 줄었다
모델이 동의한다는 사실만으로는 해가 증명되지 않는다. 사람이 그 답을 흘려듣고 제 판단대로 할 수도 있다. 그래서 연구의 둘째 부분은 사람 쪽을 봤다. 사전등록 실험 세 건, 참가자 2,405명이다.
설계에서 중요한 것은 가상의 사례를 쓰지 않은 실험이 포함됐다는 점이다. 참가자들은 자기 삶에서 실제로 겪고 있는 대인 갈등을 꺼내 모델과 직접 대화했다. 꾸며 낸 딜레마에 대한 의견을 묻는 대신 이해관계가 걸린 자기 문제를 상의하게 한 것이다.
결과는 두 방향으로 나왔다. 아첨하는 모델과 대화한 사람은 관계를 복구하기 위한 행동을 할 뜻이 유의하게 줄었다. 먼저 연락하거나 사과하거나 자기 몫을 인정하는 행동이다. 동시에 자기가 옳다는 확신은 늘었다. 한 번의 대화로 그렇게 됐다.
그리고 가장 다루기 어려운 결과가 남는다. 참가자들은 아첨하는 답을 더 좋은 답으로 평가했다. 그 모델을 더 신뢰했고, 다시 쓰겠다고 답했다. 판단을 흐리는 성질과 선호를 얻는 성질이 같은 성질인 것이다.
이 때문에 문제의 성격이 달라진다. 품질이 낮은 기능은 사용자가 외면하면서 사라진다. 아첨은 사용자가 더 좋아하는 기능이어서 그 경로로 사라지지 않는다. 고치면 평가가 내려가고, 평가가 내려가면 고칠 유인이 줄어든다. 모델이 알아서 덜 동의하게 되기를 기다리는 계획은 이 구조 위에서 작동하지 않는다.
Vol. 50에서 다룬 것과 비교하면 두 기제가 나란히 서 있다. 그때는 도구를 믿을수록 확인을 덜 하게 된다는 이야기였다. 들이는 노력이 줄어드는 일이다. 이번 것은 노력을 들여 읽어도 읽은 내용 자체가 내 쪽으로 기울어 있다는 이야기다. 앞의 것은 생략이고 뒤의 것은 왜곡이어서, 열심히 확인하는 사람에게도 남는다.
Section Ⅲ · Why the Chair Matters자리가 다른 이유
원래 동의만 듣는 자리에
동의하는 도구가 왔다
이 연구는 일반 사용자를 대상으로 했다. 그런데 결과를 리더의 자리에 옮겨 놓으면 크기가 달라진다. 리더는 조직에서 솔직한 말을 가장 적게 듣는 사람이다. 직급이 올라갈수록 올라오는 정보가 걸러지고, 걸러지는 방향은 언제나 듣기 좋은 쪽이다. 나쁜 소식을 전한 사람이 손해를 보는 구조라면 더 그렇다.
조직은 이 결핍을 알고 장치를 둔다. 반대 역할을 지정하고, 익명 설문을 돌리고, 1:1을 정기화하고, 심리적 안전감을 말한다. 모두 리더에게 아니라고 말해 줄 경로를 인공적으로 만드는 일이다. 그 장치들이 필요한 이유는 자연 상태에서 그런 말이 올라오지 않기 때문이다.
이제 리더가 하루 중 가장 자주 의견을 구하는 상대가 바뀌었다. 초안을 검토하고 결정을 상의하고 메일 어조를 다듬는 일이 모델과의 대화 안에서 일어난다. 그 상대는 즉시 답하고, 기다리게 하지 않고, 눈치를 보지 않으며, 49% 더 자주 동의한다. 애써 만든 경로보다 훨씬 편한 경로가 하나 생긴 것이다.
조심할 점이 있다. 이 연구는 대인 갈등 상황을 다뤘고 경영 판단을 다루지 않았다. 참가자도 리더가 아니었다. 그러니 같은 크기의 효과가 임원 회의에서 나타난다고 말할 근거는 없다. 다만 기제는 자리를 가리지 않는다. 내가 어느 쪽인지 드러난 질문에 동의로 답하는 성질이라면, 결정권이 큰 사람의 질문에서 결과가 더 멀리 간다.
그래서 실무에서 할 일은 모델을 덜 쓰는 쪽이 아니다. 묻는 방식을 바꾸는 쪽이다. 내 결론을 질문에 담지 않고 묻는 것, 같은 사안을 반대 입장으로 한 번 더 묻는 것, 반대를 구하는 자리만은 사람에게 남겨 두는 것이다. Vol. 48에서 다룬 겸손한 질문이 사람 사이의 기술이었다면 여기서는 도구를 다루는 기술이 된다.
Vol. 18의 결론이 여기서 한 칸 더 나아간다. 그때는 AI가 확신을 값싸게 내주니 리더의 값은 그 확신을 다시 여는 데 있다고 썼다. 이 연구가 더해 주는 것은 그 확신이 아무 확신이 아니라는 사실이다. 내 쪽으로 기울어진 확신이다. 다시 열어야 할 자리가 정해져 있다는 뜻이고, 내가 이미 기울어 있던 쪽이 바로 그 자리다.
리더가 받는 피드백이 왜곡된다는 말은 새롭지 않다. 달라진 것은 왜곡의 출처다. 전에는 사람이 말을 고르면서 생겼고, 그래서 말하는 사람이 안전해지면 줄었다. 이제는 말을 고를 사람이 없는 곳에서도 생긴다.
그러니 물어야 할 것은 이 도구를 믿을 만한가가 아니다. 이 답이 맞아서 마음에 드는가, 내 편을 들어서 마음에 드는가다. 둘을 구분하지 못하는 동안에는 상의를 많이 한 만큼 확신만 늘어난다.