기본값도 바뀐다
어떤 선발 도구의 점수가 실제 업무 성과와 얼마나 같이 움직이는지를 0에서 1 사이의 상관으로 나타낸 값이다. 1이면 완벽히 맞히고 0이면 아무것도 말해 주지 않는다. 현실의 최고값이 .42라는 사실을 먼저 새겨 둘 필요가 있다. 가장 좋은 도구로도 성과의 대부분은 설명되지 않는다. 이 글의 비교는 완벽과의 거리가 아니라 도구들 사이의 거리에 관한 것이다.
Section Ⅰ · The New Order바뀐 순서
대부분 내려갔고
1등이 바뀌었다
조직이 사람을 고르는 방식은 대개 검증을 거쳐 정해지지 않는다. 전에 하던 대로 하고, 다른 회사가 하는 대로 하고, 그렇게 굳은 것을 관행이라고 부른다. 그 관행이 숫자를 참조한 적이 있다면 아마 1998년의 한 메타분석일 것이다. 인사 선발 분야에서 가장 많이 인용된 표가 거기 있었고, 그 표는 인지능력 검사를 가장 강한 예측 변수로 올려 두었다.
2022년 폴 새켓과 공저자들이 그 표를 다시 계산했다. 결과는 대부분의 값이 내려간 것이다. 업무표본 검사는 .21 낮아졌고 인지능력 검사는 .20, 비구조화 면접은 .19 낮아졌다. 저자들의 표현으로 널리 쓰이는 예측 도구들은 평균적으로 그동안 보고된 것보다 낮은 타당도를 보인다.
크기보다 중요한 것은 순서다. 값이 모두 같은 비율로 내려갔다면 도구 선택은 달라지지 않는다. 그런데 내려간 폭이 달랐고, 그래서 줄이 다시 섰다. 인지능력 검사는 .51에서 .31로 내려가 더 이상 두드러진 1등이 아니다. 그 자리에 구조화 면접이 .42로 섰다.
새 순서의 위쪽은 이렇다. 구조화 면접 .42, 직무지식 검사 .40, 경험적으로 채점한 전기자료 .38, 업무표본 .33, 인지능력 검사와 진실성 검사 각 .31, 평가센터 .29. 1998년의 값과 나란히 놓으면 구조화 면접은 .51에서, 직무지식은 .48에서, 업무표본은 .54에서 내려왔다. 전기자료는 .35에서 .38로 오히려 올랐다.
아래쪽에 실무에서 가장 많이 쓰는 두 항목이 있다. 비구조화 면접은 .38에서 .19로 내려갔고, 경력 연수는 .18에서 .07로 내려갔다. 이력서에서 가장 먼저 확인하는 항목과 가장 흔하게 치르는 절차가 줄의 끝에 있다.
Section Ⅱ · How It Was Wrong무엇이 틀렸는가
좁아진 만큼을 되돌리다
너무 많이 되돌렸다
왜 그동안 높게 매겨져 있었는지는 보정이라는 절차를 알면 보인다. 선발 도구의 타당도를 재려면 이미 뽑힌 사람들의 성과를 봐야 하는데, 뽑힌 사람들은 지원자 전체보다 범위가 좁다. 애초에 점수가 낮은 사람은 들어오지 않았기 때문이다. 좁은 범위에서 계산한 상관은 실제보다 낮게 나오므로, 연구자들은 좁아진 정도를 추정해 되돌리는 보정을 한다. 여기까지는 맞는 절차다.
문제는 그 좁아진 정도를 어디서 가져오는가에 있었다. 메타분석에 모은 수백 개 연구 중 범위 축소 정보를 보고한 연구는 일부뿐이다. 관행은 그 일부에서 평균을 구해 전체에 적용하는 것이었다. 새켓과 공저자들이 지적한 것은 그 일부가 전체를 대표하지 않는다는 점이다. 범위 축소 정보를 보고하는 연구는 특정한 종류의 연구에 쏠려 있고, 그런 연구에서 추정된 축소 폭은 평균보다 크다. 큰 보정값을 전체에 일률로 적용하면 모두가 실제보다 많이 되돌려진다.
그래서 이 수정은 새 자료를 모아 결과가 달라진 경우와 성질이 다르다. 같은 자료를 다른 보정으로 다시 계산한 결과다. 두 저자 그룹 사이에 반론과 재반론이 오갔고 논쟁이 끝났다고 말할 수도 없다. 그러니 소수점 둘째 자리를 외우는 일은 의미가 없다. 남는 것은 두 가지다. 오래 믿어 온 값들이 체계적으로 높았다는 것, 그리고 도구들 사이의 순서가 생각과 달랐다는 것이다.
저자들이 후속 논문에서 내린 결론이 이 변화의 무게를 보여 준다. 인지능력 검사를 기본값으로 두고 나머지를 대안적 방법이라고 부르던 오랜 구도가 뒤집힌다는 것이다. 이제 그 대안들이 기본값이어야 하고, 인지능력 검사는 특정한 사정이 있을 때 고려할 대안이 된다. 쓰던 도구를 바꾸라는 권고 이전에, 무엇을 기본으로 둘지에 대한 판단이 바뀐 것이다.
덧붙여 둘 만한 결과가 하나 더 있다. 저자들은 각 도구의 인종 간 평균 차이도 같은 표에 실었다. 인지능력 검사는 그 차이가 가장 큰 쪽이고 구조화 면접은 작은 쪽이다. 타당도가 가장 높은 도구가 집단 간 차이는 작은 편이라는 뜻이어서, 예측력과 다양성 사이에서 하나를 포기해야 한다는 오래된 구도도 함께 느슨해진다. 미국 자료이므로 한국에 같은 집단 구분을 옮길 수는 없지만, 가장 잘 맞히는 방법이 가장 거친 방법은 아니라는 점은 남는다.
Section Ⅲ · Structure the Interview You Already Run이미 하는 면접에 구조를 넣는다
도구를 늘리는 일보다
싸고 효과가 크다
이 연구를 읽고 검사 도구를 새로 들이는 쪽으로 가면 가장 큰 기회를 놓친다. 표에서 두 줄의 차이를 보면 이유가 분명하다. 구조화 면접 .42와 비구조화 면접 .19는 서로 다른 도구가 아니다. 같은 한 시간을 어떻게 쓰는지의 차이다.
구조를 넣는다는 말은 세 가지를 정한다는 뜻이다. 첫째, 질문을 미리 정하고 모든 지원자에게 같은 질문을 같은 순서로 묻는다. 둘째, 무엇이 좋은 답인지 미리 적어 두고 그 기준으로 채점한다. 셋째, 면접관끼리 의논하기 전에 각자 점수를 먼저 기록한다. 이렇게 하면 면접은 대화에서 측정으로 성질이 바뀐다.
왜 이것이 작동하는지는 Vol. 51에서 다룬 잡음으로 설명된다. 같은 지원자를 같은 기준으로 평가해도 평가자마다 결과가 흩어지고, 같은 평가자도 순서와 기분에 따라 흩어진다. 자유 대화는 그 흩어짐을 그대로 받아들인다. 미리 정한 질문과 채점표는 흩어짐이 들어올 통로를 줄인다. 구조화가 하는 일은 통찰을 늘리는 것보다 잡음을 줄이는 쪽에 가깝다.
구조를 넣기 어려운 이유도 같은 자리에 있다. 면접관은 자유 대화에서 더 많은 것을 읽는다고 느낀다. 그 느낌은 틀리지 않는데, 더 많이 읽은 것 중 성과를 예측하는 몫은 작다. 자신감과 정확성은 따로 움직이고, 구조화를 받아들이는 일은 그 간격을 인정하는 일이다. 그래서 이 변화는 기술의 문제보다 권한의 문제로 다뤄져야 한다. 면접관이 자기 방식을 내놓아야 하기 때문이다.
경력 연수를 내리는 쪽도 같은 종류의 저항을 만난다. 연수는 세기 쉽고 설명하기 쉽고 다투기 어렵다. 그래서 1차 필터에 쓰인다. .07이라는 값은 그 편리함의 값을 말해 준다. Vol. 54에서 1만 시간을 다루며 같은 결론에 닿았다. 시간의 양은 그 시간에 무엇을 했는지를 알려 주지 않는다. 이번 표는 그 결론을 선발 도구 전체로 넓혀 준다.
마지막으로 이 숫자들을 우리 조직에 옮길 때의 한계를 적어 둔다. 전부 미국 자료의 메타분석이고, 평균이다. 직무마다 다르고 조직마다 다르다. 공채 관행과 학력 구조가 얽혀 있는 한국의 채용에 그대로 대입할 수 없다. 그렇다면 할 일은 남의 평균을 더 정확히 아는 쪽이 아니고 우리 숫자를 쌓기 시작하는 쪽이다. 면접 점수와 입사 뒤 평가를 한 표에 모아 두는 일은 올해 시작할 수 있고, 2년 뒤에는 우리 면접이 무엇을 맞혔는지 볼 수 있다. 그 표가 없는 동안 우리는 계속 남의 평균으로 사람을 고른다.
이 수정에서 가장 불편한 대목은 숫자가 내려간 일이 아니다. 수십 년 동안 그 숫자를 근거로 사람을 골랐고, 그 숫자가 어디서 왔는지 들여다본 사람이 거의 없었다는 사실이다. 보정 절차 하나가 결론을 그만큼 움직일 수 있다면, 우리가 근거라고 부르는 것들에도 같은 질문을 해야 한다.
그리고 실행은 작다. 질문을 미리 정하고, 기준을 먼저 적고, 각자 채점한 뒤에 의논하는 것이다. 새로 살 것이 없고 예산도 들지 않는다. 내놓아야 하는 것은 면접관의 재량뿐이다.