확장한다
이 글에서 '편향 감사'는 AI를 의심하는 정치적 제스처가 아니다. 채용·평가 도구가 성별·인종 등 집단별로 실제로 다른 결과를 내는지 수치로 재는 독립 점검이다. 뉴욕시는 2023년부터 이것을 법으로 의무화했다. 공정을 가정하는 대신, 재는 것이다.
Section Ⅰ · Amazon, 2018어제를 배운 기계
편견을 지우려던 도구가
편견을 배웠다
채용에 AI를 들이는 이유는 대개 하나다. 사람의 편견을 걷어내고 싶어서다. 그런데 2018년 로이터가 전한 아마존의 실험은 그 기대의 뒤집힌 결말을 보여 줬다.
아마존은 이력서를 자동으로 점수 매기는 채용 AI를 만들었다. 도구는 지난 10년치 입사 지원 이력서로 학습했는데, 기술 업계의 그 10년은 남성 편중이었다. 기계는 충실하게 배웠다. 남성 지원자가 선호된다는 패턴을. 그리고 'women's'라는 단어가 든 이력서를 감점하기 시작했다. 여성 체스 동아리 주장도, 여자대학 졸업장도 감점 사유가 됐다.
아마존은 도구를 고치려 했지만, 편향을 확실히 걷어낼 수 없다고 판단해 결국 폐기했다. 이 사례가 남긴 교훈은 아마존만의 것이 아니다. AI는 어제의 결정에서 배운다. 어제가 편향되어 있으면, 기계는 그 편향을 배워 내일에 적용한다. 지우는 게 아니라 물려받는 것이다.
그러니 물음은 'AI가 사람보다 공정한가'가 아니다. 이 도구가 배운 어제는 어떤 어제였고, 그 결과를 지금 누가 재고 있는가이다.
Section Ⅱ · Silent Scale편향이 커지는 세 갈래
사람의 편견보다
기계의 편견이 위험한 이유
사람도 편향된다(Vol. 06). 그런데 기계의 편향은 성질이 다르다. 세 가지 방식으로 더 크게, 더 안 보이게 번진다.
“기계는 남성 지원자가 선호된다는 것을 스스로 학습했고, 'women's'라는 단어가 들어간 이력서를 감점했다.” (요지 · Jeffrey Dastin, Reuters, 2018)
Section Ⅲ · Audit It공정을 감사하는 설계
공정을 가정하지 말고
잰다
뉴욕시의 답은 참고할 만하다. 채용 AI를 금지하는 대신, 공정을 재고 공개하고 알리게 했다. 연 1회 독립 감사, 결과 공개, 지원자 사전 고지. 법이 없는 곳에서도 리더는 같은 설계를 세울 수 있다. 그러려면 다음을 통과해야 한다.
편향 감사는 AI를 버리자는 이야기가 아니다. 잘 감사된 도구는 사람의 들쭉날쭉한 편견보다 나을 수 있다. 다만 그 '나음'은 재어 확인한 다음의 이야기이지, 도입하며 가정할 이야기가 아니다.
이 편은 책임 시리즈의 세 번째 문장이다. 결정은 맡겨도 책임은 떠넘길 수 없고(Vol. 26), 편의를 들여도 감시할 권리가 따라오지 않으며(Vol. 31), 이제 도구를 들여도 공정이 따라오지는 않는다. 사람의 편향(Vol. 06)을 기계가 물려받아 평균으로 몰아갈 때(Vol. 22), 그것을 재는 눈은 여전히 사람의 몫이다.
기계는 어제를 배워 내일을 고른다. 리더의 일은 그 어제가 무엇이었는지 묻고, 내일이 달라지는지 재는 것이다. 공정은 선언되지 않는다. 감사된다.