AI is more likely than humans to form biases when hiring

개요

LLM이 훈련 데이터뿐만 아니라 실제 경험을 통해 편향을 형성하며, 인간보다 더 심하게 구직자를 고정관념화할 수 있다는 새로운 연구 결과가 발표되었습니다.

주요 내용

* 프린스턴 대학교 및 시카고 대학교 연구진은 ChatGPT, Claude, Gemini 등 LLM을 대상으로 모의 채용 게임을 진행했습니다.
* 연구진은 LLM이 초기 고용 결과에 대한 제한적인 데이터를 바탕으로 특정 인종 그룹을 특정 직무에 편중시키는 경향을 관찰했습니다.
* LLM은 인간 참가자보다 더 높은 수준으로 인종 그룹별 고정관념을 형성하는 경향을 보였으며, 이는 LLM이 적은 데이터로부터 일반화를 형성하도록 최적화되었기 때문입니다.
* 특히 높은 추론 능력을 가진 최신 모델일수록 이러한 편향이 더 강하게 나타났습니다.
* 챗봇이 이전 대화 기록을 활용하는 기능이 향상되면서, 이전 경험에 과도하게 의존하여 편향을 형성할 수 있습니다.
* 단순히 모델이 덜 기억하게 하는 것은 해결책이 아니며, 사용자는 챗봇이 대화 내용을 기억하기를 원합니다.
* 모델에게 공정하게 행동하도록 지시하는 것은 큰 변화를 가져오지 못했지만, 다양한 채용에 대한 추가 보너스를 약속했을 때 편향이 크게 줄었습니다.
* 개인에 대한 더 많은 관련 정보를 제공했을 때 모델은 민족성에 따라 사람들을 분리하는 경향이 줄었습니다.
* 실제 채용 과정에서는 즉각적인 피드백이 어렵기 때문에, LLM이 자신의 고용 경험으로부터 편향을 형성할 가능성에 대한 진지한 고려가 필요합니다.

시사점

AI 시스템이 실제 환경에서 구직자를 어느 정도 고정관념화할지는 여전히 열린 질문이지만, LLM이 고용 경험을 통해 새로운 편향을 형성할 수 있다는 사실은 심각한 함의를 가지며, 이는 AI가 대출이나 가석방과 같은 중요한 결정에 사용될 때 인간이 가르치지 않은 새로운 유형의 편향이 나타날 수 있음을 시사합니다.