He Couldn’t Land a Job Interview. Was AI to Blame?

개요

Chad Markey라는 의대생이 AI 기반 지원서 심사 도구의 오류 가능성으로 인해 취업 인터뷰 기회를 얻지 못했다는 의혹을 제기하며, 이에 대한 진실을 규명하기 위해 6개월간 직접 조사에 나선 과정을 다룹니다.

주요 내용

* AI 심사 도구 의혹 제기: Markey는 본인의 우수한 학업 성적 및 추천서에도 불구하고 의학 레지던트 프로그램 지원서 심사에서 인터뷰 기회를 얻지 못하자, 병원에서 사용하는 AI 기반 심사 도구(Cortex)가 오류를 일으켰을 가능성을 의심했습니다. 특히, MSPE(Medical Student Performance Evaluation)에 기재된 '자발적' 휴학 관련 문구가 AI 시스템에서 부정적으로 해석되었을 것이라고 추측했습니다.
* AI 도구의 오류 및 투명성 부족: Markey가 속한 디스코드 그룹 등에서 Cortex 도구에 부정확한 성적이 표시된다는 보고가 있었으며, 이는 AI 심사 도구의 신뢰성과 투명성에 대한 의문을 증폭시켰습니다.
* Markey의 자체 조사: Markey는 자신의 MSPE 문구를 수정하여 AI 공정성 및 편향성 테스트 도구, VADER와 같은 자연어 처리 모델, 그리고 직접 코딩한 파이썬 스크립트 등을 활용해 AI 시스템의 작동 방식을 역설계하고 분석했습니다. 이를 통해 '개인적 이유'로 명시된 휴학 기간이 '의학적 상태'로 명시될 때보다 AI 분석에서 훨씬 낮은 점수를 받는다는 것을 발견했습니다.
* AI 심사 도구 제조사의 입장: Thalamus 측은 Cortex 도구가 AI를 사용하여 지원자를 점수화하거나 순위를 매기지 않으며, 주로 성적 정규화 및 연구 관심 표시에 AI를 활용한다고 해명했습니다. 또한, 일부 오류 보고는 도구의 오해나 잘못된 사용에서 비롯되었다고 주장했습니다.
* Markey의 최종 결과 및 조사 지속: Markey는 자신의 조사 결과를 바탕으로 Thalamus에 정보 접근 요청을 했으나, Thalamus는 Markey가 조사한 Medicratic 도구가 Cortex에서 사용되지 않았다고 답변했습니다. 그럼에도 불구하고 Markey는 AI가 지원서에 미치는 영향에 대한 조사를 계속 이어가고 있습니다.
* AI 채용 도구의 규제 및 투명성 요구: Markey의 사례는 AI 채용 도구의 편향성, 투명성 부족, 그리고 개인의 알 권리 보장의 중요성을 시사합니다. 배경 조사 회사의 경우 FCRA(Fair Credit Reporting Act)와 같은 규제가 존재하지만, AI 채용 도구는 아직 명확한 규제나 투명성 확보 방안이 부족한 실정입니다.

시사점

Markey의 이야기는 AI가 채용 과정에 미치는 영향에 대한 개인의 심층적인 탐구가 어떻게 이루어질 수 있는지 보여주며, AI 기반 채용 시스템에서의 공정성, 투명성, 그리고 규제의 필요성을 강조합니다.