AI outperforms law professors in Stanford Law study

개요

스탠포드 로스쿨의 연구에 따르면, 법학 교수들은 학생들이 제기하는 질문에 대한 AI 생성 답변을 동료 교수들의 답변보다 훨씬 선호하는 것으로 나타났습니다.

주요 내용

* 스탠포드 로스쿨 교수 Julian Nyarko가 주도한 연구 "Law Professors Prefer AI Over Peer Answers"는 16명의 미국 로스쿨 교수들을 대상으로 진행되었습니다.
* 블라인드 평가에서 3,000건에 가까운 익명 비교 결과, 교수들은 AI 답변을 다른 교수들의 답변보다 유의미하게 높게 평가했으며, AI가 75%의 대결에서 승리했습니다.
* 법률 분야는 명확한 정답이 없는 경우가 많고, 상반된 주장이 모두 타당할 수 있는 분야로, AI가 이러한 복잡한 추론 능력을 갖추고 있음을 시사합니다.
* AI 답변은 인간 강사가 제공하는 답변과 유사한 수준이었으며, AI 답변이 교육적으로 해롭다고 지적된 비율은 3.5%로, 동료 교수 작성 답변의 12%보다 현저히 낮았습니다.
* 연구팀은 AI 답변의 길이와 구조를 인간 답변에 맞추고, 다양한 평가 방법과 학생들에게 혼란을 줄 수 있는지 여부를 검토하는 등 엄격한 검증 절차를 거쳤습니다.
* AI 튜터링이 법과 같이 판단이 중요한 분야에서 학습에 기여할 수 있음을 보여주며, 교실 수업을 보완하는 고품질 온디맨드 지원을 제공할 수 있습니다.
* 상용 튜터링 시스템과 Google NotebookLM을 포함한 다양한 AI 모델의 성능이 검토되었으며, 일부 문맥적 한계에도 불구하고 AI 답변이 선호되는 경우가 많았습니다.
* AI 튜터의 전면적인 채택을 권장하는 것은 아니지만, AI에 대한 일방적인 회의론보다는 학생들에게 이익이 되도록 책임감 있게 배포하는 방법에 대한 논의로 전환해야 함을 제안합니다.

시사점

이 연구 결과는 AI가 법률 교육의 질을 향상시키고 접근성을 확대하는 데 기여할 잠재력이 있음을 보여주며, AI 도구의 통합에 대한 논의를 심화시킬 것으로 보입니다.