Letting AI play my game – building an agentic test harness to help play-testing

개요

Crossword Dungeon 게임의 수동 플레이 테스트 과정을 자동화하기 위해 AI 에이전트 기반 테스트 하네스를 구축하는 방안을 제시한다.

주요 내용

* 수동 플레이 테스트의 한계: 게임 개발 과정에서 기능 검증 및 버그 발견을 위한 수동 플레이 테스트는 시간이 많이 소요되고 지루하며, 유닛 테스트만으로는 실제 실행 시스템 검증에 한계가 있다.
* AI 기반 테스트 하네스 구축: 게임의 복잡성 때문에 브라우저 자동화 도구 대신, 게임의 상태를 텍스트 기반으로 렌더링하고 합성 이벤트를 생성하는 Node.js 래퍼를 개발하여 AI가 게임과 상호작용하도록 한다.
* AI의 게임 플레이 및 테스트: 개발된 하네스를 통해 AI는 실제 브라우저에서 플레이하는 것과 동일하게 게임을 플레이하며, 특정 시나리오 재현, 엣지 케이스 탐색, 전투 및 상점 이용 등 다양한 기능을 테스트한다.
* AI의 버그 재현 및 수정: AI는 발견된 버그를 설명받으면 이를 재현하는 최소한의 테스트 픽스처를 생성하고, 코드 수정 후 다시 테스트하여 실제 수정 사항을 검증한다.
* AI의 새로운 워크플로우: AI에게 특정 마일스톤의 모든 기능을 추가하고, 각 기능을 이동하기 전에 철저히 플레이 테스트하도록 지시하여 수동 테스트 시간을 대폭 단축한다.
* 실제 적용 사례: AI는 12분 34초 동안 마일스톤 13의 5가지 새로운 특수 기능 구현 및 플레이 테스트를 완료했으며, 이를 통해 버그를 발견하고 AI가 수정 및 검증하는 과정을 보여준다.

시사점

AI 에이전트 기반 테스트 하네스는 복잡한 게임의 플레이 테스트 효율성을 극대화하고, 개발자가 직접 테스트하는 시간을 줄여 개발 프로세스를 혁신할 수 있는 잠재력을 가진다.