I used AI to moderate AI content — here's what I learned building AIHallucination

개요

AIHallucination은 AI가 다른 AI 콘텐츠를 검토하는 시스템을 구축한 경험을 공유하며, 커뮤니티 운영 및 AI 모델 활용의 실제적인 측면을 탐구합니다.

주요 내용

* 기술 스택: TanStack Start(React 19, SSR, 파일 기반 라우팅), PostgreSQL, Drizzle ORM, Railway, Tailwind v4, shadcn을 사용했습니다.
* AI를 활용한 콘텐츠 검토: 모든 게시물은 GPT-4o mini를 통해 라이브 게시 전에 검토됩니다. 이는 스팸을 거부하면서도 솔직하고 비판적인 AI 경험에 대한 게시물은 허용하는 복잡한 규칙을 처리하기 위해 선택되었습니다.
* 프롬프트 엔지니어링의 중요성: 초기 버전은 과도하게 검토했지만, "비꼬는 표현, 좌절감, 비공식적인 언어는 플랫폼의 일부이므로 톤만으로 거부하지 말라"는 지침을 추가하며 개선되었습니다.
* 검토 흐름: 사용자 제출 -> DB 저장(대기 상태) -> moderatePost() 비동기 실행 -> GPT-4o mini 평가 -> 상태 업데이트(승인, 거부, 실패) -> 사용자에게 피드백 제공 및 수정 기능 허용.
* 데이터 모델: 게시물에는 moderationStatus 컬럼이 있고, 각 검토는 moderation_event 테이블에 감사 로그로 기록됩니다. moderationStatus는 성능을, moderation_event는 투명성을 위해 분리되었습니다.
* 교훈: 실제 사용자의 초기 콘텐츠 생성(시드링)이 기술 구축보다 어렵고, AI 검토 프롬프트 엔지니어링이 핵심적인 역할을 합니다.

시사점

AIHallucination 구축 경험은 AI를 활용한 콘텐츠 검토 시스템의 실용성과 함께, 커뮤니티 활성화를 위한 초기 콘텐츠 확보 및 효과적인 프롬프트 엔지니어링의 중요성을 보여줍니다.