Stratagems #1: Mark Johnson Walked Into an AI Audit. The Benchmark Had Everything Figured Out — Except the Truth.

개요

마크 존슨은 AI 감사 전문가로서, Pulse AI라는 회사의 기술 실사를 진행하며 해당 회사가 AI 벤치마크 결과에 허점을 숨기고 있음을 발견했습니다.

주요 내용

* AI Skill의 탄생과 해고: 마크 존슨은 12년간의 인프라 전문성을 AI Skill로 추출한 후 해고되었으나, 시스템 변경 후 AI Skill 오류로 인해 다시 고용되는 경험을 했습니다.
* Pulse AI 감사 착수: 벤처 캐피탈(VC)의 의뢰로 Pulse AI의 기술 실사에 투입된 마크 존슨은 Pulse AI CTO의 아키텍처 문서에서 이전 회사와 동일한 데이터 파이프라인 명명 규칙을 발견했습니다.
* 평가 데이터셋의 허점 발견: Pulse AI가 공개한 벤치마크 평가 데이터셋에서 1,247개의 샘플 중 44개가 공개 데이터베이스와 정확히 일치하고, 54개가 수제작된 것으로 보이는 샘플임을 확인했습니다.
* 숨겨진 프로세스 및 정보: 평가 데이터셋이 "Apex-Lens-Cleaner v1.0.0"이라는 공식적으로 존재하지 않는 모듈을 통해 처리되었으며, Pulse AI의 CTO가 벤치마크 숫자를 조작하려 했다는 정황을 파악했습니다.
* 이전 회사의 흔적: Pulse AI의 작업 환경, 특히 IT 자산 태그, 노트북 스티커 배치, 그리고 데이터 파이프라인 명명 규칙(/pulse/ingestion/{env}/{source})이 마크 존슨이 해고되었던 회사의 AI Skill 파이프라인(/knowledge/ingestion/{env}/{source})과 거의 동일함을 확인했습니다.
* CTO의 자백: 마크 존슨의 직접적인 질문에 Pulse AI CTO는 평가 데이터셋의 출처(공개 데이터베이스 및 수제작)와 벤치마크 숫자를 높이려는 의도를 시사했습니다.

시사점

기술 실사 과정에서 드러난 Pulse AI의 데이터 조작 및 타사 시스템 흔적 발견은 AI 제품의 신뢰성 검증과 기술적 무결성 확보가 필수적임을 보여줍니다. 마크 존슨의 사례는 숨겨진 정보와 미묘한 단서들을 통해 시스템의 진실을 파헤칠 수 있음을 시사합니다.