Fable 5 vs. GPT-5.6 Sol on an NP-Hard Problem: Does /goal help?

개요

Claude Fable 5와 GPT-5.6 Sol 모델이 NP-hard 최적화 문제 해결 능력을 비교했으며, 각 모델의 /goal 모드 사용 여부에 따른 성능 변화를 평가했다.

주요 내용

• NP-hard 최적화 문제: 섬유망 설계 문제인 KIRO는 2018년 엔지니어링 학생 시절 개발된 문제로, 주어진 도시(그르노블, 니스, 파리)의 거리 행렬을 바탕으로 케이블 총 길이를 최소화하면서 특정 제약 조건(중복 루프, 짧은 분기 등)을 만족하는 네트워크를 설계하는 문제이다.
• Fable 5의 뛰어난 성능: Fable 5는 테스트된 NP-hard 문제에서 최고의 솔루션을 생성했으며, 다른 모델에서 볼 수 없었던 일관성을 보였다. 이는 순수한 지능으로 평가되었다.
• /goal 모드의 효과: /goal 모드는 단순히 "더 열심히 시도하라"는 스위치가 아니라, 제어 루프와 탐색 경로를 변경한다. 이로 인해 때로는 더 나은 결과를 찾기도 하지만, 좋지 않은 아이디어에 더 많은 시간을 할애하게 만들 수도 있다.
• 성능 비교 결과:
• Fable 5는 /goal 모드 없이도 GPT-5.6 Sol보다 우수한 성능을 보였으며, 특히 해상도(cable length)의 일관성이 뛰어났다.
• plain 모드에서 Fable 5의 평균 점수는 32,386점, GPT-5.6 Sol은 34,261점이었다.
• /goal 모드에서 Fable 5의 평균 점수는 33,145점, GPT-5.6 Sol은 35,129점이었다.
• 대부분의 경우 /goal 모드가 약간의 이점을 가져왔으나, 때때로 성능이 크게 저하되는 경우도 발생했다. 평균적으로 /goal 모드는 두 모델 모두의 성능을 소폭 악화시켰다.
• Fable 5는 /goal 모드 사용 시 가장 좋은 점수(31,934점)를 기록했으나, /goal 모드 없이 사용하는 것이 가장 안전한 구성이었다.
• /goal 모드의 구현 차이:
• Claude Code: /goal을 세션 범위의 Stop hook으로 구현하며, 별도의 평가자 모델(기본값: Haiku)이 현재 상태를 판단하여 계속 진행 여부를 결정한다. 이 평가자는 트랜스크립트만 보고 판단하며 도구를 사용하거나 파일에 접근할 수 없다.
• Codex: /goal을 지속적인 스레드 상태로 취급하며, TUI가 목표를 저장하고 SQLite가 상태 및 예산 관리를 담당한다. working 모델은 create_goal, get_goal, update_goal과 같은 도구를 사용하며, 스스로 완료를 선언할 수 있다.
• /goal 모드가 평균 성능을 악화시키는 이유: 최적화 문제에서는 에이전트가 솔버를 선택한 후 추가 시간이 좋은 결정이든 나쁜 결정이든 그 영향을 증폭시킨다. /goal 모드는 때로는 유익했지만, 때로는 잘못된 결정에 시간을 낭비하게 만들었다.
• 재현 방법: 문제, 래퍼, 분석 스크립트, 결과 생성기 및 전체 증거 메모는 CLIArena에서 제공되며, 재현을 위한 명령어 예시도 제시되어 있다.

시사점

NP-hard 최적화 문제에서 /goal과 같은 지속성 기능은 개별 실행에서 더 나은 결과를 얻을 확률을 높일 수 있지만, 관찰된 평균 성능을 저하시킬 수 있으며, 반복 루프 내의 의사 결정 품질이 전체 시스템 성능에 더 큰 영향을 미친다.