How to Stop ChatGPT and Claude From Forgetting Context in Long Conversations

개요

AI 모델(ChatGPT, Claude 등)이 긴 대화에서 맥락을 잊는 문제는 고정된 컨텍스트 창(context window)으로 인해 발생하는 현상이며, 대화 내용을 압축하여 새로운 채팅에 붙여넣는 방식으로 해결할 수 있습니다.

주요 내용

* AI 모델의 컨텍스트 창은 한 번에 볼 수 있는 텍스트의 양에 제한이 있어, 대화가 길어지면 이전 내용을 잊어버리는 현상이 발생합니다.
* 기존의 "새 채팅 시작" 방식은 대화에서 얻은 모든 정보를 버리게 되므로 완전한 해결책이 되지 못합니다.
* 해결책은 "압축 핸드오프(compression handoff)"로, 대화가 너무 길어지기 전에 모델에게 요약본을 작성하게 하여 새로운 채팅의 초기 기억으로 사용하는 것입니다.
* 이 압축 기법은 5,000단어 분량의 대화를 약 500단어의 짧고 구조화된 메모로 압축하여 중요한 결정사항을 보존하고 불필요한 내용을 제거합니다.
* 6단계 압축 방법은 다음과 같습니다:
1. "새 채팅에 붙여넣을 핸드오프 요약본을 작성해 달라. 목표, 확정된 결정, 추측으로 틀릴 수 있는 부분, 열린 질문, 다음 구체적인 단계를 포함해 달라"는 프롬프트를 사용합니다.
2. "목표(Goal)", "결정(Decisions)", "제약(Constraints)", "열린 질문(Open Questions)", "다음 단계(Next Step)"와 같이 제목이 있는 섹션으로 구조화하도록 강제합니다.
3. 새로운 채팅에서 쉽게 재발견할 수 있는 내용은 삭제하고, 반드시 필요한 정보만 포함합니다.
4. 요약본의 목표 길이를 약 500단어로 설정하여, 새 채팅이 기록을 다시 읽는 데 시간을 낭비하지 않도록 합니다.
5. 새로운 채팅을 열고 요약본을 먼저 붙여넣어 대화 시작 시점부터 맥락을 유지합니다.
6. 생성된 요약본을 검색 가능한 곳에 저장하여 시스템으로 활용합니다.
* 요약본을 Notion과 같은 데이터베이스에 저장하면 프로젝트별로 관리하여 나중에 쉽게 다시 사용할 수 있으며, 이는 대화를 재시작하는 대신 이어가는 차이를 만듭니다.
* AI 모델의 내장 메모리 기능은 일부 도움이 되지만, 특정 긴 대화의 전체적인 추론 과정을 보존하는 데는 압축 핸드오프 방식이 더 효과적입니다.
* 이 방법은 유료 도구나 플러그인 없이 무료로 사용할 수 있으며, 프롬프트를 템플릿화하여 사용성을 높일 수 있습니다.

시사점

AI 모델의 컨텍스트 창 한계를 극복하는 압축 핸드오프 기법은 사용자가 AI와의 긴 대화에서 정보 손실 없이 효율성을 극대화할 수 있는 실용적인 방법이며, 이는 AI 활용 경험을 크게 향상시킬 수 있습니다.