Your Keep-Alive Is Lying to You: Six Connection Myths I Measured on a Free Model Server

개요

기술 블로그는 무료 모델 서버의 연결성 관련 일반적인 오해 6가지를 측정 데이터 기반으로 반박하며, 실제 연결 동작에 대한 올바른 이해를 제시한다.

주요 내용

* 무료 티어의 특성: 유료 티어와 달리 무료 티어는 SLA나 용량 보장이 없어 언제든 연결이 재할당되거나, 유휴 상태 시 축소되거나, 다른 복제본으로 라우팅될 수 있다. 이는 버그가 아닌 무료 제공의 경제적 원리이며, 클라이언트가 이러한 변동성을 흡수해야 하므로 재시도 로직과 타임아웃 정책이 제품의 일부가 된다.
* Probe를 이용한 측정: Connection-lifecycle probe는 연결을 예열하고 지연 시간을 기록한 후 일정 시간 동안 유휴 상태를 유지하고 다시 요청하는 방식으로 작동한다. 무료 모델 엔드포인트에 대해 실행한 결과, 따뜻한(warm) 연결 시 약 400ms의 지연 시간을 보였으나, 300초(5분)의 유휴 시간 후 재요청 시에는 1800-2300ms 이상으로 4~5배 증가하는 현상을 측정했다.
* Keep-alive의 실체: 연결 재사용을 테스트한 결과, 5분간 유휴 상태였던 재사용 연결은 RemoteDisconnected 오류를 발생시켰으나, 새로운 연결로 시도했을 때는 정상적으로 작동했다. 이는 일반적인 Keep-alive의 기대와 달리 무료 서버의 유휴 연결이 끊길 수 있음을 시사한다.
* 6가지 연결 신화와 교정:
1. "무료 서버는 항상 콜드하다": 콜드 스타트는 유휴 시간에 따라 발생하며, 서버 상태보다는 유휴 간격에 따라 연결 상태를 파악해야 한다. 매번 요청 전에 예열하는 것이 아니라 긴 유휴 시간 후에 한 번 예열하는 것이 효율적이다.
2. "웜(Warm) 상태면 빠르다": 웜 상태에서도 요청마다 지연 시간이 달라질 수 있으며(p50은 400ms, p95는 1.8초 이상), 이는 공유 인프라, 스케줄링, 네트워크 노이즈 때문이다. 평균 대신 백분위수(p95, p99)로 성능을 측정하고 추세를 관찰해야 한다.
3. "Keep-alive는 연결을 유지시킨다": 유휴 연결은 서버에 의해 끊기거나 로드 밸런서의 타임아웃으로 인해 비활성화된다. 모든 요청을 잠재적인 새 연결로 간주하고, 연결 오류 시 한 번 재시도 후 실패하는 것이 낫다.
4. "유휴 후 첫 요청만 느리다": 첫 번째 요청이 연결을 재설정하고 모델이나 서버가 다시 워밍업하는 과정에서 두 번째 요청도 느릴 수 있다. 한 번이 아닌 두 번의 예열 요청을 사용하는 것이 좋다.
5. "긴 타임아웃이 더 안전하다": 긴 타임아웃은 실패를 숨길 수 있다. 연결 타임아웃, 첫 토큰 타임아웃, 총 타임아웃 등 계층화된 타임아웃을 사용하여 각 단계가 독립적으로 실패하고 정보를 제공하도록 해야 한다.
6. "재시도(Retry)는 모든 것을 해결한다": 재시도는 일시적인 오류에는 도움이 되지만, 과부하 시에는 상황을 악화시킨다. 재시도 폭풍은 429 오류를 더 심하게 만들 수 있다. 재시도 횟수를 1회로 제한하고, 지터(jitter)를 추가하며, 멱등성(idempotent) 요청에만 적용하고 4xx 오류에는 재시도하지 않아야 한다.
* 권장되는 클라이언트 행동 모델: 긴 유휴 시간 후 첫 요청은 2~5배 높은 지연 시간을 예상하고, 연결 오류 시 한 번 재시도 후 실패하며, 429 오류 발생 시 백오프(back-off)하고 즉시 재시도하지 않는다. 웜 상태의 p95 지연 시간이 높다면 동시 요청을 확인하고, 보장된 지연 시간이 필요하다면 유료 티어를 사용한다.
* 지속적인 모니터링: Probe를 일회성이 아닌 주간 단위로 실행하고 로그를 기록하며 추세를 관찰해야 한다. 무료 티어의 변화에 맞춰 클라이언트의 가정도 변화해야 하며, 대부분의 느린 요청은 클라이언트 측의 문제일 가능성이 높다.
* 접근 방식의 한계: 측정 결과는 특정 엔드포인트, 시간, 워크로드에 국한되며, 무료 티어는 예고 없이 변경될 수 있다. 이 접근 방식은 SLA가 보장되는 지연 시간이 필요하거나, 엄격한 타임아웃이 요구되는 동기식 사용자 대면 기능, 또는 간헐적인 느린 요청을 허용할 수 없는 경우에 적합하지 않다.

시사점

무료 모델 서버 사용 시, 관례적인 "Keep-alive"나 "재시도"와 같은 단순한 해결책에 의존하기보다 실제 측정 데이터를 기반으로 연결 동작을 이해하고, 유휴 시간, 연결 재활성화, 잠재적 지연 변동성 등을 고려한 견고한 클라이언트 로직을 설계하는 것이 필수적이다.