GPT vs Claude vs DeepSeek на одних задачах: регулярка, рефакторинг, SQL

개요

GPT, Claude, DeepSeek 세 가지 언어 모델을 일반적인 개발 작업인 정규식 작성, 코드 리팩토링, SQL 쿼리 생성에서 비교 평가한 결과, 각 모델이 특정 작업 유형에 따라 강점을 보였으며, 모델 비교는 동일한 프롬프트와 환경에서 수행해야 함을 보여줍니다.

주요 내용

* 정규식 작성: CSV 문자열을 따옴표를 깨뜨리지 않고 분리하는 JavaScript 정규식 작성 작업에서 GPT와 Claude는 즉시 작동하는 정규식을 제공했으며, Claude는 성능에 대한 경고를 추가로 제공했습니다. DeepSeek는 처음에는 정규식 작성을 거부하고 다른 접근 방식을 제안했지만, 요청 후 정규식을 생성했습니다.
* 코드 리팩토링: 중첩된 if 문으로 구성된 할인 함수 리팩토링 작업에서는 Claude가 가장 우수한 결과를 보였으며, 코드를 간결하게 만들고 동작을 정확히 유지했습니다. GPT는 로직을 약간 변경하여 경계값을 수정했으며, DeepSeek는 보수적으로 코드를 단순화하고 변경 사항에 대한 설명을 추가했습니다.
* SQL 쿼리 생성: PostgreSQL에서 세 달 연속 주문 기록이 있는 사용자를 찾는 SQL 쿼리 생성 작업에서는 DeepSeek가 가장 깔끔하고 효율적인 솔루션을 처음부터 제공했습니다. Claude는 더 긴 쿼리를 생성했으며, GPT는 연말 경계 처리에 버그가 있었지만 수정 후 정상 작동했습니다.
* 모델 비교 환경: 모델 비교는 동일한 환경(VPN 문제, 세션 오류 방지를 위해 단일 창에서 Aggregator 사용) 및 동일한 프롬프트로 진행되어 변수를 최소화했습니다.
* 모델별 특징: GPT는 주도적이고, Claude는 꼼꼼하며, DeepSeek는 실용적인 성향을 보였습니다.
* 향후 비교 시사점: 모델 비교는 동일한 프롬프트와 간편한 모델 전환 환경에서 수행하는 것이 중요하며, 향후 모델 성능은 지속적인 업데이트로 인해 달라질 수 있습니다.

시사점

본 비교는 언어 모델이 개발 작업에서 유용할 수 있음을 보여주며, 각 모델의 특성을 이해하고 특정 작업에 가장 적합한 모델을 선택하는 것이 중요함을 시사합니다. 또한, 정확하고 신뢰할 수 있는 비교를 위해서는 통제된 환경에서 동일한 기준을 적용해야 합니다.