DevDiff: A Real-Time PR Risk Intelligence Platform for Smarter Code Reviews

개요

DevDiff는 규칙 기반 보안 분석, 머신러닝, LLM 추론을 결합하여 프로덕션 환경에 도달하기 전에 위험한 코드 변경을 식별하는 실시간 Pull Request(PR) 위험 인텔리전스 플랫폼입니다.

주요 내용

• 문제점: 기존 보안 스캐너는 높은 오탐률, 제한적인 컨텍스트 이해, 개발자 피드백을 통한 개인화된 학습 부재, 과거 위험 추적 부족, 보안이 중요한 코드의 느린 리뷰 주기와 같은 문제를 가지고 있어 개발자 신뢰를 저하하고 중요한 보안 문제를 간과하게 만듭니다.
• 주요 기능:
• 실시간 PR 분석: PR이 열리거나 업데이트될 때마다 변경 사항을 실시간으로 분석하고 WebSockets를 통해 대시보드로 결과를 스트리밍합니다.
• 규칙 기반 보안 탐지: SQL Injection, XSS, Path Traversal, Command Injection, Hardcoded Secrets, Unsafe File Operations, Insecure Authentication Patterns, Dangerous API Usage 등 일반적인 보안 취약점을 식별하는 20개의 사용자 정의 규칙 엔진을 포함합니다.
• 머신러닝 위험 점수: 15개의 엔지니어링된 코드 특성을 기반으로 훈련된 Random Forest 머신러닝 모델을 사용하여 각 취약점에 위험 점수를 할당하여 가장 실제 보안 위협이 될 가능성이 높은 문제에 집중하도록 돕습니다. (현재 모델 성능: Random Forest classifier, 15개 엔지니어링된 특성, 약 0.92 F1 Score)
• 선택적 LLM 기반 심층 검토: 복잡한 PR의 경우 Groq 기반 LLM을 사용하여 더 깊은 의미론적 검토를 수행할 수 있으며, 비즈니스 로직 오류, 인증 흐름 문제, 권한 실수, 복잡한 보안 위험, 코드 품질 문제 등을 추론할 수 있습니다.
• 개발자 위험 인텔리전스: 개발자 위험 점수표, 리포지토리 보안 상태, 과거 위험 추세, 보안 히트맵, 발견 범주, 위험 분포 분석과 같은 개발자 중심 분석을 제공합니다.
• GitHub 통합: OAuth 인증을 사용하여 GitHub와 직접 통합되며, 여러 리포지토리 지원, PR 모니터링, 자동 분석, 과거 리포지토리 인사이트, CLI 스캐너 기능을 제공합니다.
• 개발자 피드백 기반 적응 학습: 개발자가 찾은 항목을 오탐으로 표시하면 해당 피드백을 기록하고 향후 탐지 임계값을 점진적으로 조정하여 반복적인 오탐을 크게 줄입니다.
• DevDiff v2.0의 새로운 기능:
• Hindsight Persistent Memory: 이전 탐지, 오탐 수정, 개발자 피드백, 과거 컨텍스트를 저장하여 이전 PR 및 개발자 간에 이전 검색 결과를 기억합니다.
• CascadeFlow: 무료 모델에 먼저 요청을 라우팅하고 어려운 경우에만 유료 모델로 에스컬레이션하여 LLM 기반 분석 비용을 60-70% 절감하는 지능형 모델 라우팅 시스템입니다.
• 기술 스택: Frontend (Next.js 14, React 18, TypeScript, Tailwind CSS, Framer Motion, Zustand), Backend (Node.js, Express), Database (PostgreSQL, Supabase), Machine Learning (Python, scikit-learn, Random Forest), Parsing & Analysis (Tree-sitter), AI (Groq LLM).
• 향후 로드맵: 다국어 지원, CI/CD 통합, 조직 전체 대시보드, 팀 기반 보안 지표, 자동 수정 제안, 엔터프라이즈 규정 준수 보고 등이 계획되어 있습니다.

시사점

DevDiff는 전통적인 정적 분석, 머신러닝, 적응형 메모리, 최신 AI를 결합하여 개발 워크플로우 내에서 실시간 위험 인텔리전스, 개인화된 학습, 비용 효율적인 AI 분석을 제공함으로써 개발 팀이 보안 문제를 더 일찍 탐지하고 오탐을 줄이며 코드 리뷰를 더 빠르고 안정적으로 만들 수 있도록 지원합니다.