Turn Your Email Into a SQL Database

개요

surveilr는 사용자의 이메일 받은 편지함을 SQLite 데이터베이스로 변환하여, 기존 이메일 클라이언트의 검색 기능을 넘어선 복잡한 데이터 분석 및 쿼리가 가능하게 하는 도구입니다.

주요 내용

* 이메일의 데이터화: surveilr를 통해 Gmail, Outlook 등 IMAP 서버를 사용하는 이메일 받은 편지함을 SQL 테이블로 저장하고 쿼리할 수 있습니다.
* 기존 이메일 검색의 한계: Gmail이나 Outlook의 검색 기능은 단순 메시지 찾기에 국한되며, 특정 기간, 첨부 파일 크기, 특정 키워드 동시 포함 등 복잡한 조건의 분석이나 패턴 파악에는 제한적입니다.
* surveilr의 기능:
* IMAP 서버에 연결하여 보낸 사람(From), 받는 사람(To, CC, BCC), 제목, 날짜, 본문 내용, 헤더, 첨부 파일, 스레드 관계, 폴더 구조 등 이메일의 모든 정보를 추출합니다.
* 추출된 데이터는 표준 SQLite 형식으로 저장되어, 다양한 SQL 도구를 사용하여 분석할 수 있습니다.
* Gmail의 경우, Google 계정에서 '앱 비밀번호'를 생성하여 일반 비밀번호 대신 사용합니다.
* surveilr admin init -d email.db 명령어로 SQLite 데이터베이스를 초기화하고, surveilr ingest imap 명령어로 이메일 데이터를 데이터베이스에 저장합니다.
* surveilr shell -d email.db 명령어로 SQL 셸에 접속하여 이메일 데이터를 쿼리할 수 있습니다.
* 첨부 파일 추출 (--extract-attachments), 특정 상태의 메시지 필터링 (--status), 폴더 목록 확인 (--list-folders), 결과 JSON 또는 CSV 형식으로 내보내기 (--output json/csv) 등의 기능을 지원합니다.
* SQL 기반 쿼리 예시:
* 특정 발신자 도메인의 모든 이메일 찾기.
* 10MB 이상의 첨부 파일이 포함된 이메일 목록 조회.
* 최근 30일간 일별 이메일 수 추적.
* 내가 보냈지만 답장이 오지 않은 이메일 찾기.
* 특정 키워드를 포함하는 수년간의 이메일 검색.
* 가장 자주 이메일을 주고받는 상대방 추적.
* 주말 또는 심야 시간에 보낸 이메일 찾기.
* CSV 내보내기와의 차이점: CSV 내보내기는 특정 시점의 스냅샷이지만, surveilr는 지속적인 데이터 수집과 증분 업데이트를 지원하며, 첨부 파일과 메시지 간의 관계 등 데이터 구조를 유지합니다.
* 실제 적용 사례: 개발자는 버그 리포트 추적, API 키 누출 검색, 지원 티켓 분석 등에 활용할 수 있으며, 운영자는 외부 통신 감사, 경고 이메일 추적 등에, 법무/E-Discovery 팀은 법적 증거 확보, 커뮤니케이션 타임라인 증명 등에 활용할 수 있습니다. 컴플라이언스(HIPAA, SOX, GDPR) 관련 규정 준수에도 기여할 수 있습니다.
* 데이터베이스 접근성: SQLite 데이터베이스를 DB Browser for SQLite, Datasette, Python pandas, DuckDB, Metabase 등 다양한 도구와 연동하여 시각화, 웹 UI, 데이터 분석, 대시보드 구축 등에 활용할 수 있습니다.
* 보안: 메인 이메일 비밀번호 대신 보안성이 높은 앱 비밀번호 사용을 권장하며, 환경 변수나 비밀번호 관리자 CLI를 통해 비밀번호를 안전하게 관리할 것을 제안합니다. 데이터베이스 암호화를 위한 SQLCipher 사용도 언급됩니다.
* 문제 해결: 인증 실패, 연결 시간 초과, 메시지 없음 등의 일반적인 문제에 대한 해결 방안을 제시합니다.
* 확장성: 추출된 이메일 데이터를 파일 시스템 메타데이터나 API 데이터(GitHub, Jira 등)와 결합하여 더 풍부한 분석이 가능합니다.

시사점

surveilr는 이메일 데이터를 단순한 메시지 보관소를 넘어, SQL을 통해 심층적으로 분석하고 활용할 수 있는 영구적인 자산으로 전환시킴으로써, 개인 및 조직의 커뮤니케이션 기록에 대한 통제력과 통찰력을 강화합니다.