AI Engineer Notebooks – free, framework-free RAG/agents/evals on Colab

개요

AI 엔지니어링 역량 강화를 위한 Colab 기반의 프레임워크-프리(framework-free) RAG, 에이전트, 평가(evals) 실습 노트북이 무료로 제공됩니다.

주요 내용

* 프레임워크-프리 학습: LangChain, LlamaIndex와 같은 프레임워크 사용 전에 기본적인 API 호출을 통해 RAG, 에이전트, 평가 메커니즘을 직접 구현하며 이해도를 높입니다.
* 실무 중심 커리큘럼: 프롬프트 엔지니어링부터 모델 서빙, 파인튜닝, 레드팀 벤치마킹까지 AI 엔지니어 면접에서 요구되는 실제 기술 스택을 다룹니다.
* 무료 실행 환경: 모든 노트북은 무료 Groq API를 사용하여 신용카드 정보 없이 실행 가능하며, LoRA 파인튜닝 및 셀프 호스팅 서빙과 같이 GPU가 필요한 부분은 Colab GPU를 활용한 별도 섹션에서 다룹니다.
* 실제 사례 연구: 실제 프로덕션 환경의 지원 어시스턴트 디버깅, 파이프라인 vs 에이전트 비용 비교, 레드팀 견고성 벤치마킹 등 3가지 엔드-투-엔드 사례 연구를 통해 실질적인 문제 해결 능력을 함양합니다.
* OpenAI 호환성: 모든 패턴은 OpenAI API와 호환되며, 기본적인 URL 변경으로 Anthropic API 등 다른 모델에도 적용 가능합니다.
* 세부 학습 모듈:
* 00 — Setup Notebook: 환경 설정, API 키 관리, 비용 관리
* 01 — Model APIs Notebook: 프롬프트 기초, 구조화된 출력, 도구 호출, 스트리밍, 컨텍스트 및 캐싱
* 02 — Evals I: measuring outputs Notebook: 골든셋(Golden sets) 및 측정 지표를 활용한 출력 평가
* 03 — RAG Notebook: RAG 기본 개념, 임베딩 및 검색, 하이브리드 검색, 청킹(Chunking) 전략, RAG 실패 원인 분석
* 04 — Evals II: the differentiator Notebook: RAG 시스템 평가, LLM 기반 평가, 회귀(Regression) 평가
* 05 — Agents Notebook: 에이전트 루프 구현, 도구 설계, 가드레일 및 예산, MCP(Model Context Protocol), 스킬(Skill) 및 점진적 공개
* 06 — Adapting the model Notebook: 파인튜닝 vs RAG vs 프롬프트, LoRA/QLoRA 소개 및 실습
* 07 — Security Notebook: 프롬프트 주입(Prompt injection) 공격 및 방어, OWASP LLM Top 10 위험
* 08 — Operations Notebook: LLMOps, 관찰 가능성(Observability), 신뢰성 및 장애 복구, 실험 추적 및 레지스트리
* 09 — Serving & inference performance: 서빙 프레임워크, 추론 성능 최적화
* 10 — ML system design & performance Notebook: 추론 서비스 설계, SLA(Service Level Agreement) 트레이드오프
* 11 — Customer craft (the FDE differentiator) Notebook: 고객 요구사항 분석 및 시스템 설계
* 12 — Case Studies & Capstone: 실제 프로젝트 사례 연구 및 개인 포트폴리오용 프로젝트 구축

시사점

본 노트북 시리즈는 AI 엔지니어 또는 FDE(Forward Deployed Engineer) 역할을 목표로 하는 백엔드/풀스택 엔지니어들이 실제 프로덕션 시스템 구축에 필요한 실무 중심의 기술을 체계적으로 학습하고 적용할 수 있는 기회를 제공합니다.