Making AI operational in constrained public sector environments

개요

공공 부문 환경은 데이터 보안, 거버넌스, 운영 측면의 제약으로 인해 AI 도입에 어려움을 겪고 있으며, 이러한 환경에 적합한 소형 언어 모델(SLM)이 AI 운영화를 위한 유망한 방안으로 제시됩니다.

주요 내용

* 공공 부문의 AI 도입 제약: 민간 부문과 달리 정부 기관은 민감한 데이터의 보안 및 통제, 감사 요구 사항, 제한적인 인터넷 연결 환경, GPU 인프라 부족 등의 고유한 제약 조건을 가지며, 이는 AI 파일럿 프로젝트가 실험 단계를 넘어서기 어렵게 만듭니다.
* LLM의 한계와 SLM의 부상: 대규모 언어 모델(LLM)은 방대한 매개변수와 높은 컴퓨팅 자원 요구량으로 인해 공공 부문의 보안 및 운영 제약 조건과 맞지 않지만, SLM은 더 적은 매개변수를 사용하여 로컬 환경에 배포 가능하며 보안과 통제력을 높일 수 있습니다.
* SLM의 실용성과 이점: SLM은 특정 부서나 기관의 요구에 맞춰 설계될 수 있으며, 스마트 검색, 벡터 검색, 검증된 출처 기반 정보 활용 등의 기술을 통해 민감한 정보를 안전하게 처리하고 정확한 답변을 제공할 수 있습니다.
* AI를 통한 검색 및 데이터 관리 혁신: LLM 중심의 챗봇을 넘어 AI는 공공 부문의 방대한 비정형 데이터를 효과적으로 검색하고 관리하는 데 혁신을 가져올 수 있으며, 혼합 미디어(PDF, 이미지, 음성 등) 및 다국어 데이터에서 정보를 추출하고 해석하는 데 도움을 줄 수 있습니다.
* SLM의 효율성 및 규제 준수: SLM은 LLM보다 컴퓨팅 자원 및 비용 효율성이 뛰어나고 환경에 미치는 영향도 적으며, 투명한 알고리즘 문서화 및 GDPR과 같은 개인 정보 보호 규정 준수를 위해 설계될 수 있습니다.
* 환각(Hallucination) 문제 해결: SLM은 검증된 출처에서만 정보를 가져오도록 강제하여 LLM의 환각 문제를 해결하고, 데이터를 로컬 서버나 특정 장치에 유지함으로써 위험을 최소화하며 신뢰성과 탄력성을 확보할 수 있습니다.

시사점

공공 부문은 AI 도입 시 챗봇보다는 검색에 집중하고, 데이터 중심의 SLM을 활용하여 보안, 규제 준수, 효율성 제약을 충족하며 실질적인 AI 역량을 구축할 수 있습니다.