--- title: "지자체들이 예산 0원·로컬 AI로 행정 자동화 굴리기 시작함" published: 2026-06-29T00:05:02.843Z canonical: https://jeff.news/article/4372 --- # 지자체들이 예산 0원·로컬 AI로 행정 자동화 굴리기 시작함 국내 지방자치단체들이 외부 클라우드 API 대신 온프레미스, 오픈소스 언어모델, 검색증강생성(RAG)을 조합해 행정 AI를 자체 구축하는 사례를 내고 있다. 양산시, 광주시, 남양주시, 서울 광진구 사례를 보면 핵심은 비용 절감뿐 아니라 망분리·보안·환각 제어까지 현장 제약에 맞춘 구조를 만드는 쪽이다. ## 지자체 AI가 데모 단계를 지나 실제 업무로 들어가는 중 - 국내 지방자치단체들이 로컬 AI와 오픈소스로 행정 업무 자동화를 직접 만들고 있음 - 배경은 꽤 현실적임. 막대한 예산도 없고, 외부 클라우드 API를 마음대로 쓰기도 어렵고, 망분리 규제도 있음 - 그래서 빅테크 API 의존을 낮추고, 온프레미스 환경에서 자체 개발하는 방식이 선택지로 떠오름 - 최근 공공 AI 박람회 지방정부 AI 혁신사례 공유 네트워크 포럼에서 이런 사례들이 공유됨 - 공통 키워드는 유휴 장비 재활용, 오픈소스 언어모델, 내부망 운영, 보안성 검토임 - 행정 AI 전환(AX)을 “구매”가 아니라 “현장 제약에 맞춰 직접 조립”하는 쪽에 가까움 ## 양산·광주·남양주가 보여준 비용 절감형 로컬 AI - 경상남도 양산시는 온프레미스 AI 시스템 `메모 마인드(MemoMind)`를 구축함 - 내구연한이 지난 미사용 서버 5대에 GPU 8대를 설치함 - 여기에 오픈소스 언어모델을 결합함 - 추가 예산 투입은 없었다고 소개됨 - 광주광역시는 로컬 소형언어모델(sLLM)과 검색증강생성(RAG)을 결합한 자체 AI 지식관리시스템을 도입함 - 내부 행정 문서를 외부 서버로 보내지 않는 구조라 데이터 유출 경로를 원천적으로 줄임 - 복잡한 관외출장 여비 정산 시스템 `AI 여비몬`도 내부 인력이 직접 개발함 - 정산 업무는 건당 30분에서 3분으로 줄었음. 이건 숫자가 꽤 세다 > [!IMPORTANT] > 광주시 사례의 핵심 수치는 30분에서 3분임. 생성형 AI 도입 효과를 말할 때 “편해졌다”보다 이런 업무 단축 수치가 훨씬 강하게 먹힘. - 남양주시는 AI 관련 예산 0원으로 내부망 올인원 AI 플랫폼을 6개월 만에 만들었음 - 신설 부서가 주도했고, 보고서 초안 작성, 차트 구성, 숏폼·카드뉴스 제작 등을 지원함 - 현재 50개 부서에서 1200명이 사용 중임 - 외주는 구축비 4억~6억원, 연 유지비 3천만~4천만원이 들어 예산상 불가능했다고 함 ## 보안성 검토가 개발의 대부분을 먹는 세계 - 남양주시는 시판 솔루션도 검토했지만 GPT와 차별성이 없다고 보고 제외함 - 결국 직접 개발 외에는 선택지가 없었다는 판단임 - 보안성 검토에 전체 개발 노력의 80%를 쏟았다고 밝힘 - 국정원 체크리스트를 한 줄씩 통과시키고, 외부로 나가는 구간은 담당자에게 직접 설명해 승인받는 식으로 진행함 - 공공 AI에서 “잘 돌아가는 모델”만으로는 부족함 - 내부망, 외부 연계 구간, 데이터 반출 여부, 문서 접근 권한 같은 요소가 전부 설계 대상이 됨 - 그래서 로컬 AI·온프레미스 구성이 단순 취향이 아니라 보안 승인 가능성을 높이는 전략이 됨 ```mermaid sequenceDiagram participant 공무원 participant 내부망AI participant 문서저장소 participant 검색엔진 participant 로컬모델 공무원->>내부망AI: 행정 질의·문서 작성 요청 내부망AI->>검색엔진: 관련 내부 문서 검색 검색엔진->>문서저장소: 원문·근거 조회 문서저장소-->>검색엔진: 문서 조각 반환 검색엔진-->>내부망AI: 근거 포함 검색 결과 내부망AI->>로컬모델: 근거 기반 답변 생성 요청 로컬모델-->>공무원: 초안·요약·근거 포함 응답 ``` ## 광진구는 환각을 줄이는 쪽에 집중함 - 서울 광진구 실무자는 `KorDoc`과 `Korean Law MCP`를 자체 개발함 - KorDoc은 HWP·PDF 문서를 AI 처리에 적합한 마크다운 형식으로 변환함 - Korean Law MCP는 법령과 판례를 직접 조회하는 도구임 - 목표는 생성형 AI의 환각(Hallucination)을 줄이는 것임 - 모호한 확률 기반 답변을 그대로 쓰지 않음 - 원문 조문과 인용 위치를 명시한 결과만 행정 업무에 활용하는 방식임 - 법령·판례처럼 틀리면 바로 문제가 되는 영역에서는 이 접근이 훨씬 현실적임 > [!WARNING] > 행정 업무에서 AI 환각은 “답변 품질이 조금 아쉽다” 수준이 아님. 법령이나 판례를 틀리게 인용하면 실제 업무 리스크로 바로 이어질 수 있음. ## 마지막 과제는 KPI와 조직 확산 - 지자체들은 AI가 줄인 시간을 성과로 인정하는 KPI 재설계를 과제로 보고 있음 - AI로 시간을 아꼈는데 그 시간에 새 업무를 계속 얹으면 혁신이 아니라 업무 과중이 됨 - 절감 시간을 어떻게 평가하고 보상할지까지 바뀌어야 현장 저항이 줄어듦 - 실무 노하우를 조직 자산으로 쌓는 것도 중요해짐 - 프롬프트 최적화, 서식 개발, 검색 흐름 구축 같은 지식이 특정 담당자에게만 몰리면 지속되기 어려움 - 지자체들은 톱다운 확산 체계와 현장 지식 축적을 같이 고민하는 중임 - 결론적으로 이 사례들은 지방정부형 AI 전환의 실행 모델로 자리잡는 분위기임 - 규제, 보안, 예산이라는 세 제약을 온프레미스 자체 개발로 동시에 우회함 - 빅테크 의존 없이도 행정 AI를 만들 수 있다는 걸 실제 사례로 보여준 셈임 --- ## 기술 맥락 - 이 기사에서 중요한 선택은 “가장 좋은 모델을 쓰자”가 아니라 “공공기관 제약 안에서 돌아가는 구조를 만들자”예요. 지자체는 예산이 제한적이고, 망분리와 보안성 검토 때문에 외부 클라우드 API를 마음대로 붙이기 어렵거든요. - 그래서 sLLM과 RAG 조합이 현실적인 해법으로 나온 거예요. 로컬 소형언어모델은 내부망에서 운영하기 좋고, RAG는 내부 행정 문서나 법령 근거를 붙여 답하게 만들어서 환각 위험을 줄이는 데 도움이 돼요. - 남양주시 사례에서 보안성 검토가 개발 노력의 80%를 차지했다는 대목이 핵심이에요. 공공 AI는 모델 서빙보다 승인 가능한 데이터 흐름, 외부 연결 지점, 접근 통제 설명이 더 큰 일이 될 수 있어요. - 광진구의 KorDoc과 Korean Law MCP는 “문서를 AI가 읽기 좋은 형태로 바꾸고, 답변 근거를 원문에서 가져오게 하자”는 선택이에요. 행정 업무에서는 멋진 문장보다 출처와 인용 위치가 더 중요하기 때문에, 이런 도구 연결이 환각 방지의 실무적인 방법이 돼요. ## 핵심 포인트 - 양산시는 미사용 서버 5대와 GPU 8대로 온프레미스 AI 시스템 메모 마인드를 구축 - 광주시는 로컬 sLLM과 RAG 기반 지식관리시스템, AI 여비몬으로 정산 시간을 30분에서 3분으로 단축 - 남양주시는 예산 0원으로 6개월 만에 내부망 올인원 AI 플랫폼을 만들고 50개 부서 1200명이 사용 - 광진구는 KorDoc과 Korean Law MCP로 HWP·PDF 변환, 법령·판례 조회, 환각 억제를 시도 ## 인사이트 한국 공공 AI의 현실은 멋진 데모보다 망분리, 예산, 보안성 검토가 먼저다. 그래서 이 사례들은 최신 모델 경쟁보다 ‘제약 많은 조직에서 AI를 실제 업무에 넣는 법’에 더 가까워서 개발자 입장에서도 배울 게 많다.