지자체들이 예산 0원·로컬 AI로 행정 자동화 굴리기 시작함

지자체 AI가 데모 단계를 지나 실제 업무로 들어가는 중

• 국내 지방자치단체들이 로컬 AI와 오픈소스로 행정 업무 자동화를 직접 만들고 있음

  • 배경은 꽤 현실적임. 막대한 예산도 없고, 외부 클라우드 API를 마음대로 쓰기도 어렵고, 망분리 규제도 있음
  • 그래서 빅테크 API 의존을 낮추고, 온프레미스 환경에서 자체 개발하는 방식이 선택지로 떠오름

• 최근 공공 AI 박람회 지방정부 AI 혁신사례 공유 네트워크 포럼에서 이런 사례들이 공유됨

  • 공통 키워드는 유휴 장비 재활용, 오픈소스 언어모델, 내부망 운영, 보안성 검토임
  • 행정 AI 전환(AX)을 “구매”가 아니라 “현장 제약에 맞춰 직접 조립”하는 쪽에 가까움

양산·광주·남양주가 보여준 비용 절감형 로컬 AI

• 경상남도 양산시는 온프레미스 AI 시스템 메모 마인드(MemoMind)를 구축함

  • 내구연한이 지난 미사용 서버 5대에 GPU 8대를 설치함
  • 여기에 오픈소스 언어모델을 결합함
  • 추가 예산 투입은 없었다고 소개됨

• 광주광역시는 로컬 소형언어모델(sLLM)과 검색증강생성(RAG)을 결합한 자체 AI 지식관리시스템을 도입함

  • 내부 행정 문서를 외부 서버로 보내지 않는 구조라 데이터 유출 경로를 원천적으로 줄임
  • 복잡한 관외출장 여비 정산 시스템 AI 여비몬도 내부 인력이 직접 개발함
  • 정산 업무는 건당 30분에서 3분으로 줄었음. 이건 숫자가 꽤 세다

• 남양주시는 AI 관련 예산 0원으로 내부망 올인원 AI 플랫폼을 6개월 만에 만들었음
  • 신설 부서가 주도했고, 보고서 초안 작성, 차트 구성, 숏폼·카드뉴스 제작 등을 지원함
  • 현재 50개 부서에서 1200명이 사용 중임
  • 외주는 구축비 4억6억원, 연 유지비 3천만4천만원이 들어 예산상 불가능했다고 함

보안성 검토가 개발의 대부분을 먹는 세계

• 남양주시는 시판 솔루션도 검토했지만 GPT와 차별성이 없다고 보고 제외함

  • 결국 직접 개발 외에는 선택지가 없었다는 판단임
  • 보안성 검토에 전체 개발 노력의 80%를 쏟았다고 밝힘
  • 국정원 체크리스트를 한 줄씩 통과시키고, 외부로 나가는 구간은 담당자에게 직접 설명해 승인받는 식으로 진행함

• 공공 AI에서 “잘 돌아가는 모델”만으로는 부족함

  • 내부망, 외부 연계 구간, 데이터 반출 여부, 문서 접근 권한 같은 요소가 전부 설계 대상이 됨
  • 그래서 로컬 AI·온프레미스 구성이 단순 취향이 아니라 보안 승인 가능성을 높이는 전략이 됨

sequenceDiagram
    participant 공무원
    participant 내부망AI
    participant 문서저장소
    participant 검색엔진
    participant 로컬모델
    공무원->>내부망AI: 행정 질의·문서 작성 요청
    내부망AI->>검색엔진: 관련 내부 문서 검색
    검색엔진->>문서저장소: 원문·근거 조회
    문서저장소-->>검색엔진: 문서 조각 반환
    검색엔진-->>내부망AI: 근거 포함 검색 결과
    내부망AI->>로컬모델: 근거 기반 답변 생성 요청
    로컬모델-->>공무원: 초안·요약·근거 포함 응답

광진구는 환각을 줄이는 쪽에 집중함

• 서울 광진구 실무자는 KorDoc과 Korean Law MCP를 자체 개발함

  • KorDoc은 HWP·PDF 문서를 AI 처리에 적합한 마크다운 형식으로 변환함
  • Korean Law MCP는 법령과 판례를 직접 조회하는 도구임

• 목표는 생성형 AI의 환각(Hallucination)을 줄이는 것임

  • 모호한 확률 기반 답변을 그대로 쓰지 않음
  • 원문 조문과 인용 위치를 명시한 결과만 행정 업무에 활용하는 방식임
  • 법령·판례처럼 틀리면 바로 문제가 되는 영역에서는 이 접근이 훨씬 현실적임

마지막 과제는 KPI와 조직 확산

• 지자체들은 AI가 줄인 시간을 성과로 인정하는 KPI 재설계를 과제로 보고 있음

  • AI로 시간을 아꼈는데 그 시간에 새 업무를 계속 얹으면 혁신이 아니라 업무 과중이 됨
  • 절감 시간을 어떻게 평가하고 보상할지까지 바뀌어야 현장 저항이 줄어듦

• 실무 노하우를 조직 자산으로 쌓는 것도 중요해짐

  • 프롬프트 최적화, 서식 개발, 검색 흐름 구축 같은 지식이 특정 담당자에게만 몰리면 지속되기 어려움
  • 지자체들은 톱다운 확산 체계와 현장 지식 축적을 같이 고민하는 중임

• 결론적으로 이 사례들은 지방정부형 AI 전환의 실행 모델로 자리잡는 분위기임

  • 규제, 보안, 예산이라는 세 제약을 온프레미스 자체 개발로 동시에 우회함
  • 빅테크 의존 없이도 행정 AI를 만들 수 있다는 걸 실제 사례로 보여준 셈임

기술 맥락

• 이 기사에서 중요한 선택은 “가장 좋은 모델을 쓰자”가 아니라 “공공기관 제약 안에서 돌아가는 구조를 만들자”예요. 지자체는 예산이 제한적이고, 망분리와 보안성 검토 때문에 외부 클라우드 API를 마음대로 붙이기 어렵거든요.

• 그래서 sLLM과 RAG 조합이 현실적인 해법으로 나온 거예요. 로컬 소형언어모델은 내부망에서 운영하기 좋고, RAG는 내부 행정 문서나 법령 근거를 붙여 답하게 만들어서 환각 위험을 줄이는 데 도움이 돼요.

• 남양주시 사례에서 보안성 검토가 개발 노력의 80%를 차지했다는 대목이 핵심이에요. 공공 AI는 모델 서빙보다 승인 가능한 데이터 흐름, 외부 연결 지점, 접근 통제 설명이 더 큰 일이 될 수 있어요.

• 광진구의 KorDoc과 Korean Law MCP는 “문서를 AI가 읽기 좋은 형태로 바꾸고, 답변 근거를 원문에서 가져오게 하자”는 선택이에요. 행정 업무에서는 멋진 문장보다 출처와 인용 위치가 더 중요하기 때문에, 이런 도구 연결이 환각 방지의 실무적인 방법이 돼요.