공공 AX는 모델이 아니라 데이터 구조 싸움 — 삼성SDS가 정리한 2026 공공 AI 실행 프레임워크

• 삼성SDS가 "공공 AX는 기술 도입이 아니라 행정 운영 체계의 AI 중심 재설계"라는 프레임으로 정리한 인사이트 리포트 — 2026년이 공공 AI 도입의 '실행 단계' 원년이라는 선언
  • 행정안전부가 '세계 최고의 AI 민주정부' 목표로 범정부 AI 공통기반·공공 AI 시장 창출·공공데이터 개방 확대 추진 중
  • 2026년 4월 '공공AI사업지원센터' 개소로 중앙·지방·공공기관 AI 사업을 기획부터 확산까지 지원
  • 2026년 1월 22일부터 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법' 시행 — 신뢰·책임 체계가 기술 도입 속도만큼 중요해짐

왜 '모델'이 아니라 '데이터 구조'가 먼저냐

• 공공 AI의 최대 걸림돌은 모델 성능이 아니라 AI가 읽을 수 있는 데이터 구조
  • 공공 문서는 표 구조가 복잡하고 비정형 다수, 연도별 개정 이력과 버전 충돌 빈번
  • HWP 중심의 문서 환경이 생성형 AI의 문맥 이해에 큰 장벽
  • 이걸 제대로 처리 못 하면 "겉보기엔 자연스럽지만 근거 불명확한 답변" = 환각(hallucination) 발생
• 실제 사례
  • 국민권익위가 2026년 2월부터 국민신문고·민원정보분석시스템에 생성형 AI 도입 — 답변 초안 추천, 빈발·중복 민원 자동 군집화
  • 법제처가 2026년부터 국가법령정보센터에 법령 특화 언어모델 + RAG 적용, 법조문·판례·해석례 제공 고도화

'찾아 쓰는 AI' vs '먼저 준비하는 AI' — 에이전틱 행정

• 에이전틱 행정(Agentic Administration) = 공무원이 별도 AI 도구에 접속하는 게 아니라 메일·메신저·협업 도구 안에서 AI가 문맥을 읽고 보좌하는 구조
  • 회의 끝나자마자 요약, 협조 메일 초안 제안, 후속 과제 일정 등록, 참고 규정 연결이 한 흐름으로 처리됨
  • 2026년 정부24+에 AI 대화형 기능 도입, AI 국민비서 시범서비스 개시 — 내부 업무와 대민 서비스 양쪽에서 '대화형·에이전트형 행정' 확산
• 실시간 통·번역이 가장 파급력 큰 영역
  • 2025년 태평양 보험 콘퍼런스(PIC)에서 삼성SDS의 Brity Copilot 인터프리팅 에이전트가 다국어 회의 실시간 통역 + 종료 후 다국어 요약·협조 문서 초안까지 연결
  • CMC Global은 AI 에이전트 협업 솔루션 내재화로 글로벌 프로젝트 커뮤니케이션 오류 30% 감소

개인 도구 아닌 조직 공용 인프라로

• AI가 민감한 행정 데이터·민원 정보·법령 문서를 다루는 순간, 개인 계정이나 부서별 실험 환경으로는 권한·이용 기록·보안 사고 대응이 일관되게 관리 불가능
• 행안부가 추진하는 '범정부 AI 공통기반'은 국가 전체 공용 레이어, 각 기관 내부엔 별도의 공용 레이어 필요
• 민간 사례 인용 — 하나투어가 초기 개인 계정 활용에서 시작했지만 고객 정보·정산 데이터가 얽힌 환경에서 한계를 경험, 공용 AI 인프라로 전환
• 공공에 필요한 요건
  • SSO 기반 통합 인증 + 역할 기반 접근 제어(RBAC)
  • 프롬프트 관리 기준
  • 로그·감사 체계
  • 내부 업무용 AI와 대민 서비스용 AI 활용 범위 구분

공공 AX 안착 3가지 전략

• 첫째, 기술 전에 '행정 지식 기반' 먼저 설계
  • 범용 모델 그대로 적용만으로는 실무 신뢰 못 얻음
  • 기관별 법령·규정·지침·업무 관행 반영한 맞춤형 지식 베이스 필요
• 둘째, 보안은 '장벽' 아니라 '기본 조건'
  • 국가정보자원관리원 기반 민관협력형(PPP) 클라우드 활용을 대안으로 제시
• 셋째, 운영 인프라 안정성
  • GPU 자원 병목이 확산 단계의 실질적 제약 — 공공기관이 H100, B300까지 서비스 형태로 활용하는 GPUaaS가 현실적 대안
  • 고성능 GPU 확보+운영+보안 검증 부담을 동시에 덜어야 대규모 민원 분석·법령 의미 검색·영상 판독·대형 모델 학습까지 확장 가능

---

기술 맥락

이 리포트의 핵심 메시지는 "AI는 이미 충분히 똑똑하다, 문제는 조직 체계"라는 거예요. 공공기관에서 PoC 돌릴 땐 잘 되던 AI가 실제 운영으로 가면 삐걱대는 이유가 대부분 데이터·권한·보안 쪽이거든요. 흩어진 HWP 문서를 RAG에 넣으려면 청킹 전략부터 메타데이터 설계, 버전 관리까지 다 손봐야 하는데, 이게 공공 부문에선 부처별로 제각각이라 공통 기반이 없으면 기관마다 같은 일을 반복하게 돼요.

에이전틱 행정 개념이 실제로 의미가 있는 이유는 '별도 사이트 접속' 방식의 AI가 실무에선 잘 안 쓰인다는 경험 때문이에요. 공무원이 민원 답변 하나 쓸 때마다 ChatGPT 탭 열어 질문하는 건 몇 번 하다가 귀찮아서 안 하게 되거든요. 대신 메신저·메일·문서 도구 안에서 AI가 먼저 문맥을 읽고 제안해주는 구조라야 실사용 빈도가 유지돼요. 이게 기업 협업 도구에서 이미 검증된 패턴이라 공공도 같은 방향으로 가는 거예요.

GPUaaS 이야기는 공공의 조달·운영 제약을 감안한 현실적 해법이에요. 공공기관이 직접 H100 수백 장을 사서 운영하려면 예산 승인부터 공간·전력·운영 인력까지 줄줄이 문제가 생기거든요. 여기에 보안 요건까지 충족시켜야 하니 자체 구축은 사실상 불가능한 기관이 많아요. 민관협력형 클라우드 위에 GPUaaS를 얹는 구조는 "보안 요건 충족된 환경에서 GPU를 필요한 만큼만 빌려 쓰기"가 가능해서 중소 기관까지 AI 도입을 확대할 수 있는 경로예요.