[성공 사례] 생성형 AI, 도입 전에 설계도부터: 공공기관 B기관의 생성형 AI ISP 컨설팅
생성형 AI를 도입하기로 했지만 무엇을 어떤 순서로 만들지 기준이 없던 공공기관이, ISP 컨설팅으로 목표모델 설계부터 개발 일정·인력 산정까지 실행 설계도를 확보한 사례입니다.
생성형 AI를 도입하겠다는 결정까지는 빠릅니다. 멈추는 것은 그다음입니다. 행정안전부가 2026년 6월 배포한 「공공부문 AI 도입·활용 가이드」도 공공기관의 AI 서비스 개발 과정을 기획·예산·계약·구축·운영 5단계로 표준화하면서, 내부 문서를 근거로 답하는 RAG(검색 증강 생성) 우선 전략을 함께 제시했습니다. 구축은 5단계 중 네 번째입니다. 특히 공공기관은 상용 생성형 AI 서비스를 그대로 쓸 수 없는 경우가 대부분입니다. 망 분리 환경에서 시스템을 운영하고, 외부로 반출할 수 없는 데이터를 다루기 때문입니다.
공공기관 B기관도 같은 상황이었습니다. 내부 업무에 생성형 AI를 도입하기로 방향은 정했지만, 어떤 업무에 먼저 적용할지, 어떤 모델을 어떤 인프라에서 운영할지 판단할 내부 기준이 없었습니다. B기관은 본격적인 구축 사업에 앞서 ISP(정보화전략계획) 컨설팅으로 이 질문에 먼저 답하기로 했고, 슈퍼브에이아이가 약 3개월간 컨설팅을 수행했습니다.
진단: 현장에서 요구사항을 수집하다
컨설팅은 현장의 요구를 수집하는 것에서 시작했습니다. 정보화 담당 부서와 실무 부서를 대상으로 그룹 인터뷰(FGI)와 부서별 대면 인터뷰를 여러 차례 진행했고, 서면 설문과 질의로 보완했습니다. 데이터를 실제로 보관하고 운영하는 데이터센터는 직접 방문해 인프라 현황을 확인했습니다.
진단에서 확인된 설계 조건은 세 가지였습니다.
- 업무별 요구가 서로 달랐습니다: 부서마다 생성형 AI에 기대하는 업무와 우선순위가 달랐고, 이를 하나의 목표모델로 정리하는 작업이 필요했습니다.
- 데이터의 보안 등급이 갈렸습니다: 일반 문서와 높은 보안 등급의 문서가 함께 존재했습니다. 등급에 따라 데이터 처리 경로를 구분하는 설계가 전제되어야 했습니다.
- 인프라는 폐쇄망이었습니다: 외부 클라우드 기반 서비스는 선택지가 아니었고, 모든 구성 요소가 온프레미스 환경에서 구동되어야 했습니다.
목표모델: 기준을 세워 비교하다
어떤 모델을 쓸 것인가부터 기준이 필요했습니다. 상용 LLM과 독자 구축 모델을 후보군에 놓고, 파라미터 규모, 컨텍스트 길이, 학습 데이터, 답변 품질의 기준 항목을 수립해 비교 분석했습니다. 공급사의 소개 자료가 아니라 동일한 기준표 위에서 후보 모델을 검토한 것입니다.
데이터 보안 등급에 따라 처리 경로를 구분하는 구조도 이 단계에서 확정했습니다. 일반 데이터와 높은 보안 등급의 데이터가 서로 다른 경로로 처리되도록 목표모델을 재구조화했고, 이 구조는 실무 부서의 검토를 거쳐 확정됐습니다.
아키텍처: 폐쇄망 안에서 돌아가야 한다
목표모델은 폐쇄망 안에서 구동되어야 합니다. 온프레미스 환경에서 LLM을 운영하고, 내부 문서를 검색해 답변에 반영하는 RAG(검색 증강 생성) 시스템을 결합하는 아키텍처를 설계했습니다. 내부 시스템·데이터와의 연동에는 MCP(Model Context Protocol) 등 최신 연계 방식의 적용 가능성을 검토했습니다.
설계는 구성도에서 끝나지 않았습니다. AI 가속 소프트웨어, 클러스터 운영 도구 등 구축에 필요한 상용 소프트웨어 스택을 항목별로 정리해, 본 사업의 규모와 비용을 추정할 근거를 만들었습니다.
실행 계획까지: 발주의 기준 문서가 되는 산출물
설계는 실행 계획으로 이어졌습니다. 목표모델을 구현하기 위한 기능 요구사항을 정의하고, 개발 단계별 일정과 투입 인력(MM)을 산정했습니다. 데이터를 등급 기준에 따라 관리하는 방안도 함께 제언했습니다.
산출물은 두 차례의 중간보고를 거치며 실무 부서의 피드백을 반영해 보완됐고, 컨설팅은 최종보고로 마무리됐습니다.
ISP 컨설팅이 만든 변화
- 도입 논의가 실행 설계도로 바뀌었습니다: 목표모델, 기능 요구사항, 개발 일정과 인력 산정까지 갖춰지면서, 구축 사업을 발주할 때 기준으로 삼을 수 있는 문서가 확보됐습니다.
- 모델 선택의 내부 기준이 생겼습니다: 후보 모델을 동일 기준표로 비교한 결과가 남아, 이후 기술 검토에서 반복해 쓸 수 있는 판단 근거가 됐습니다.
- 보안 제약이 설계 조건으로 반영됐습니다: 보안 규정을 도입의 장애물로 두는 대신, 데이터 등급별 처리 경로와 온프레미스 아키텍처로 설계 단계에서 풀었습니다.
도입보다 설계가 먼저입니다
B기관의 사례는 생성형 AI 도입의 첫 단추가 모델 선정이 아니라 진단과 설계라는 점을 보여줍니다. 업무 요구, 데이터 보안 등급, 인프라 제약을 먼저 확인하면, 그 위에 올라갈 모델과 시스템의 모양은 자연스럽게 정해집니다.
1.3억 장 이상의 산업용 시각 데이터를 보유한 슈퍼브에이아이는 AI 도입 전 진단·설계 컨설팅부터 데이터 구축, 모델 개발과 운영까지 AI 전환의 전 과정을 함께합니다.
자주 묻는 질문 (FAQ)
ISP 컨설팅은 어떤 절차로 진행되나요?
현업 인터뷰와 현장 실사로 업무 요구와 데이터·인프라 현황을 진단하는 것에서 시작합니다. 이를 바탕으로 목표모델과 시스템 아키텍처를 설계하고, 기능 요구사항 정의와 개발 일정·인력 산정까지 실행 계획을 산출물로 제공합니다.
폐쇄망 등 보안 환경에서도 생성형 AI 도입이 가능한가요?
가능합니다. 온프레미스 환경에서 LLM과 RAG 시스템을 구동하는 아키텍처로 설계하며, 데이터는 보안 등급에 따라 처리 경로를 구분해 관리합니다. 이번 사례도 망 분리 환경을 전제로 진행됐습니다.
상용 LLM과 독자 구축 모델 중 무엇을 선택해야 하나요?
조직의 데이터 특성과 보안 요건에 따라 답이 달라집니다. 이번 사례에서는 파라미터 규모, 컨텍스트 길이, 학습 데이터, 답변 품질의 기준 항목을 수립해 후보 모델을 동일 조건에서 비교했고, 이 비교 결과가 선택의 근거가 됐습니다.
ISP 산출물은 본 사업에 어떻게 활용되나요?
목표모델과 기능 요구사항, 일정·인력 산정은 구축 사업을 발주하고 제안을 평가하는 기준 문서로 활용됩니다. 도입 전에 범위와 우선순위를 확정해 두면 본 사업의 시행착오를 줄일 수 있습니다.
함께 보면 좋은 성공 사례
