[성공 사례] LH, 하자 18,000가지 조합을 VLM으로 분류하다
VLM 하자 자동 분류로 LH가 18,000가지가 넘는 분류 조합을 이미지 한 장으로 처리하는 24시간 실시간 접수 체계를 구축한 사례입니다.
한국토지주택공사(LH)가 슈퍼브에이아이와 함께 VLM(Vision-Language Model) 기반 하자 자동 분류 시스템을 구축했습니다. 1차 사업에서 18,000가지가 넘는 분류 체계를 이미지 한 장으로 처리하는 24시간 실시간 하자 접수 체계를 마련했고, 현재는 2차 고도화 사업을 진행하고 있습니다. 공간·부위자재·하자유형·공종·공사유형의 5축 분류를 자동화한 과정을 소개합니다.
주거 서비스의 품질을 가르는 마지막 관문은 '하자 처리'입니다. 국토교통부에 따르면 하자심사분쟁조정위원회는 최근 5년간 연평균 약 4,600여 건의 하자 분쟁 사건을 처리했으며, 2025년 처리 건수는 4,761건에 달했습니다. 주요 하자 유형은 기능 불량, 들뜸 및 탈락, 균열, 결로, 누수 순으로, 하자 문제가 입주민의 일상과 직결된 핵심 민원임을 보여줍니다.
이러한 문제를 해결할 기술로 주목받는 것이 이미지와 언어를 동시에 이해하는 VLM(Vision-Language Model)입니다. 시장 조사 기관 Precedence Research에 따르면, 글로벌 VLM 시장은 2025년 약 37억 4,000만 달러에서 2035년 약 359억 6,000만 달러 규모로 성장하며 연평균 25.41%의 성장세를 보일 전망입니다. 사진 한 장과 짧은 민원 텍스트만으로 상황을 이해하는 VLM의 특성은, 비정형 민원 데이터가 쏟아지는 주거 서비스 현장과 특히 잘 맞습니다.
국내 최대 공공주택 공급·관리 기관인 한국토지주택공사(LH)는 매달 수십만 건씩 접수되는 하자를 텍스트와 전화 상담으로 처리하던 기존 상담 체계의 한계를 넘어서기 위해, 1차 사업으로 슈퍼브에이아이와 함께 VLM 기반 하자 자동 분류 프로젝트를 진행했습니다.
Challenge: 월 30만 장의 이미지, 18,000가지 조합, 그리고 상담원 간 업력 편차
LH가 직면한 과제는 단순한 '업무량' 문제가 아니었습니다. 분류 체계의 복잡성, 인력 구조, 데이터 특성이 서로 맞물린 구조적 문제였습니다.
1. 상담원 업력에 따른 하자 이해 편차
하자 분류는 숙련이 필요한 업무입니다. 같은 하자라도 상담원의 업력에 따라 하자 유형을 이해하는 역량에 편차가 존재했고, 그만큼 분류 기준을 조직 전체에서 균일하게 유지하기가 쉽지 않았습니다.
2. 연간 400만 장의 비정형 데이터
민원인이 제출하는 하자 사진과 텍스트는 촬영 각도, 조명, 표현 방식이 제각각인 비정형 데이터입니다. LH로 인입되는 하자 이미지는 월 30만 장, 연간 400만 장에 달합니다. "샤시에서 바람이 새요" 같은 민원인의 일상적 표현을 정확한 전문 용어로 변환하는 작업은 상담사의 몫이었습니다.
3. 18,000가지 조합의 롱테일 분류 체계
LH의 하자 분류는 공간 × 부위자재 × 하자유형 × 공종 × 공사유형이라는 5개 축으로 구성되며, 조합 수는 18,000가지를 넘습니다. 문제는 이 조합 대부분이 매우 낮은 빈도로 발생하는 롱테일 분포라는 점입니다. 자주 나오는 유형만 학습한 기존 방식으로는 희소 조합을 정확히 분류하기 어려웠습니다.
4. 잘못된 분류가 부르는 운영 비용
하자 유형이 잘못 분류되면 해당 하자에 맞지 않는 보수 업체가 배정될 수 있습니다. 1차 방문 처리율이 낮아질수록 운영 비용은 늘어났습니다.
기존 접수·분류 프로세스는 상담원 간의 업력 편차, 비정형 데이터, 복잡한 분류 체계라는 삼중고에 놓여 있었습니다.
Solution: 디텍션 모델 없이, VLM 하나로 완성한 End-to-End 분류 파이프라인
슈퍼브에이아이가 제안한 해법의 핵심은 '단순함'이었습니다. 객체 탐지(디텍션) 모델과 분류 모델을 겹겹이 쌓는 대신, 이미지와 언어를 동시에 이해하는 VLM 기반 하자 자동 분류 시스템 하나로 전체 파이프라인을 구성했습니다.
1. 이미지 한 장으로 5축 동시 분류
민원인이 하자 사진을 접수하면, VLM이 이미지 한 장에서 공간, 부위자재, 하자유형, 공종, 공사유형을 동시에 분류합니다. 별도의 디텍션 모델 없이 단일 모델로 처리하기 때문에 파이프라인이 단순해지고 유지보수 부담도 줄어듭니다. 시스템은 24시간 실시간으로 작동하여, 상담사의 근무 시간과 무관하게 접수 즉시 분류 결과를 제공합니다.
2. 판단이 어려운 하자의 조건부 추론
균열, 누수, 파손, 곰팡이, 오염 등 핵심 하자 유형을 정밀하게 탐지하는 것은 물론, 정지 이미지만으로 판단이 어려운 하자(예: 누수의 원인)도 학습된 패턴을 기반으로 확률적으로 추론합니다.
3. 성능 기준을 명시한 운영 체계
이 시스템은 검출 정확도 90% 이상(오탐·미탐 10% 이하), 단일 이미지 처리 시간 1초 이하를 성능 기준으로 설정하고, 주기적인 성능 모니터링과 검증 체계를 통해 이를 유지하도록 설계되었습니다. 도입 이후에도 품질을 계속 점검하는 운영 구조이며, 2차 고도화도 이 운영 기반 위에서 이어지고 있습니다.
Benefit: '사람의 경험'에서 '표준화된 시스템'으로
1차 사업으로 LH는 사람의 경험에 의존하던 하자 접수·분류 업무를 표준화된 시스템으로 옮기는 기반을 갖췄습니다.
1차 사업의 정량적 성과
- 연간 400만 장 규모 이미지의 자동 분류 체계 구축: 월 30만 장에 달하는 하자 이미지를 AI가 24시간 실시간으로 분류하는 체계를 갖췄습니다.
- 검출 정확도 90% 이상 유지: 오탐·미탐 10% 이하를 기준으로 성능을 관리하여, 상담원의 업력에 따른 편차 없이 일관된 분류 품질을 확보했습니다.
- 단일 이미지 처리 1초 이하: 접수 즉시 분류가 완료되는 실시간 응답 체계로, 민원 처리 속도를 근본적으로 개선했습니다.
기존 방식 vs VLM 기반 시스템
| 항목 | 기존 상담 기반 분류 | VLM 기반 자동 분류 |
|---|---|---|
| 분류 주체 | 상담사 (업력에 따른 품질 편차) | AI 표준 기준 (24시간 일관 적용) |
| 처리 방식 | 텍스트·전화 상담 내용을 바탕으로 상담사가 분류 | 이미지 한 장으로 5축 동시 자동 분류 |
| 18,000+ 조합 대응 | 숙련도 의존, 희소 유형 분류 곤란 | 롱테일 조합 포함 자동 분류 |
| 처리 시간 | 상담사 응대 후 분류 | 단일 이미지 1초 이하 |
| 데이터 활용 | 비정형 접수 자료로 축적 한계 | 정형화된 하자 데이터베이스 자동 구축 |
정성적 변화
- 정확한 하자 유형 분류로 처리 지연 가능성 축소: AI가 하자 유형과 부위자재를 접수 단계에서 정확히 식별하면서, 초기 분류가 어긋나 하자보수 처리가 지연될 가능성을 줄였습니다.
- 상담 업무 피로도 경감: 단순 반복적인 접수·분류 업무를 AI가 흡수하면서, 상담 인력은 판단이 필요한 민원 응대에 집중할 수 있게 되었습니다.
- 데이터 자산화: 모든 하자 데이터가 정형화된 형태로 축적되면서, 단지·자재·시공 연차별 하자 발생 패턴을 과학적으로 분석할 수 있는 데이터베이스가 만들어지고 있습니다.
다음 단계: 2차 고도화 진행 중
LH와 슈퍼브에이아이는 1차 사업의 운영 결과를 바탕으로 현재 2차 고도화 사업을 진행하고 있습니다. 하자 접수부터 보수 신청까지 한 번에 이어지는 유지보수 원스톱 신청 체계를 구축하고 있습니다.
1차 사업에서 쌓이기 시작한 하자 데이터는 장기적으로 다음 방향의 활용도 검토할 수 있습니다.
선제적 예방 정비
어떤 단지에서, 어떤 자재가, 시공 후 몇 년 차에, 어떤 하자를 반복적으로 일으키는지 패턴을 분석할 수 있는 데이터가 쌓이고 있습니다. 하자가 접수된 뒤 처리하는 '사후 대응'에서, 반복 발생 지점을 미리 손보는 '선제적 예방 정비'로 관리 방식을 바꿔 갈 수 있는 기반입니다.
데이터 기반 장기수선계획
정형화된 하자 이력 데이터는 감(感)이 아닌 데이터에 기반한 장기수선계획 수립을 가능하게 합니다. 보수 예산의 우선순위 결정과 자산 관리 최적화로 이어지는 대목입니다.
공공 주거 서비스 전반으로의 적용
이미지 한 장과 민원 텍스트로 상황을 이해하는 VLM 접근법은 하자 분류에 국한되지 않습니다. 시설물 점검, 민원 이미지 분석 등 비정형 이미지 민원이 대량으로 발생하는 공공 서비스 영역 전반에 동일한 구조로 확장할 수 있습니다.
1차 구축에서 고도화로
연간 400만 장의 하자 이미지와 18,000가지가 넘는 분류 조합. 사람의 숙련에만 의존하기 어려운 규모의 문제를 LH는 1차 사업에서 VLM 단일 모델 접근법으로 풀었고, 지금은 2차 고도화로 이어 가고 있습니다. 이번 사례는 복잡한 분류 체계와 비정형 민원 데이터로 AI 도입을 망설여 온 공공기관과 대규모 시설 관리 조직이 참고할 만한 사례입니다.
슈퍼브에이아이는 데이터 구축부터 모델 운영, 성능 검증까지 산업 현장에 맞는 AI 도입의 전 과정을 함께합니다. LH의 사례처럼, 조직의 분류 체계와 업무 프로세스에 맞춘 VLM 기반 자동화가 궁금하시다면 아래 내용을 남겨주세요. 슈퍼브에이아이 전문가들이 바로 연락 드리겠습니다.
자주 묻는 질문(FAQ)
Q. VLM 기반 하자 분류는 기존 이미지 분류 모델과 무엇이 다른가요?
객체 탐지(디텍션) 모델과 분류 모델을 겹겹이 쌓지 않고, 이미지와 언어를 함께 이해하는 VLM 하나로 공간·부위자재·하자유형·공종·공사유형 5축을 동시에 분류합니다. 단일 모델로 처리하기 때문에 파이프라인이 단순하고 유지보수 부담이 줄어듭니다.
Q. 18,000가지가 넘는 조합 가운데 드물게 나오는 하자도 분류할 수 있나요?
LH의 분류 조합은 대부분 매우 낮은 빈도로 발생하는 롱테일 분포입니다. 자주 나오는 유형만 학습한 기존 방식과 달리, VLM 기반 시스템은 롱테일 조합을 포함해 자동으로 분류하도록 구성했습니다.
Q. 도입 이후 성능은 어떻게 관리하나요?
검출 정확도 90% 이상(오탐·미탐 10% 이하), 단일 이미지 처리 시간 1초 이하를 성능 기준으로 두고, 주기적인 성능 모니터링과 검증 체계로 이 기준을 유지합니다.
Q. LH 프로젝트는 지금 어디까지 진행됐나요?
1차 사업에서 VLM 기반 하자 자동 분류 체계를 구축했고, 현재 2차 고도화 사업으로 하자 접수부터 보수 신청까지 한 번에 이어지는 유지보수 원스톱 신청 체계를 구축하고 있습니다.
함께 보면 좋은 성공 사례
