슈퍼브에이아이, 한화시스템즈 AI 챌린지 2년 연속 우승- 적외선 영상 분석 기술력의 비밀

슈퍼브에이아이가 '한화시스템즈 AI 챌린지'에서 2년 연속 정상에 올랐습니다. 2024년 임은수 연구원의 우승에 이어, 2025년에는 김승현, 고경렬 연구원 팀이 다시 한번 1위를 차지하는 쾌거를 이루었습니다.

적외선 카메라에서 사물을 정확하게 탐지하는 AI 모델 개발을 겨루는 이 대회는 단순히 AI의 탐지 정확도뿐 아니라 실제 산업 현장에서 중요한 모델의 추론 속도를 종합적으로 평가합니다. 특히 방산, 자율주행, 보안과 같은 첨단 산업 분야에서 중요시되는 적외선 영상 처리 기술력을 검증하는 자리입니다.

연구 성과는 세계적인 로봇 및 자동화 분야 학회인 'IEEE International Conference on Robotics and Automation (ICRA) 2025'의 'Thermal Infrared in Robotics 2025' 워크숍에서도 발표되었으며, 글로벌 AI 기술력을 인정받는 계기가 되었습니다.

슈퍼브에이아이, 한화시스템즈 AI 챌린지 2년 연속 제패 - 플래텀

비전 AI 올인원 플랫폼 기업 슈퍼브에이아이가 ‘한화시스템즈 AI 챌린지’에서 2년 연속 1위를 차지했다.

스타트업 생태계의 모든 것 \'플래텀(Platum)\'Platum

적외선 영상 분석의 기술적 도전

적외선(IR) 영상 분석은 왜 어려울까요? 일반 RGB 이미지와 달리 적외선 학습 데이터는 다음과 같은 본질적인 어려움이 있습니다.

데이터 희소성

: 고품질의 적외선 이미지 데이터셋은 매우 제한적이며, 라이센스 제약이 많습니다.

1. 특수 장비 필요성: 적외선 이미지 촬영을 위해서는 일반 카메라가 아닌 열화상 카메라(써모그래피 카메라)가 필요하며, 이러한 장비는 고가(수백만 원에서 수천만 원)이고 운용 전문성이 요구됩니다.
2. 제한된 산업 활용: 적외선 영상은 군사/방위, 산업 검사, 의료 진단, 경계/보안 시스템과 같은 특수 산업 분야에서 주로 사용되어 일반 RGB 영상과 달리 대중적인 데이터 확보가 어렵습니다.
3. 환경적 제약: 적외선 이미지는 기상 조건, 주변 온도, 대상 물체의 열 특성 등에 민감하게 반응하여 일관된 품질의 데이터 확보가 기술적으로 까다롭습니다.
4. 공개 데이터셋 부족: ImageNet이나 COCO와 같은 RGB 이미지의 대규모 공개 데이터셋과 달리, 적외선 영상의 공개 데이터셋은 규모가 작고 특정 상황(예: 건물 열 손실 분석, 특정 도로 환경)에 제한되어 있습니다.
5. 보안 및 규제 이슈: 군사 및 보안 분야에서 촬영된 적외선 영상은 기밀 정보로 취급되어 공개나 공유가 엄격히 제한되는 경우가 많습니다.  

클래스 불균형

: 클래스 불균형 문제는 데이터 희소성과 결합되어 적외선 영상 분석의 핵심 난제가 됩니다. 충분한 데이터가 있는 RGB 영상에서도 클래스 불균형은 도전적인 문제인데, 데이터 자체가 희소한 적외선 영상에서는 이 문제를 단순히 '더 많은 데이터 수집'으로 해결하기가 현실적으로 불가능합니다. 

1. 보편적 불균형 현상: 일반적으로 '사람'이나 '자동차'와 같이 흔한 객체는 충분한 데이터가 있지만, '트럭', '자전거', '특수 차량' 등 상대적으로 드문 객체의 데이터는 현저히 부족합니다.
2. 적외선 영상에서의 특수성: 적외선 영상에서는 불균형이 더욱 극심합니다. 예를 들어, 이번 챌린지 데이터셋에서 '자동차'와 '사람' 클래스는 각각 26,932개와 13,495개 인스턴스가 있었지만, '특수 차량'은 단 55개에 불과했습니다.
3. 데이터 확보의 이중 장벽: 희소 클래스의 적외선 이미지를 추가로 수집하려면 ① 해당 객체를 포함하는 시나리오 구성 ② 적외선 장비로 촬영 ③ 정확한 레이블링이라는 다중 장벽을 넘어야 합니다.
4. 모델 편향 위험: 클래스 불균형이 해결되지 않으면, AI 모델은 다수 클래스에 편향되어 소수 클래스를 제대로 인식하지 못하는 위험이 있습니다. 방산 및 보안 분야에서 이는 치명적인 인식 실패로 이어질 수 있습니다.

도메인 특수성

: 적외선 영상은 RGB 영상과 근본적으로 다른 특성을 가지기 때문에 일반적인 RGB 데이터로 학습된 기존 컴퓨터 비전 모델의 직접 적용이 어렵습니다.

1. 정보 표현의 차이: RGB 카메라는 빛의 반사를 통해 객체의 색상과 질감을 포착하는 반면, 적외선 카메라는 열 방출을 감지하여 온도 분포를 시각화합니다. 이로 인해 같은 장면이라도 완전히 다른 시각적 특성을 보입니다.
2. 전이학습의 한계: ImageNet과 같은 대규모 RGB 데이터셋으로 사전 학습된 모델들(ResNet, EfficientNet 등)은 적외선 영상에 직접 적용할 경우 심각한 성능 저하가 발생합니다. 이는 색상, 질감, 경계선 등의 특징이 적외선 영상에서는 다르게 표현되기 때문입니다.
3. 특징 추출의 차이: RGB 영상에서 효과적인 특징 추출 방식(edge detection, texture analysis 등)이 적외선 영상에서는 잘 작동하지 않습니다. 예를 들어, 적외선 영상에서는 물체의 윤곽이 온도 차이에 의해 결정되어 시간에 따라 변할 수 있습니다.
4. 환경 조건의 영향: 적외선 영상은 주변 온도, 날씨, 하루 중 시간에 따라 크게 변화하며, 이러한 변동성은 RGB 영상보다 더 심각합니다. 이로 인해 다양한 조건에서 일관된 성능을 유지하는 모델 개발이 훨씬 복잡해집니다.
5. 데이터 표준화의 어려움: RGB 영상은 표준화된 색 공간과 처리 방식이 확립되어 있지만, 적외선 영상은 장비와 측정 방식에 따라 큰 차이가 있어 데이터 전처리 과정이 더 복잡합니다.

이러한 도전 과제들은 방산 및 보안 산업에서 매우 익숙한 문제입니다. 기밀 정보나 특수 환경에서 취득한 데이터는 항상 제한적이며, 이는 AI 모델 개발의 주요 장벽으로 작용합니다.

슈퍼브에이아이의 혁신적 접근법

기업 환경에서 AI 프로젝트가 실패하는 가장 큰 이유 중 하나는 충분한 양질의 데이터를 확보하지 못하는 데 있습니다. 특히 방산, 보안, 특수 산업 영역에서는 데이터 확보가 더욱 어려운 현실입니다. 슈퍼브에이아이는 이 핵심 문제를 해결하기 위해 실용적이면서도 혁신적인 접근법을 개발했습니다.

1. 모델 선택의 과학적 접근

이번 챌린지에서는 아래와 같이 평가 지표를 공개했는데요.

정확도(Mask AP), 실시간 성능, 계산 효율성(FLOPS)을 모두 중요한 채점 기준으로 제시했습니다. 정확도만 높은 무거운 모델은 비즈니스 현실에 적용하기 어렵기 때문입니다. 높은 성능을 유지하면서도 충분히 가볍고 실시간 추론이 빠른 모델을 만드는 것이 만드는 것이 중요하죠.  

많은 기업들이 AI 도입 시 최신 유행하는 모델을 무분별하게 도입하는 경향이 있지만, 이는 종종 과도한 비용과 자원 낭비로 이어집니다. 슈퍼브에이아이는 이러한 일반적인 접근과 달리 비즈니스 ROI를 극대화할 수 있는 모델 선택 과정을 개발했습니다. 슈퍼브 연구팀은 모델 선택 단계에서 단순히 유명한 모델을 선택하는 것이 아니라, 정확도와 효율성의 균형을 고려했습니다.

다른 참가팀들이 YOLO나 DETR 계열의 잘 알려진 모델만 고려한 것과 달리, RTMDet-Ins 모델의 다양한 변형을 비교 분석하여 최적의 모델을 선정했습니다. 연구팀은 먼저 실시간 객체 분할(real-time instance segmentation)이 가능한 RTMDet-Ins-x 모델과 처리 속도는 상대적으로 느리지만 마스크 정확도(mask AP) 성능이 압도적으로 뛰어난 Co-DETR-Ins 모델에 대해 학습을 진행했습니다.

결과적으로 RTMDet-Ins-x의 종합 점수가 더 높게 나왔는데, RTMDet-Ins 모델은 -x, -l, -m, -s, -tiny와 같은 다양한 버전이 존재했고, 제한된 시간 내에 모든 모델을 처음부터 학습시키는 것은 현실적으로 불가능했습니다. 이에 챌린지 데이터에 대한 직접적인 성능 비교 대신, 이미 검증된 COCO 데이터셋에서의 공식 성능 지표를 활용했습니다. 이 데이터를 바탕으로 챌린지에서 정의한 복합 지표(정확도, 추론 속도, 계산 효율성)에 대해 어떤 모델이 최적의 균형을 이루고 있는지를 분석했습니다.

이러한 데이터 기반 의사결정 과정을 통해 연구팀은 RTMDet-Ins-s 모델이 정확도(0.387 Mask AP)와 속도(1.93ms), 계산량(43.0 G-FLOPs)의 측면에서 최적의 균형점에 있다는 결론에 도달했습니다. 특히 간접 측정값(0.5399)이 다른 모든 변형 모델보다 높게 나타나, 현실 운영 환경에서의 종합적인 성능이 가장 뛰어날 것으로 예측되었습니다.

2. 생성형 AI를 활용한 데이터 확장

AI의 성능은 모델의 복잡성이 아닌, 데이터의 품질과 다양성에 의해 결정됩니다. 

대부분의 참가팀들이 모델 자체의 최적화(경량화, 앙상블, TensorRT 변환 등)에 집중했던 반면, 슈퍼브에이아이는 근본적인 문제인 '데이터 부족'을 해결하는 것에 도전했습니다. 모델의 아키텍처보다 더 중요한 것은 모델이 학습하는 데이터의 품질과 다양성이라는 철학이 슈퍼브 연구팀의 모든 전략을 이끌었습니다. 바로 이 차별화된 접근법이 2년 연속 우승의 핵심 요인이었습니다.

기존에는 데이터 확보를 위해 수개월간의 촬영과 막대한 비용 투자가 필요했습니다. 슈퍼브에이아이는 최신 생성형 AI 기술을 활용해 이 문제를 근본적으로 해결했습니다. 데이터 부족 문제를 해결하기 위한 두 가지 혁신적인 접근법을 공유합니다.

1) 기존 데이터 활용도 극대화 (RGB → IR 변환)

첫 번째는 기존에 보유한 RGB 이미지를 IR 이미지로 변환하는 방법입니다. 고가의 적외선 카메라로 새로운 데이터셋을 구축하는 대신, 이미 보유한 일반 이미지를 활용할 수 있습니다. RGB 형태로 보유한 다양한 환경과 조건에서의 데이터를 IR 형태의 데이터로 변환하면 AI 모델의 견고성이 향상됩니다. 

예를 들어 야간 감시 시스템에 적외선 영상 AI를 도입하려 했으나, 군사 보안 지역의 적외선 영상 확보가 거의 불가능할 경우, 슈퍼브 플랫폼을 활용해 주간에 촬영한 일반 영상을 적외선 형태로 변환함으로써, 빠르게 학습 데이터를 확보할 수 있습니다.

2) 텍스트 기반 맞춤형 데이터 생성

두 번째는 텍스트를 활용한 완전히 새로운 IR 이미지 생성입니다. 이 방식은 단순히 기존 RGB 이미지를 IR로 변환하는 것을 넘어, 전혀 새로운 상황과 시나리오의 IR 이미지를 생성할 수 있습니다.

텍스트 프롬프트 기반으로 새로운 맞춤형 IR 이미지 생성→자동 레이블 부여 후 학습 데이터로 활용의 단계를 거쳐 생성되는데요.

텍스트 프롬프트만으로 다양한 시나리오의 데이터를 생성해 데이터 다양성을 확보할 수 있고, 실제 환경에서 발생 가능하지만 드문 상황의 데이터도 쉽게 생성해 엣지 케이스에도 대응할 수 있습니다. 또한 보안 측면에서도 민감한 데이터를 외부로 유출하지 않으면서 내부에서 학습 데이터를 확보할 수 있죠.

슈퍼브 연구팀은 ‘석유 운반 트럭이 신호등에서 대기 중인 야간 도로 장면'과 같이 희귀한 상황의 적외선 이미지를 생성할 수 있었습니다. 이는 기존에는 몇 달이 걸리던 특수 상황 데이터 수집을 단 몇 시간으로 단축시켰습니다.

이러한 방식으로 기존 Audi Autonomous Driving Dataset(A2D2)의 41,277개 이미지 중에서 클래스 불균형 문제를 해결하기 위해 자전거, 트럭, 트랙터, 실용차량과 같은 희소 클래스가 포함된 2,136개 이미지를 선별적으로 활용했습니다.

3. 지능형 학습 전략: 최소 데이터로 최대 성능 달성

슈퍼브 연구팀의 접근법은 모델 자체가 교사가 되어 새로운 데이터에 레이블을 부여하는 '수도 레이블링(pseudo-labeling)' 방식을 적용한 것인데요. 이를 통해 소수의 검증된 데이터로 시작해 대량의 미레이블 데이터에 자동으로 레이블을 부여해 활용할 수 있었습니다. 결과적으로 데이터 레이블링에 들어가는 비용과 시간을 대폭 절감하면서도 더 높은 성능을 달성했습니다.

데이터 처리 과정에서 단계적 학습 방식으로 지도 사전 학습-준지도 사전 학습-미세 조정의 단계를 거쳤는데요. 특히 미세 조정시 적외선 이미지의 명도를 조절하고, 객체의 크기를 조절해가며 다양한 상황의 이미지에 합성하는 식으로 다양한 객체와 다양한 상황의 데이터를 늘려 인식률을 높일 수 있도록 했습니다. 이러한 단계적 학습 방식을 통해 기준 모델 대비 Mask AP를 0.320에서 0.362로 약 13% 향상시켰습니다.

산업 적용: 방산에서 자율주행까지

이번 기술 개발의 의미는 단순한 대회 우승을 넘어 실제 산업 문제 해결에 있습니다.

방산 및 보안 분야

• 야간 감시 및 모니터링 시스템 정확도 향상
• 제한된 데이터 환경에서도 고성능 AI 모델 구축
• 열화상 기반 객체 탐지 및 추적 시스템 강화

자율주행 및 ADAS

• 악천후 및 야간 환경에서의 인식 성능 향상
• 다중 센서 융합 시스템 정확도 개선
• 실시간 처리가 가능한 경량 모델 구현

스마트 시티 및 관제

• 열화상 기반 이상 탐지 시스템
• 다양한 환경 조건에서 안정적인 객체 인식
• 에너지 효율적인 24시간 모니터링 솔루션

슈퍼브에이아이의 차별화된 솔루션

이번 우승은 슈퍼브에이아이가 보유한 두 가지 핵심 역량의 결합으로 가능했습니다.

1. 데이터 중심 AI 개발 접근법

단순히 모델 성능 최적화에 집중하는 것이 아닌, 데이터의 품질과 다양성을 확보하는 데이터 중심 AI(Data-Centric AI) 접근법을 적용했습니다. 이는 슈퍼브에이아이의 핵심 철학이며, 특히 데이터가 제한적인 산업 환경에서 중요한 경쟁력입니다.

2. 완전한 ML옵스 파이프라인

슈퍼브에이아이는 데이터 구축부터 모델 배포까지 AI 개발 전체 사이클을 지원하는 완전한 ML옵스 파이프라인을 제공합니다. 이러한 솔루션은 제조, 모빌리티, 물리보안, 관제 등 데이터 확보가 어려운 핵심 산업군에 최적화되어 있습니다.

특수 환경 객체 인식, 데이터 확보가 어렵다면? 

현재 이런 고민이 있으신가요?

• 데이터 부족으로 AI 프로젝트가 지연되고 있음
• 기존 모델이 특수 환경(야간, 악천후 등)에서 성능이 저하됨
• AI 구현 비용이 예상보다 크게 증가하고 있음
• 데이터 라벨링에 많은 인력과 시간이 소요됨

슈퍼브에이아이는 이러한 문제를 해결하는 데 특화된 전문성을 보유하고 있습니다. 한화시스템즈 AI 챌린지 2년 연속 우승은 단순한 기술적 성취를 넘어, 실제 산업 환경에서의 문제 해결 능력을 입증한 결과입니다.

고성능의 AI를 만들기 위해서는 산업 현장의 데이터가 가장 중요합니다. AI에 적합한 데이터를 가장 잘 이해하고 있는 기업이 바로 슈퍼브에이아이입니다. 우리 기업의 문제를 푸는 제대로 된 AI가 필요하시다면 아래 내용을 작성해 주세요. 슈퍼브 전문가들이 바로 연락드리겠습니다.