[VFM 개념] 비전 AI는 처음 보는 것을 어떻게 알아볼까? LVIS와 차세대 객체 탐지 기술

산업 현장에 AI를 도입한 기업이 AI가 유연하지 않다는 사실에 당황하는 경우가 있습니다. 생산 라인에서 예측 불가능한 불량이 발생하거나, 신제품을 확대할 때, 매번 새롭게 막대한 데이터를 라벨링하고 모델을 다시 학습시켜야 하고 그만큼 비용과 시간이 다시 소요된다는 것을 알지 못했기 때문이죠. 이 때문에 야심차게 AI 프로젝트가 중단되고 방치되기도 합니다.

하지만 AI가 단 한 번도 학습한 적 없는 새로운 부품, 예상치 못한 이물질, 또는 미세한 품질 이상까지도 단 한 번의 설명이나 소수의 샘플만으로 즉시 인식하고 분류할 수 있다면 어떨까요? 비즈니스 운영의 효율성을 극대화하고, 시장 변화에 민첩하게 대응할 수 있는 혁신적인 기회가 될 것입니다.

이러한 가능성을 현실로 만들고 있는 핵심 기술들과 이 기술의 성능을 검증하는 필수적인 데이터셋인 LVIS에 대해 설명 드리려고 합니다. AI가 단순한 '암기'를 넘어 '적응'의 시대로 진입하며, 산업 현장에 어떤 실질적인 가치를 제공할 수 있는지 구체적으로 정리해 보겠습니다.

1. 왜 '현실 세계'를 닮은 데이터셋이 필요했는가? - LVIS의 철학

컴퓨터 비전 기술의 발전은 데이터셋의 진화와 밀접하게 연결되어 있습니다. 초기 MNIST(손글씨 숫자)부터 ImageNet(1000개 클래스 분류), COCO(80개 클래스 탐지/분할)에 이르기까지, 데이터셋은 AI 모델 성능 향상의 핵심 동력이었습니다. 그러나 기존 데이터셋은 '통제된 환경'이라는 공통된 한계를 지녔습니다.

이 데이터셋은 비교적 균등한 수의 예시를 가진 제한된 클래스들로 구성되어 있어, 모델이 현실 세계의 복잡성을 충분히 학습하기 어렵습니다. 예를 들어, COCO 데이터셋으로 훈련된 모델은 '사람'과 '자전거'를 동일한 중요도로 학습하지만, 실제 산업 현장에서는 특정 부품이나 설비는 빈번하게 등장하는 반면, 예측 불가능한 이물질이나 특정 이상 징후는 매우 드물게 나타납니다.

이처럼 소수의 '자주 등장하는' 객체와 압도적 다수의 '드물게 등장하는' 객체가 공존하는 현실 세계의 극심한 불균형 분포를 롱테일(long-tail) 분포라고 합니다. 기존 모델들은 이 '긴 꼬리(long-tail)'에 해당하는 수많은 객체들을 학습할 기회조차 없었기에, 현실 적용에 한계가 있었습니다.

이러한 문제의식에서 출발하여 Facebook AI Research(FAIR)가 공개한 것이 바로 LVIS(Large Vocabulary Instance Segmentation) 데이터셋입니다. LVIS는 대규모의 세분화된 어휘 수준의 주석 데이터 세트로, 주로 컴퓨터 비전 분야의 발전을 위한 연구 벤치마크로 활용됩니다.

LVIS가 기존 데이터셋과 차별화되는 지점

1. 압도적인 스케일과 다양성
   
   LVIS는 160만 개 이상의 이미지와 2백만 개 이상의 인스턴스 주석을 포함합니다. 이 데이터셋은 1203개 이상의 객체 카테고리로 구성되어 있어, COCO 데이터셋의 80개 범주에 비해 훨씬 방대한 어휘를 제공합니다. 이는 모델이 사물의 종류뿐만 아니라 상위-하위 개념까지 포괄적으로 학습하도록 유도하여, 더욱 세분화되고 미묘한 차이를 인식하는 능력을 배양합니다.
2. 의도적인 불균형 설계
   
   LVIS는 의도적으로 현실의 롱테일 분포를 모방합니다. 모든 카테고리는 등장 빈도에 따라 frequent(빈번), common(일반), rare(희귀) 그룹으로 명확히 태그됩니다. 이 덕분에 우리는 모델의 전체 평균 성능(AP)뿐만 아니라, 특히 어려운 과제인 희귀 객체 인식 성능(APr)을 집중적으로 측정하고 개선 방향을 설정할 수 있습니다. APr 점수는 모델의 실제 일반화 성능을 가늠하는 중요한 척도가 됩니다.
3. 고품질 인스턴스 분할
   
   LVIS는 단순히 객체의 위치를 경계 박스로 알려주는 것을 넘어, 객체의 외곽선을 픽셀 단위로 정교하게 분할하는 '인스턴스 분할(Instance Segmentation)' 정보를 제공합니다. 이는 모델이 객체의 형태를 훨씬 더 정확하게 이해하도록 요구하는 고난도 과제로, 산업 현장의 정밀한 검사 및 분석에 필수적입니다.

결론적으로 LVIS는 AI 모델들을 통제된 환경 밖, 예측 불가능한 '야생'과 같은 산업 현장으로 내보내어 그 실질적인 성능을 검증하는 혹독하지만 현실적인 시험대입니다.

2. AI의 '진짜 추론력'을 측정하는 새로운 패러다임: 제로샷 평가

LVIS와 같은 현실적인 데이터셋의 등장은 모델 평가 패러다임의 근본적인 변화를 가져왔습니다. 이제 평가의 핵심 질문은 "얼마나 잘 외웠는가?"가 아니라, "처음 보는 데이터셋에서 다양한 프롬프트를 통해 얼마나 잘 추론하는가?"로 바뀌었습니다.

이것이 바로 제로샷(Zero-Shot) 객체 탐지의 핵심입니다. 모델은 평가하려는 벤치마크에서 전혀 훈련되지 않은 상태에서 성능을 측정받습니다. 마치 학생이 교과서를 전혀 보지 못한 채로 다양한 힌트를 받아 시험을 치르는 것과 같은 상황입니다.

[VFM 개념] AI 도입 하루면 충분한 이유? 제로샷 비전 AI

새 제품 출시마다 AI 모델을 다시 훈련해야 하는 6-9주의 반복적 프로세스는 이제 끝났습니다. 비전 파운데이션 모델과 제로샷 학습 기술을 통해 자연어 설명만으로도 처음 보는 제품을 즉시 인식할 수 있게 되었습니다. CLIP의 대조학습부터 오픈월드 시스템까지, AI/ML 엔지니어와 기술 의사결정자를 위한 차세대 비전 AI 기술의 핵심 원리와 기업 도입 전략을 상세히 분석합니다. 운영비용 절감과 신제품 대응 속도 99% 향상을 동시에 달성하는 방법을 확인해보세요.

슈퍼브 블로그 : AI 및 MLOps, DataOps 에 대한 인사이트를 전합니다SUPERB AI

최신 연구에서는 이러한 제로샷 설정에서 AI의 서로 다른 프롬프팅 방식에 따른 추론 능력을 평가하기 위해 세 가지 프로토콜을 사용합니다.

평가 프로토콜의 해부: 세 가지 프롬프팅 방식

1. Text 프로토콜: 언어 기반 프롬프팅

• 측정 대상
  모델이 벤치마크의 모든 카테고리 이름을 텍스트 프롬프트로 받아 제로샷 객체 탐지를 수행하는 능력
• 추론 방식
  "사람", "자동차", "고양이" 같은 카테고리 이름들이 텍스트 프롬프트로 입력되면, 모델이 이미지 속에서 해당 객체들을 탐지합니다. 이는 기존의 오픈 보캡(Open-Vocabulary) 객체 탐지 설정과 동일한 방식입니다.
• 실용적 의미
  가장 직관적이고 확장성이 높은 방식입니다. 새로운 카테고리가 필요할 때마다 단순히 텍스트만 추가하면 되므로, 무한한 확장이 가능합니다.

2. Visual-G (Generic): 일반화된 시각적 프롬프팅

• 측정 대상
  모델이 미리 계산된 평균 시각적 임베딩을 프롬프트로 받아 제로샷 객체 탐지를 수행하는 능력
• 추론 방식
  1) 사전 준비 단계: 각 벤치마크의 훈련 세트에서 카테고리별로 N개(기본값 16개) 이미지를 무작위 샘플링
  
  2) 임베딩 추출: 각 이미지의 GT 박스를 시각적 프롬프트 입력으로 사용하여 N개의 시각적 임베딩 추출
  
  3) 평균화: 각 카테고리의 N개 임베딩을 평균화하여 대표 임베딩 생성 (COCO의 경우 총 80개)
  
  4) 추론: 테스트 이미지에서 이 평균 임베딩들과 가장 유사한 영역을 탐지
• 실용적 의미
  텍스트 설명이 어려운 시각적 특성(질감, 형태, 색상 패턴 등)을 가진 객체들을 다양한 군집에서 효과적으로 탐지할 수 있습니다.

3. Visual-I (Interactive): 상호작용적 시각적 프롬프팅

• 측정 대상: 모델이 테스트 이미지 내의 GT 박스를 시각적 프롬프트로 받아 동일 카테고리의 다른 인스턴스들을 탐지하는 능력
• 추론 방식
  1) 주어진 테스트 이미지에 M개 카테고리가 있다고 가정
  
  2) 각 카테고리별로 하나의 GT 박스를 무작위로 선택 (또는 중심점으로 변환)
  
  3) 이를 해당 카테고리의 시각적 프롬프트로 사용하여 같은 카테고리의 다른 객체들을 탐지
• 실용적 의미
  Visual-G보다 상대적으로 쉬운 설정이지만, 자동 어노테이션, 객체 카운팅 등 광범위한 응용 시나리오를 가집니다. 사용자가 하나의 객체만 가리키면 AI가 나머지 동일한 객체들을 자동으로 찾아내는 실용적인 방식입니다.

왜 세 가지 프롬프팅 방식이 모두 중요한가?

각 프로토콜은 AI의 서로 다른 추론 능력을 측정합니다:

• Text: 언어-시각 연결을 통한 개념적 추론 능력
• Visual-G: 일반화된 시각적 프로토타입을 통한 패턴 매칭 능력
• Visual-I: 즉각적 시각적 유사성 판단을 통한 상호작용적 추론 능력

실제 산업 현장에서는 이 세 가지 추론 방식이 모두 필요하며, 상황과 데이터의 특성에 따라 가장 효과적인 방식을 선택하여 사용할 수 있습니다.

[VFM 개념] 현장에서 AI와 상호작용 가능? 멀티 프롬프트

멀티 프롬프트는 텍스트, 이미지, 스케치 등 다양한 방식으로 AI와 소통하는 혁신 기술입니다. 비전-언어 모델(VLM)과 비전 파운데이션 모델(VFM)의 차이점을 이해하고, SAM, Grounding DINO, SEEM 등 최신 멀티 프롬프트 기술의 특징과 활용 사례를 통해 AI와의 상호작용이 어떻게 진화하고 있는지 알아보세요.

슈퍼브 블로그 : AI 및 MLOps, DataOps 에 대한 인사이트를 전합니다SUPERB AI

3. 산업 현장을 변화시키는 차세대 AI 기술

LVIS 데이터셋과 Text, Visual-G, Visual-I 같은 다양한 평가 방식은 AI 기술의 미래와 산업 전반에 미칠 영향을 보여주는 중요한 이정표입니다.

• 데이터 구축 비용의 혁신적 절감
  이제 모든 객체에 대해 수만 장의 라벨링된 데이터를 구축할 필요가 없어졌습니다. 텍스트 설명, 소수의 시각적 예시, 또는 단순한 사용자 지시만으로도 AI가 즉시 새로운 작업을 수행할 수 있게 되면서, 데이터 구축에 소요되는 시간과 비용을 획기적으로 절감할 수 있습니다.
  
• 현장 맞춤형 AI 시스템의 실현
  AI는 단순한 명령 수행 도구를 넘어, 현장 상황에 즉시 적응하는 지능형 파트너가 될 것입니다. 작업자의 자연스러운 언어 지시, 시각적 예시, 또는 직관적인 상호작용을 통해 복잡한 작업을 즉시 이해하고 수행할 수 있습니다.
  
• 예측 불가능한 상황에 대한 대응력 강화
  제조, 물류, 안전 관리 등 다양한 산업 현장에서 발생하는 예측 불가능한 변수들에 대해, AI가 사전 훈련 없이도 유연하게 대처할 수 있는 기반을 제공합니다. 새로운 이물질, 예상치 못한 장비 이상, 신제품 도입 등의 상황에서 즉각적인 인식과 대응이 가능해집니다.

마치며

경직되고 미리 정해진 것만 처리하는 AI가 아닌, 새로운 상황에 유연하게 적응하는 AI의 시대가 열리고 있습니다. LVIS가 제시한 '현실 세계'라는 시험대에서, AI는 단순한 암기의 한계를 넘어 언어, 시각, 상호작용을 통한 즉각적 학습과 적응 능력을 증명해 보이고 있습니다.

Text, Visual-G, Visual-I 프로토콜은 이러한 다차원적 적응 능력을 객관적으로 평가하고, 실제 산업 현장에 가장 적합한 AI 시스템을 개발하는 데 필수적인 가이드라인을 제공합니다.

비전 AI 기술의 이러한 진화는 기존 산업 현장의 비효율을 해결하고, 예측 불가능한 상황에 대한 대응력을 강화하며, 궁극적으로 기업의 생산성과 경쟁력을 극대화할 수 있는 현실적인 솔루션을 제공합니다.

AI가 '처음 보는 것'을 다양한 방식으로 알아보는 이 혁신적인 능력을 활용한 프로젝트를 슈퍼브에이아이가 곧 공개할 예정입니다. 산업 현장을 바꿀 무한한 가능성을 기대해 주세요.

산업 현장에 AI를 지금 즉시 도입할 수 있는 솔루션이 궁금하다면 아래에 내용을 작성해 주세요. 슈퍼브 전문가가 바로 연락 드리겠습니다.