합성 데이터 파이프라인 구축 가이드: NVIDIA Isaac Sim으로 라벨링을 자동 생성하는 법

합성 데이터 파이프라인은 시뮬레이터 안에 현실을 재현해 두고, 카메라 위치·조명·객체를 바꿔가며 이미지와 정답 라벨을 동시에 자동 생성하는 데이터 구축 방식입니다. 실제 환경에서는 데이터를 찍고 사람이 라벨을 그려야 하지만, 시뮬레이터 안에서는 모든 객체의 위치를 시스템이 이미 알고 있으므로 바운딩 박스, 깊이 맵, 시맨틱 라벨 같은 정답지가 렌더링과 함께 나옵니다. 실데이터 수집이 물리적으로 불가능하거나(국방·재난), 라벨링 비용이 물량에 곱으로 불어나는 과제(다중 카메라 추적)에서 현실적인 선택지가 됩니다.

📌 3줄 요약
· 합성 데이터는 이미지와 정답 라벨이 동시에 생성되므로, 라벨링 비용이 객체 수×프레임 수×카메라 수로 불어나는 과제에서 효과가 가장 큽니다.
· 관건은 생성이 아니라 Sim-to-Real 갭 관리입니다. 슈퍼브에이아이는 렌더링·라벨 정확성 분리, 사람 인지 기준의 커스텀 어노테이터, 스크립트 도메인 무작위화로 대응합니다.
· 이 파이프라인은 3D 공간 50개소를 구축한 피지컬 AI(Physical AI) 데이터 팩토리에서 시제 가동 중입니다.

왜 합성 데이터인가: 라벨링 비용이 곱셈으로 불어나는 과제들

슈퍼브에이아이가 이 파이프라인을 만든 직접적 계기는 다중 카메라 3D 객체 추적(MTMC, Multi-Target Multi-Camera) 모델입니다. 여러 대의 카메라로 다수의 객체를 추적하려면 라벨링 비용이 객체 수, 프레임 수, 카메라 뷰 수의 곱으로 늘어납니다. 인천공항 여객 흐름 관리 개념 검증처럼 공간 전체를 다루는 과제에서 수작업 라벨링은 성립하지 않는 수준의 비용이 됩니다.

수집 자체가 불가능한 영역도 있습니다. 국방의 훈련 상황 데이터, 산업 현장의 사고·화재 같은 희귀 상황은 실데이터를 기다려서 모을 수 없습니다. 이런 과제에서는 합성 데이터가 출발점입니다.

방식 비교: 실데이터 구축 vs 생성형 증강 vs 시뮬레이터 합성

세 방식은 배타적이지 않습니다. 합성으로 물량과 희귀 상황을 채우고, 실데이터로 검증하는 조합이 표준입니다.

Sim-to-Real 갭을 줄이는 세 가지 엔지니어링

합성 데이터의 관건은 "시뮬레이터에서 배운 것이 현실에서 통하는가"입니다. 슈퍼브에이아이 3D 팀이 Isaac Sim 파이프라인을 고도화하며 해결한 세 가지가 이 갭 관리의 실제입니다.

1. 3DGS 렌더링과 라벨 정확성의 분리(2-Pass 워크어라운드). 실제 공간을 사실적으로 재현하기 위해 3D 가우시안 스플래팅(3DGS)을 쓰면, 물리 연산용 메시를 보이게 하면 그림자 아티팩트가 생기고 숨기면 라벨러가 벽 뒤 객체를 투시해 버리는 충돌이 생깁니다. 슈퍼브에이아이는 렌더링 패스와 라벨링 패스를 분리하는 2-Pass 방식으로 시각 품질과 라벨 정확성을 각각 확보했습니다.

2. 사람의 인지 기준을 반영한 커스텀 어노테이터. Isaac Sim의 기본 어노테이터는 객체가 몇 픽셀만 보여도 전체 크기의 바운딩 박스를 그립니다. 실제 라벨러라면 노이즈로 처리했을 케이스입니다. 시맨틱 세그멘테이션 정보로 실제 노출된 픽셀만 추출하고, 임계값 이하의 미세 윤곽선은 무시하는 필터링 로직으로 사람이 작업한 것과 같은 품질의 라벨을 대량 생성합니다.

3. 스크립트 기반 도메인 무작위화. 조명의 색온도와 강도, 카메라 초점 거리, 의상 색상과 바닥 재질을 파이썬 스크립트로 무작위 변화시키며 데이터를 생성합니다. 단일 공간에서도 모델의 일반화 성능을 끌어올리는 다양성을 프로그래밍으로 만들어내는 단계입니다.

실측: 이 파이프라인이 실제로 돌아가는 곳

도입 판단 기준 세 가지

① 실데이터로 그 상황을 모을 수 있는가. 사고·화재·군사 상황처럼 기다려서 모을 수 없는 데이터라면 합성이 출발점입니다. 모을 수 있다면 라벨링 비용 구조(곱셈형인지)로 판단합니다.

② 3D 정보가 필요한가. 깊이, 좌표, 다중 뷰 정합처럼 실환경에서 별도 장비가 필요한 정보가 과제에 포함되어 있다면 시뮬레이터 합성의 이점이 큽니다.

③ 검증 데이터를 확보할 수 있는가. 합성으로 학습하더라도 최종 평가는 실데이터로 해야 Sim-to-Real 갭을 수치로 관리할 수 있습니다. 소량이라도 실측 검증셋 확보 계획이 함께 서야 합니다.

자주 묻는 질문(FAQ)

Q. 합성 데이터로 학습한 모델이 실제 환경에서 성능이 나오나요?
갭 관리가 설계에 포함되어 있는지가 관건입니다. 도메인 무작위화로 다양성을 확보하고 실데이터 검증셋으로 갭을 측정하는 구조라면, 합성 학습·실측 검증 조합이 실무에서 통용되는 표준입니다.

Q. 우리 현장을 시뮬레이터에 재현하려면 무엇이 필요한가요?
현장을 촬영한 영상·사진에서 3DGS로 공간을 복원하는 방식이면 라이다 같은 전용 장비 없이 시작할 수 있습니다. 재현 정밀도 요구 수준에 따라 스캔 방식이 달라집니다.

Q. 국방처럼 실데이터 자체가 통제되는 영역도 가능한가요?
합성·시뮬레이션 데이터가 가장 활발히 쓰이는 영역입니다. 시나리오를 직접 연출해 데이터를 생성하므로 보안 통제 안에서 학습 데이터를 확보할 수 있습니다.

Q. 비용은 실데이터 구축과 어떻게 비교하나요?
공간·에셋 구축의 초기 비용이 있는 대신, 이후 생성은 시나리오 변경만으로 반복됩니다. 한 번 만든 공간에서 무한히 생성하는 구조라 물량이 클수록, 상황 변형이 많을수록 유리해집니다.

함께 보면 좋은 콘텐츠

한 번 만든 데이터로 무한히 만든다: 합성 데이터 파이프라인의 시제 가동

촬영 없이 라벨이 완성된 학습 데이터를 만드는 합성 데이터 공정을 처음 가동해 봤습니다. 도메인 랜덤화의 원리와 검증 방법, '합성 데이터는 가짜'라는 오해에 대한 답을 정리했습니다.

슈퍼브 블로그 : 엔터프라이즈 비전 인텔리전스 플랫폼SUPERB AI

공항 보안의 미래: AI가 스스로 학습하는 세상, '합성 데이터 생성' 기술

공항 AI 보안 검색, 신종 위협 탐지가 어렵다고요? 슈퍼브에이아이의 합성 데이터 생성 기술로 엑스레이 학습 데이터를 생성하고, 비전 파운데이션 모델 '제로(ZERO)'로 학습 없이 즉시 탐지하는 방법을 확인해 보세요. AI 보안의 새로운 미래를 만나보세요.

슈퍼브 블로그 : 엔터프라이즈 비전 인텔리전스 플랫폼SUPERB AI

슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다. 실데이터 구축부터 Isaac Sim 기반 합성 데이터 파이프라인까지 피지컬 AI 학습 데이터의 전 과정을 다룹니다.

💬 합성 데이터 도입을 검토하고 계신가요? 아래에 과제 유형과 데이터 제약을 남겨주시면 영업 전화가 아니라 데이터 확보 경로 검토부터 시작합니다.