한 번 만든 데이터로 무한히 만든다: 합성 데이터 파이프라인의 시제 가동

시리즈의 앞선 세 편에서 다룬 행동 5,000건, 공간 50개소, 객체 10,000장, 이 셋은 각각도 쓰임이 있지만, 본질은 재료입니다. 이번 편은 그 재료들이 처음으로 한 곳에서 만난 기록입니다.

독파모 2차수의 합성 데이터 과업은 대량 양산이 아니라 파이프라인의 시제 가동(Proof of Concept), 즉 세 자산이 시뮬레이터 안에서 실제로 결합되어 학습 데이터가 나오는지를 검증하는 단계이고, 이 글은 그 과정에서 확인한 것과 남은 숙제를 함께 적습니다.

→ [개요] · [1편 Action] · [2편 Space] · [3편 Object]

합성 데이터(Synthetic Data)란?
실세계에서 촬영하는 대신 시뮬레이터가 렌더링해 만드는 학습 데이터. 시뮬레이터는 장면의 모든 정보를 알고 있으므로 라벨이 완벽한 정답(Ground Truth) 상태로 자동 생성된다.

왜 합성인가: 비용 구조가 바뀐다

실환경 촬영으로 1~5분짜리 시퀀스 하나를 얻으려면 장소 섭외, 배우와 촬영 인력이 필요합니다. 합성 장면의 생성 비용은 그에 비하면 수 초의 GPU 연산입니다.

물론 비용이 사라지는 것은 아닙니다. 합성의 재료인 공간·행동·객체 자산을 만드는 비용이 앞단에 있습니다. 다만 중요한 차이가 있습니다. 재료는 소모되지 않고 계속 재활용되는 자산이라는 점입니다. 촬영 비용은 장면마다 다시 들지만, 자산 비용은 한 번 들인 뒤 생성되는 장면 수만큼 나눠집니다. 장면이 쌓일수록 단가가 낮아지는 구조입니다.

공정: 세 자산이 Isaac Sim에서 만나면

공간 자산(2편)의 3DGS 배경 위에 물리 메시로 만든 객체(3편)를 배치하고, 행동 자산(1편)의 디지털 휴먼을 움직입니다. 조명, 재질, 시점, 배치를 바꿔가며(도메인 랜덤화) 같은 상황의 변형을 렌더링하고, 인체 모델은 체형 중립적으로 설계되어 있어 확보하는 대로 제한 없이 다양화할 수 있습니다.

결과물에는 라벨이 자동으로 따라옵니다. 바운딩 박스와 분할 마스크가 기본이고, 실촬영으로는 얻기 어려운 깊이(depth), 옵티컬 플로우, 자세, 3D 바운딩 박스까지 시뮬레이터가 아는 모든 정보가 라벨이 될 수 있습니다.

합성 데이터는 어떻게 검증하나

합성 데이터의 품질 검증에서 가장 중요한 기준은 단순합니다. 렌더링된 사람이 벽·바닥과 올바르게 상호작용하는가입니다. 발이 공중에 뜨거나 땅을 뚫고 들어가는 장면은 학습 데이터로 쓸 수 없습니다. 문제는 이 검증의 자동화가 매우 어렵다는 것입니다.

저희의 현재 방식은 이렇습니다. 결과물을 시각화해 사람이 오류 유형을 발견하면, 그 유형을 잡아내는 테스트 코드를 만들고, 다시 시각화해 다음 오류 유형을 찾습니다. 이 반복으로 검증 필터를 한 겹씩 쌓아 왔습니다.

현재의 한계도 있습니다. 공간과 애니메이션은 지금은 각각 독립적으로 추출된 뒤 후처리로 정합됩니다. 이 정합을 후처리가 아니라 처음부터 함께 최적화(joint optimization)해 촬영 영상에서 공간과 애니메이션 정보를 한꺼번에 얻어내는 것을 다음 차수의 연구 과제로 삼고 있습니다.

"시뮬레이터는 실제와 똑같을수록 좋다"는 오해

합성 데이터를 둘러싼 흔한 통념이 있습니다. 실제와 사진처럼 닮을수록 가치가 커진다는 것입니다. 저희의 답은 조금 다릅니다. 시뮬레이터의 진짜 가치는 '얼마나 실제 같은가'가 아니라 '여기서 학습한 모델이 실제로 전이되는가'에 있습니다. 시각적 재현(real-to-sim)은 필요조건이자 토대일 뿐이고, 그 위에 반대 방향의 축, 곧 질량·마찰 같은 물리 특성과 센서의 노이즈·지연 같은 관측 조건, 현실에서 관측하기 어려운 희귀 상황을 의도적으로 구성하는 연출까지 함께 설계해야 학습이 현실로 건너갑니다(sim-to-real). 저희가 재료를 현실에서 가져오는 이유도, 시각적 사실성만을 목표로 삼지 않는 이유도 여기에 있습니다.

글로벌은 지금

중국은 지난 한 해 40곳 넘는 로봇 훈련센터를 세우며 사람과 로봇의 가동 시간으로 데이터를 쌓는 물량전을 시작했습니다. 저희가 검증한 경로는 이와 다릅니다. 한 번 만든 실데이터 자산을 가상 환경에서 재생산하는, 시설 규모 대신 공정 효율로 접근하는 방식입니다. 두 관점에 대해서는 대표 기고 '피지컬 AI 데이터 팩토리, '몇 개 짓느냐'보다 '어떻게 돌리느냐''에서 자세히 다뤘습니다. 두 접근은 배타적이지 않지만, 자본과 인력의 규모전에서 불리한 쪽일수록 재생산 구조의 가치는 큽니다.

시리즈는 여기서 마칩니다. 원료(1차수) → 자산화(2차수) → 양산 구조의 검증(합성 PoC)으로 이어진 이 구조가 저희가 말하는 피지컬 AI 데이터 팩토리입니다.

피지컬 AI 데이터 구축이나 합성 데이터 활용을 검토하고 계시다면 문의 남겨주세요.

자주 묻는 질문 (FAQ)

Q. 합성 데이터만으로 로봇을 학습시킬 수 있나요? 아닙니다. 실데이터가 기준점이고 합성은 그것을 증폭·보완합니다. 특히 엣지 케이스 커버리지에서 합성의 가치가 큽니다.

Q. 어떤 라벨이 자동 생성되나요? 바운딩 박스·분할 마스크가 기본이고, 깊이·옵티컬 플로우·자세·3D 바운딩 박스 등 시뮬레이터가 보유한 모든 정보를 라벨로 출력할 수 있습니다.

Q. 도메인 랜덤화란 무엇인가요? 조명·재질·시점·배치 같은 환경 변수를 의도적으로 바꿔가며 데이터를 생성하는 기법입니다. 모델이 특정 환경에 과적합되지 않고 본질적 특징을 배우게 합니다.

슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다.