슈퍼브에이아이 ‘독파모’ 2차 핵심 정리: 디지털 트윈 자산화

피지컬 AI의 승부처는 점점 분명해지고 있습니다. 바로 시뮬레이션 데이터입니다. 실세계에서 필요한 장면을 매번 촬영·검증하는 방식만으로는 시간과 비용이 감당되지 않기 때문입니다.

최근 엔비디아(NVIDIA)가 오픈소스 인터랙티브 월드 모델인 'DreamDojo'를 발표하며, 사람의 1인칭 시점 영상으로 로봇 월드 모델을 학습시켰다는 점을 강조했습니다. 이는 슈퍼브에이아이가 선제적으로 채택한 접근 방식이 글로벌 최신 기술 트렌드와 일치함을 시사합니다. 

실제로 슈퍼브에이아이는 독자 파운데이션 모델(이하 독파모) 사업 1차수에서 한국형 주거 환경 50개소의 RGB-D 108만 프레임을 확보하고, 그중 30만 프레임을 학습/검증 가능한 형태로 자산화하며 “현실 데이터 병목”을 뚫는 기반을 만들었습니다. 즉, 1차수에서 수집한 1인칭 기반 실사 데이터는 월드 모델 구축 경쟁에서 슈퍼브에이아이가 앞서나갈 수 있는 무기임이 증명된 것입니다.

슈퍼브에이아이 ‘독파모’ 1차 성과: 한국형 로봇 데이터 108만 프레임 확보

피지컬 AI 시대를 여는 핵심, ‘로봇 데이터’는 어떻게 만들어질까요? 슈퍼브에이아이가 독자 AI 파운데이션 모델 사업을 통해 구축한 108만 프레임의 한국형 주거 환경 데이터와 VLA 학습 전략, 그리고 로봇이 현실 세계를 이해하는 기술적 노하우를 공개합니다.

슈퍼브 블로그 : 현장 데이터로 만드는 기업 맞춤형 AI 및 MLOpsSUPERB AI

두 번째 차수는 “프레임을 더 많이 모으는 단계”라기보다, 이미 확보된 물리 데이터를 재료로 삼아 로봇이 학습 가능한 가상 물리 환경(Digital Twin)을 구축하는 R&D 중심 ‘자산화’ 단계입니다. 목표는 공간·행동·객체의 세 가지 핵심 디지털 자산을 구축하고, 이를 통해 로봇 지능의 토대를 만들어 갈 예정입니다.

TL;DR — 슈퍼브에이아이 ‘독파모’ 2차수 핵심

• 2차수는 시뮬레이션 환경을 위한 ‘재료’를 만드는 R&D 단계로 정의
• 1차수에서 확보한 원시 데이터를 기반으로, 시뮬레이터가 이해할 수 있는 3대 핵심 자산(Space·Action·Object) 구축
• 자산을 시뮬레이터 환경에 통합해, 엣지 케이스까지 포함한 합성 데이터 생성 파이프라인 실증

1.“실데이터를 ‘디지털 자산’으로 바꾸다

독파모 1차수에서 슈퍼브에이아이는 한국형 주거 환경 50개소에서 고해상도 RGB-D 데이터를 확보하고, 학습 가능한 형태로 가공해 피지컬 AI의 기반 인프라를 만들었습니다.

그러나 AI의 성능을 고도화하기 위해 데이터를 계속해서 늘리는 방식은 한계가 있습니다. 장소·배우·연출을 매번 다시 구성해 촬영하는 비용이 만만치않을 뿐더러, 희귀 상황(엣지 케이스)을 연출해서 촬영하는 것은 현실적으로 불가능하며 안전상의 위험도 큽니다. 조리도구에 불이 붙거나 화재로 연기가 발생해 시야가 확보되기 어려운 돌발 상황을 연출하기는 쉽지 않습니다.

그래서 2차수의 전략은 명확합니다. 2차수의 핵심은 데이터의 단순 확장이 아니라, 실제 촬영 데이터를 ‘시뮬레이션에 넣을 수 있는 디지털 자산(Digital Asset)’으로 변환하는 것입니다.즉, 현실을 그대로 복사하는 것이 아니라 시뮬레이터가 이해하고 ‘조작’할 수 있는 형태로 구조화합니다.

시뮬레이션 환경에서는 조명, 날씨, 가구 배치, 카메라 앵글 등을 1초 만에 바꿀 수 있는 도메인 랜덤화 기술을 적용할 수 있어, 하나의 원천 데이터로 수천, 수만 가지의 파생 데이터를 생성할 수 있습니다. 물리적 제약을 뛰어넘어 로봇 학습에 필요한 데이터의 다양성과 양을 기하급수적으로 확장하는 '데이터 공장'을 가동하기 위한 필수 선결 과제입니다.

2. 핵심 과업: 시뮬레이터를 위한 3대 디지털 자산 구축

시뮬레이터에서 의미 있는 학습이 일어나려면, 단순 이미지가 아니라 환경·행동·대상이 모두 “자산” 형태로 준비되어야 합니다.

그래서 2차수는 아래 3가지를 중심으로 움직입니다.

• 공간 자산: 로봇이 움직일 3D 공간(물리 속성 포함)
• 행동 자산: 사람이 수행하는 동작(체형/자세 포함)
• 객체 자산: 로봇이 조작할 상호작용 가능한 객체

이 3가지가 결합되면, 시뮬레이터 위에서 현실에 없는 다양한 변형 시나리오를 만들어낼 수 있습니다. (조명/배치/동선/물체 상태/희귀 상황 등)

2.1 고정밀 3D 공간 자산

목표: 한국형 주거 환경 50곳을 물리적 상호작용이 가능한 3D 공간으로 완벽하게 복원.

기술적 접근: NeRF 및 3D Gaussian Splatting

기존의 3D 스캔 방식은 텍스처가 뭉개지거나 투명한 물체(유리창, 거울 등)를 제대로 표현하지 못하는 한계가 있었습니다. 로봇이 유리창을 뚫린 공간으로 인식하여 충돌하는 것을 방지하기 위해서는 실사 수준의 시각적 정합성이 필수적입니다.

이를 위해 슈퍼브에이아이는 3D Gaussian Splatting 기술을 도입합니다.

• 기술 원리: 공간을 수백만 개의 3D 가우시안(타원체) 입자로 표현하여 현실 공간을 실사 수준의 고화질로 재구성합니다. 이는 NeRF(Neural Radiance Fields)의 고화질 장점을 유지하면서도 렌더링 속도가 월등히 빨라 실시간 시뮬레이션 환경에 적합합니다.
• 물리 속성 부여: 3D Gaussian Splatting을 통한 시각적 구현에 그치지 않고, 별도의 AI 모델을 활용해 바닥, 벽면 등 공간의 구조 정보를 분석합니다. 이렇게 분석된 구조 정보를 바탕으로 바닥의 마찰력, 벽의 단단함 등 물리 엔진이 연산할 수 있는 속성값을 부여하여, 로봇이 가상 공간에서 주행하고 충돌 테스트를 할 수 있도록 구축합니다.

2.2 동적 행동 자산

목표: 설거지, 청소 등 5,000건의 가사 노동 시나리오를 로봇이 학습 가능한 모션 데이터로 변환.

기술적 접근: SMPL (Skinned Multi-Person Linear Model)

2D 영상 속 사람이 움직이는 픽셀 데이터만으로는 로봇에게 "팔을 어떻게 뻗어야 하는지"를 가르칠 수 없습니다. 이를 위해서는 사람의 움직임을 관절 단위의 수학적 데이터로 추출해야 합니다.

• SMPL 기반 모션 캡처: 슈퍼브에이아이는 영상 속 사람의 형태와 자세를 분리하여 파라미터화하는 SMPL 모델을 활용합니다. 이는 별도의 마커 부착 없이 영상 분석만으로 사람의 관절 회전값과 신체 변형을 3차원 공간상에서 추정해냅니다.
• 모션 리타게팅: 추출된 사람의 동작 데이터는 SMPL(Skinned Multi-Person Linear) 모델 형식으로 자산화됩니다. 이 데이터는 시뮬레이터 내에서 다양한 체형의 디지털 휴먼에게 적용될 수 있으며, 휴머노이드 로봇이 사람의 동작을 모방 학습하는 데 핵심적인 교보재로 사용됩니다. 이를 로봇에 적용하기 위해서 로봇의 고유한 관절 구조에 맞춰 모션 데이터를 변환하는 별도의 리타게팅(Retargeting) 과정을 거치게 됩니다.

2.3 지능형 객체 자산

목표: 가사 로봇이 자주 사용할 것으로 예측되는 사물 10,000건을 상호작용 가능한 객체로 자산화.

기술적 접근: 정밀 세그멘테이션 및 관절 모델링

시뮬레이션 속의 전자레인지가 단순히 '전자레인지 그림이 그려진 상자'라면 로봇은 문을 여는 연습을 할 수 없습니다. 객체 자산화의 핵심은 '상호작용성'입니다.

• 객체 분리: SAM(Segment Anything Model) 등의 기술을 활용하여 픽셀 단위로 정밀하게 객체를 분리합니다. 특히 겹쳐져 있는 물체나 복잡한 배경 속에서도 IoU(교차중첩비) 0.7 이상의 정밀도를 목표로 합니다.
• 관절 모델링: 서랍, 냉장고 문, 가위와 같이 움직이는 부위가 있는 객체는 경첩(힌지) 정보와 운동 범위를 설정합니다. 이를 통해 로봇은 가상 공간에서 서랍을 당기거나 가위를 오므리는 조작 훈련을 수행할 수 있습니다.

3. 기술적 수행 방법론: 합성 데이터 공장의 가동

구축된 3대 자산은 NVIDIA Isaac Sim 기반의 파이프라인을 통해 통합되며, 이곳에서 '합성 데이터'가 양산됩니다. 이는 2차수 사업이 단순한 데이터 가공이 아닌 '기술적 R&D' 과제로 정의되는 이유입니다.

3.1 합성 데이터 생성 파이프라인 

3.2 Sim-to-Real 격차 해소

합성 데이터의 가장 큰 숙제는 "가상에서 학습한 로봇이 현실에서도 잘 작동하는가?" 하는 Sim-to-Real Gap 문제입니다. 슈퍼브에이아이는 이를 검증하기 위해 SSIM(구조적 유사도) 지표를 활용하여 합성 이미지와 실사 이미지 간의 시각적 정합성을 검증하고, 물리 엔진의 충돌 오류를 10% 이내로 관리하는 엄격한 품질 기준을 수립했습니다.

4. 결론: 대한민국 로봇 생태계를 위한 초석

슈퍼브에이아이의 독파모 2차수 사업의 목표는 “우리만 쓰는 데이터”가 아닙니다. 본 사업을 통해 피지컬 AI 데이터 확보의 시간·비용 제약을 완화하고, 고품질 3D·4D 데이터셋 개방으로 국내 로봇·AI 생태계 활성화 기반을 마련합니다.

또한 자산화된 공간·행동·객체를 시뮬레이션으로 통합하고, 엣지 케이스까지 반영한 Sim-to-Real 체계를 단계적으로 구현합니다.

엔비디아가 1인칭 시점 데이터를 활용한 로봇 월드 모델을 통해 기술의 새 지평을 열었듯, 슈퍼브에이아이 역시 독보적인 고품질 1인칭 뷰 원시 데이터와 3대 디지털 자산화를 통해 범용 '월드 모델' 구축의 기반을 탄탄히 다지고 있습니다. 이 구조가 완성되면, 로봇은 더 많은 집을 촬영한 데이터로 배우는 것이 아니라, 더 많은 상황을 “생성해서” 배우게 됩니다.

그때부터 피지컬 AI는 현실을 따라가는 기술이 아니라, 현실을 앞서 준비하는 기술이 됩니다. 슈퍼브에이아이는 독파모 2차수 사업을 성공적으로 완수하여, 데이터의 양적 팽창을 넘어 질적 혁신을 이루고, 대한민국이 글로벌 피지컬 AI 및 월드 모델 시장의 퍼스트 무버(First Mover)로 도약하는 데 기여하겠습니다.