피지컬 AI 데이터셋 구축 가이드: 공간·행동·객체·합성 4유형과 3단계 공정

피지컬 AI 데이터는 로봇과 자율 시스템이 물리 세계를 인식하고 행동하도록 학습시키는 데 쓰이는 공간·행동·객체 데이터입니다. 텍스트를 학습하는 언어 모델과 달리, 피지컬 AI(Physical AI)는 3차원 공간과 사람의 움직임, 물체와의 상호작용을 담은 데이터가 있어야 학습할 수 있습니다. 이 글은 피지컬 AI 데이터셋의 4가지 유형과, 수집에서 합성까지 이어지는 구축 공정 3단계를 정리한 가이드입니다.

📌 3줄 요약
· 피지컬 AI 데이터셋은 공간, 행동, 객체, 합성 데이터 4유형으로 구성되며, 유형마다 산출 포맷과 검증 기준이 다릅니다.
· 데이터셋의 품질은 개별 파일이 아니라 공정이 좌우합니다. 실공간 캡처, 에셋화, 합성 재생산의 3단계가 갖춰져야 데이터가 반복 생산됩니다.
· 슈퍼브에이아이는 로보틱스·제조 현장을 위한 피지컬 AI 데이터를 실제 가정 환경 50개소 규모로 구축했고, 산출물은 제3자 검수를 통과했습니다.

왜 지금 피지컬 AI 데이터인가

정부는 2026년 7월 피지컬 AI 핵심 경쟁력 확보 전략을 발표하며 데이터·기술·확산·생태계 4대 추진 전략의 첫 자리에 데이터를 두었습니다. 모델 아키텍처는 공개 연구로 빠르게 공유되는 반면, 물리 세계를 담은 학습 데이터는 여전히 부족하기 때문입니다. 로봇 파운데이션 모델을 준비하는 기업이 가장 먼저 부딪히는 질문도 같습니다. 어떤 데이터를, 어떤 형태로, 얼마나 만들어야 하는가입니다.

피지컬 AI 데이터셋의 4가지 유형

로봇 학습용 데이터셋은 보통 네 유형으로 나뉩니다. 슈퍼브에이아이가 국책 과제에서 실제로 구축한 산출물을 기준으로 각 유형의 형태와 검증 기준을 소개합니다.

① 공간 데이터: 로봇이 움직일 환경
실제 공간을 3D 가우시안 스플래팅(3D Gaussian Splatting) 기법으로 복원한 디지털 트윈입니다. 로봇이 시뮬레이터 안에서 주행하고 충돌을 회피하려면 실측 기반의 공간이 필요합니다. 슈퍼브에이아이는 실제 주거 환경 50개소를 3DGS 에셋(PLY)으로 구축했습니다. 한국형 주거 공간의 디지털 트윈 제작 과정은 3D 가우시안 스플래팅 작업기에서 다뤘습니다.

② 행동 데이터: 사람의 움직임
사람이 물건을 집고 옮기는 동작을 4D로 기록한 데이터입니다. 원격조작(텔레오퍼레이션) 장비 없이도, 여러 시점의 카메라로 촬영한 영상에서 SMPL 계열 신체 모델로 동작을 복원하는 방식이 확산되고 있습니다. 슈퍼브에이아이는 사람 행동 데이터 5,000건을 SMPL-X 기반(PKL)으로 구축했습니다. 방식의 차이는 4D 휴먼 행동 데이터 해설에 정리돼 있습니다.

③ 객체 데이터: 로봇이 조작할 대상
문이 열리고 서랍이 빠지는 것처럼, 관절 구조까지 재현한 인터랙티브 객체 에셋입니다. 정지된 3D 스캔과 달리 로봇의 조작(manipulation) 학습에 바로 쓸 수 있어야 합니다. 슈퍼브에이아이는 실물 촬영 기반의 객체 데이터 10,000장을 구축했습니다. 제작 방법은 인터랙티브 객체 에셋 해설에서 확인할 수 있습니다.

④ 합성 데이터: 실데이터의 증폭
위 세 유형을 시뮬레이터에 올려 필요한 만큼 변형 생산하는 데이터입니다. 실공간 에셋과 행동, 객체가 준비돼 있으면 NVIDIA Isaac Sim 같은 시뮬레이터에서 조명, 배치, 시점을 바꿔 학습 데이터를 재생산할 수 있습니다. 파이프라인 구성은 Isaac Sim 합성 데이터 파이프라인 글에서 다뤘습니다.

데이터셋 품질은 공정이 결정합니다

피지컬 AI 데이터 담론은 훈련장과 시설 중심으로 흐르는 경우가 많습니다. 그러나 제3자 검수를 통과하는 데이터셋을 만들어 본 경험으로 보면, 품질을 좌우하는 것은 시설이 아니라 공정입니다. 슈퍼브에이아이의 구축 공정은 3단계입니다.

1단계: 실공간 캡처
실제 현장을 다시점 카메라 리그로 촬영합니다. 1차 과제에서는 실제 가정 환경 50개소를 고프로 17대를 동기화한 멀티뷰 리그로 촬영해, 공간 전체를 보는 3인칭 시점과 로봇의 눈이 될 1인칭 시점을 함께 담았습니다.

2단계: 에셋화
촬영 원본을 선별하고 학습 가능한 자산으로 가공합니다. 원본 약 4억 프레임을 자동 큐레이션(Auto-Curate)으로 108만 프레임으로 줄이고, 학습 기여도가 높은 30만 프레임을 자산화했습니다. 전체 과정은 독자 AI 파운데이션 모델 1차 과제 기록에 있습니다.

3단계: 합성 재생산
에셋화된 공간·행동·객체를 시뮬레이터에서 조합해 데이터를 늘립니다. 한 번 만든 자산이 반복 생산의 원천이 되므로, 데이터 구축 비용 구조가 촬영량 비례에서 벗어납니다.

이 공정의 산출물은 제3자 검증을 거쳤습니다. 2차 과제의 공간 50개소, 행동 5,000건, 객체 10,000장은 한국정보통신기술협회(TTA)의 최종 검수를 통과해 구축 완료 판정을 받았고, 합성 데이터 10,000장은 구축이 진행 중입니다. 결과 상세는 독파모 2차 과제 결과 정리에서 볼 수 있습니다. 이 실적을 바탕으로 슈퍼브에이아이는 독자 AI 파운데이션 모델 프로젝트 3차수에 진출해 피지컬 AI 데이터 구축을 이어가고 있습니다.

피지컬 AI 데이터셋을 평가하는 4가지 질문

외부 데이터셋을 도입하거나 구축 파트너를 검토한다면, 아래 질문이 판단 기준이 됩니다.

• 실환경 데이터인가: 랩 환경과 실제 현장은 조명, 소음, 가림이 다릅니다. 수집 장소의 수와 다양성을 확인합니다.
• 검증 주체가 누구인가: 공급자의 자체 품질 주장과 제3자 검증은 다릅니다. 검수 기관과 판정 기준(정확도, IoU 등)을 확인합니다.
• 포맷이 학습 파이프라인과 맞는가: PLY, PKL, PNG처럼 산출 포맷과 메타데이터 구조가 사용할 시뮬레이터·학습 프레임워크와 호환되는지 확인합니다.
• 재생산이 가능한가: 한 번 받고 끝나는 데이터인지, 에셋 기반으로 추가 데이터를 합성 재생산할 수 있는지에 따라 총비용이 달라집니다.

자주 묻는 질문 (FAQ)

Q. 피지컬 AI 데이터란 무엇인가요?
로봇과 자율 시스템이 물리 세계를 인식하고 행동하도록 학습시키는 데 쓰이는 데이터입니다. 공간(3D 환경), 행동(사람 동작), 객체(조작 대상), 합성(시뮬레이터 생성) 데이터 4유형으로 구성됩니다.

Q. 합성 데이터만으로 로봇을 학습시킬 수 있나요?
합성 데이터는 실데이터를 대체하는 것이 아니라 증폭합니다. 실공간 캡처로 만든 에셋이 있어야 시뮬레이터에서 현실과의 격차(Sim-to-Real Gap)를 줄인 합성 데이터를 만들 수 있습니다.

Q. 피지컬 AI 데이터셋 구축에는 무엇이 필요한가요?
다시점 촬영 인프라, 원본을 선별·가공하는 큐레이션 도구, 3DGS·SMPL 같은 에셋화 기술, 시뮬레이터 기반 합성 파이프라인이 필요합니다. 슈퍼브에이아이는 이 공정 전체를 국책 과제에서 수행했습니다.

Q. 데이터셋 품질은 어떻게 검증하나요?
정확도, IoU 같은 정량 기준을 정하고 제3자 기관의 검수를 받는 것이 가장 확실합니다. 슈퍼브에이아이의 2차 과제 산출물은 TTA의 최종 검수를 통과했습니다.

💬 피지컬 AI 데이터 구축을 검토하고 계신가요? 아래에 대상 환경과 필요한 데이터 유형을 남겨 주세요. 과제 검토부터 시작합니다.

슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다.