로봇은 사람의 행동을 어떻게 배우는가: 4D 행동 데이터 5,000건 구축기

"사람의 행동과 동작을 데이터화해서 로봇을 학습시켜야 한다."

요즘 로봇·피지컬 AI 관련 자리에서 가장 자주 나오는 이야기입니다. 방향에는 대부분 동의합니다. 문제는 그다음입니다. 사람의 움직임을 어떻게 로봇이 학습할 수 있는 형태로 바꿀 수 있을까요?

이 글은 독파모 2차수에서 4D 행동 자산 5,000건을 구축하며 그 질문에 답한 기록입니다.

피지컬 AI 데이터 팩토리 첫 가동: 3D 공간 50개소·행동 5,000건·객체 10,000장 | 슈퍼브에이아이

한국 가정환경 50곳이 로봇이 학습할 수 있는 3D 공간·행동·객체 자산이 되기까지. 독파모 2차수가 만든 결과물을 1월에 공개했던 계획과 나란히 놓고, 숫자와 과정 중심으로 정리했습니다.

슈퍼브 블로그 : 엔터프라이즈 비전 인텔리전스 플랫폼SUPERB AI

4D 행동 데이터란?
사람의 움직임을 시간 축까지 포함해(3D 공간+시간=4D) 기록한 데이터. 단순 관절 좌표가 아니라 체형(Shape)과 자세(Pose)가 파라미터로 분리되어 있어, 다른 체형의 디지털 휴먼이나 로봇에 동작을 이식할 수 있는 형태를 말한다.

로봇을 잡고 가르칠 것인가, 사람을 보게 할 것인가

글로벌 로봇 학습 데이터 진영에는 두 가지 방식이 있습니다. 하나는 원격조작(teleoperation)입니다. 사람이 로봇을 직접 조작한 궤적을 수집하는 방식으로, 중국 애지봇이 100만 건 이상의 궤적을 오픈소스(애지봇월드)로 공개하며 규모를 보여줬습니다. 다른 하나는 사람 행동 관찰로, 사람이 일하는 모습을 다시점으로 촬영해 움직임을 데이터화하는 방식입니다.

둘을 경쟁 관계로 보는 시각이 많지만, 실제로 파이프라인을 운영하며 내린 판단은 조금 다릅니다. 두 방식은 우열의 문제가 아니라 역할이 다릅니다.

원격조작 데이터는 액션이 로봇 좌표계에 그대로 담겨 있어 정밀 조작 학습에 바로 쓸 수 있지만, 로봇과 조작 인력과 장비가 병목이라 데이터가 선형으로밖에 늘지 않습니다.
사람 행동 데이터는 도구 사용, 전신 협응, '무엇을 어떤 의도로 하는가'라는 사전지식(prior)을 압도적인 규모와 다양성으로 담습니다.

그래서 실무에서는 두 방식을 함께 씁니다. 사람 행동 데이터가 사전학습을, 원격조작 데이터가 정밀 파인튜닝을 맡고, 그 사이를 시뮬레이션과 리타게팅이 연결합니다. 한 가지 더 있습니다. 사족보행 로봇이나 휴머노이드처럼 개발 초기에 아직 스스로 서지 못하는 기계는 원격조작 자체가 불가능하기 때문에, 이런 로봇의 초기 학습에는 사람 행동 데이터가 필수입니다.

5,000건은 어떻게 세어진 숫자인가

1차수에서 저희는 한국 가정환경의 행동을 부엌 15종, 거실 13종, 침실 12종, 그 외 공간 10종, 총 50종 시나리오로 체계화하고, 50개 장소에서 150개 동작 조합, 총 7,500건을 촬영했습니다.

슈퍼브에이아이 ‘독파모’ 1차 성과: 한국형 로봇 데이터 108만 프레임 확보

피지컬 AI 시대를 여는 핵심, ‘로봇 데이터’는 어떻게 만들어질까요? 슈퍼브에이아이가 독자 AI 파운데이션 모델 사업을 통해 구축한 108만 프레임의 한국형 주거 환경 데이터와 VLA 학습 전략, 그리고 로봇이 현실 세계를 이해하는 기술적 노하우를 공개합니다.

슈퍼브 블로그 : 엔터프라이즈 비전 인텔리전스 플랫폼SUPERB AI

2차수의 행동 자산 5,000건은 이 7,500건 가운데 품질 기준을 통과한 것을 선별한 숫자입니다. 건당 평균 길이는 30초에서 1분입니다.

영상이 행동 자산이 되기까지

1. Multi-view Video: 여러 시점에서 동시 촬영된 사람의 움직임
2. 3D Joint Estimation: 관절 위치의 3차원 추정
3. SMPL Parameter Fitting: 체형·자세 파라미터로 피팅
4. Motion Retargeting: 다른 체형의 디지털 휴먼에 동작 이식

핵심은 3단계입니다. SMPL(Skinned Multi-Person Linear Model)은 사람의 몸을 체형과 자세로 분리해 표현하므로, 결과물은 '좌표의 나열'이 아니라 체형·자세 정보가 포함된 4D 메쉬 데이터가 됩니다.

구축 과정의 시행착오: 가림, 그리고 거울

이 파이프라인이 처음부터 안정적이었던 것은 아닙니다. 초기에는 관절이 사람 몸으로 불가능한 위치로 튀거나, 앞뒤 프레임과 이어지지 않게 움직임이 끊기는 문제가 있었습니다. 오류는 주로 몸이 가구에 가려지거나 카메라 시점이 충분히 다양하지 못한 장면에서 발생했습니다. 좁은 부엌과 화장실이 가장 어려운 조건이었습니다.

해결에는 세 가지 방법을 함께 적용했습니다. 사람 자세의 사전지식(pose prior)이 학습된 최신 모델로 인체 구조상 타당한 위치를 잡고, 프레임 사이에 비현실적으로 빠른 움직임을 제한하는 시간적 평활화(temporal smoothing)를 적용하고, 그래도 신뢰도가 기준에 못 미치는 구간은 폐기한 뒤 앞뒤 프레임 보간으로 메웠습니다. 그 결과 초기 방식 대비 오류율이 크게 줄어, 7,500건 기준 98% 이상이 성공적으로 처리됐습니다.

행동 1건은 어떻게 확장되는가

체형과 자세가 분리되어 있으면 행동 1건은 1건으로 끝나지 않습니다. 현재 운용 기준으로 행동 1건 × 인체 모델 5종 × 렌더링 시점 4~10종. 여기에 배경이 되는 장소 30여 종의 조합까지 더해집니다. 더 중요한 것은 이 배수들에 상한이 없다는 점입니다. 인체 모델은 확보하는 대로 늘릴 수 있고 시점은 렌더링 설정일 뿐입니다. 원격조작 방식이 로봇의 가동 시간에 비례해 데이터를 얻는 것과 구조적으로 다른 지점입니다.

행동에 언어를 붙이다

별도 과업으로, 1차수 프레임에 상황·행동 맥락 캡션을 VLM 초안+전문가 검수(HITL)로 입력했습니다. 이 언어 레이어는 멀티모달(언어·행동) 결합의 기반입니다.

다음 편은 이 행동들의 배경이 되는 3D 공간 자산 50개소를 설명 드리겠습니다.

자주 묻는 질문 (FAQ)

Q. 원격조작 데이터와 사람 행동 데이터 중 무엇이 좋은가요?
역할이 다릅니다. 사람 행동 데이터는 규모·다양성·의도의 사전학습에, 원격조작은 로봇 좌표계 기반의 정밀 파인튜닝에 강합니다. 실무에서는 두 방식을 함께 사용합니다.

Q. 소수의 배우로 촬영했는데 체형 다양성은 어떻게 확보하나요?
촬영 단계에서 확보하는 것은 행동과 스타일의 다양성입니다. 체형은 SMPL 파라미터로 분리되어 있어 후처리에서 제약 없이 다양화됩니다. 같은 동작을 다양한 체형의 인체 모델에 이식하는 것이 리타게팅의 역할입니다.

행동 데이터 구축을 검토 중이시라면 아래 내용을 남겨주세요. 슈퍼브 전문가가 바로 연락 드리겠습니다.