저널

피지컬 AI 용어집: 로봇 학습 데이터·시뮬레이션·3D 복원 용어 40개

VLA와 RFM은 어떻게 다르고, 에피소드는 무엇이며, 3DGS 복원은 왜 바로 시뮬레이션에 못 쓰는지. 피지컬 AI 실무에서 마주치는 용어 40개를 한 곳에 정리했습니다.

SUPERB AI

2026년 10월 15일 • 16 min read

피지컬 AI(Physical AI) 용어집은 로봇이 현실 세계를 인식하고 행동하도록 학습시키는 과정에서 쓰이는 모델·데이터·시뮬레이션·3D 복원·제어 용어를 한 곳에 모아 한 문장 정의로 설명한 참조 문서입니다. 자주 혼동되는 용어 짝 6쌍을 표로 먼저 정리하고 핵심 용어 12개는 항목으로, 나머지 28개는 카테고리별 표로 담았습니다. 각 항목은 그 용어가 실제로 쓰인 슈퍼브에이아이 블로그 글로 이어집니다. 피지컬 AI 개념 자체는 피지컬 AI란 무엇인가에서, 데이터셋의 구조는 피지컬 AI 데이터셋 구축 가이드에서 다루므로 이 글은 용어 참조에 집중합니다. 이 글은 2026년 10월 기준으로 작성했고 새 용어가 자리 잡으면 항목을 추가합니다.

📌 3줄 요약
· 혼동이 잦은 짝은 여섯입니다. VLA와 VLM, RFM과 VLA, real-to-sim과 sim-to-real, 3DGS와 sim-ready, SLAM과 로컬라이제이션, 이미지 1장과 에피소드 1건.
· 비전 AI의 기본 단위가 이미지 한 장이라면 피지컬 AI의 기본 단위는 시간축을 가진 에피소드 한 건입니다. 이 차이가 데이터 도구와 평가 방식을 다르게 만듭니다.
· 보기 좋은 3D 복원과 로봇이 만질 수 있는 sim-ready 자산은 다른 산출물입니다. 견적과 사양에서 가장 자주 혼동되는 지점입니다.

자주 헷갈리는 용어 짝 6쌍

용어집을 찾는 이유는 대개 비슷해 보이는 두 단어 사이의 경계입니다. 여섯 쌍의 차이를 한 줄로 먼저 정리합니다.

짝	차이 한 줄	기억법
VLA vs VLM	둘 다 영상과 언어를 이해하지만 VLA는 로봇의 행동을 출력하고 VLM은 텍스트를 출력합니다.	끝 글자 A는 Action
RFM vs VLA	RFM은 여러 로봇·과제에 범용으로 쓰이는 모델을 가리키는 범주이고 VLA는 구체적인 모델 형태입니다. 현재 RFM의 다수가 VLA 형태입니다.	RFM은 범주, VLA는 형태
real-to-sim vs sim-to-real	real-to-sim은 현장을 시뮬레이터로 옮기는 과정이고 sim-to-real은 시뮬레이션에서 배운 것을 현실로 가져올 때 생기는 성능 차이(갭)를 말합니다.	화살표 방향이 반대
3DGS vs sim-ready	3DGS는 보이는 층을 만드는 복원 기법이고 sim-ready는 로봇이 부딪히고 여닫을 수 있게 메시·충돌·물리·관절을 갖춘 자산 상태입니다.	보이는 것과 만져지는 것
SLAM vs 로컬라이제이션	SLAM은 지도를 만들면서 동시에 위치를 추정하고 로컬라이제이션은 이미 있는 지도 안에서 위치만 추정합니다.	지도가 있으면 로컬라이제이션
이미지 1장 vs 에피소드 1건	비전 AI 데이터의 단위는 정답 라벨이 붙은 이미지 한 장이고 피지컬 AI 데이터의 단위는 영상·관절·명령·성공 여부가 시간축에 묶인 에피소드 한 건입니다.	피지컬 AI는 시간축이 붙는다

1. 모델

VLA

Vision-Language-Action 모델
카메라 영상과 언어 지시를 입력받아 로봇의 행동(관절 목표값이나 엔드이펙터 이동)을 직접 출력하는 모델입니다. 인식만 하는 VLM과 달리 인식·이해·행동을 한 모델이 처리합니다. 구글 딥마인드의 RT-2가 이 이름을 널리 알렸고 학습에는 관측과 행동이 함께 기록된 에피소드가 필요합니다.
자세히 보기 → VLA·RFM·WFM·VLM은 무엇이 다른가

RFM

로봇 파운데이션 모델, Robot Foundation Model
여러 로봇 형태와 과제에 걸쳐 대규모로 사전학습해 특정 로봇에 소량 데이터로 맞춰 쓰는 범용 로봇 모델을 통칭합니다. 특정 구조의 이름이 아니고 범용성을 가리키는 범주이며 VLA는 그 대표적인 구현 형태입니다.
자세히 보기 → Gemini Robotics 2 성공률 분석

WFM

월드 파운데이션 모델, World Foundation Model
현재 장면과 행동을 입력받아 다음 순간의 장면을 영상으로 예측·생성하는 모델입니다. 로봇의 행동 결과를 미리 그려 보는 계획 용도와 학습용 영상을 증폭하는 데이터 생성 용도로 쓰입니다. NVIDIA Cosmos가 대표 사례입니다.
자세히 보기 → 엔비디아 코스모스 분석

VFM

비전 파운데이션 모델, Vision Foundation Model
대규모 이미지·텍스트로 사전학습해 별도 학습 없이 다양한 객체를 인식하는 시각 모델입니다. 로봇 시스템에서는 인식 단계를 맡고 행동은 다른 모듈이 담당합니다.
자세히 보기 → 비전 파운데이션 모델 가이드

그 밖의 모델 용어는 아래 표에 정리했습니다.

용어	한 문장 정의
VLM Vision-Language 모델	이미지와 텍스트를 함께 이해해 장면을 설명하거나 질문에 답하는 모델. 행동을 출력하지 않는다는 점이 VLA와의 경계이며 로봇에서는 과제 계획과 장면 이해를 맡습니다.
정책 Policy	현재 관측을 입력받아 다음 행동을 결정하는 함수 또는 모델. 강화학습과 모방학습의 결과물이 정책이고 VLA도 정책의 한 형태입니다. → Isaac Lab 로봇 강화학습 실험기
모방학습 Imitation Learning	사람이 시연한 행동 기록을 따라 하도록 정책을 학습하는 방법. 보상 함수로 시행착오를 거치는 강화학습과 대비됩니다.

2. 데이터

에피소드

Episode
로봇이 과제를 시작해서 끝낼 때까지의 한 시행을 시간축으로 묶은 데이터 단위입니다. 카메라 영상, 관절 상태, 행동 명령, 언어 지시, 성공 여부가 같은 시간축에 정렬돼 들어갑니다. 비전 AI의 이미지 한 장에 해당하는 기본 단위가 피지컬 AI에서는 에피소드 한 건입니다.
자세히 보기 → 로봇 학습 데이터를 만드는 세 갈래

텔레오퍼레이션

Teleoperation
사람이 원격 장치로 로봇을 직접 조종해 행동 데이터를 기록하는 수집 방식입니다. 로봇 관점의 관측과 행동이 그대로 남아 모방학습에 바로 쓰이고 시간당 물량이 제한된다는 점이 과제입니다.
자세히 보기 → 로봇 학습 데이터 조달 가이드

성공률

Success Rate
같은 과제를 여러 번 시켜 성공한 시행의 비율입니다. 정답지와 대조할 수 없는 로봇 AI에서 사실상 표준 평가 지표이며 과제와 조건별로 나눠 봐야 의미가 있습니다.
자세히 보기 → 로봇 AI는 왜 ImageNet이 없을까

그 밖의 데이터 용어입니다.

용어	한 문장 정의
리더-팔로워 Leader-Follower	사람이 움직이는 리더 팔의 관절을 로봇의 팔로워 팔이 그대로 따라가는 텔레오퍼레이션 장치 구조. 조작이 직관적이어서 저가형 수집 장비에 널리 쓰입니다.
사람 행동 관찰 데이터	로봇을 조종하지 않고 사람이 직접 작업하는 모습을 여러 카메라로 촬영해 3D 동작으로 복원한 뒤 로봇 행동으로 변환하는 수집 방식. → 4D 행동 데이터 5,000건 구축기
크로스 임보디먼트 Cross-Embodiment	형태가 다른 여러 로봇의 데이터를 한 모델이 함께 학습하는 접근. 공개 데이터셋 Open X-Embodiment가 확산시켰습니다.

3. 시뮬레이션과 합성 데이터

sim-ready 에셋

시뮬레이터 안에서 로봇이 이동·충돌·조작할 수 있도록 닫힌 메시, 충돌 형상, 물리 속성, 관절 정의를 갖춘 3D 자산입니다. 보기 좋은 3D 복원과는 다른 산출물이라 견적 단계에서 어느 쪽을 받는지 확인해야 합니다.
자세히 보기 → 3DGS로 한국의 집 50곳을 복원하다

sim-to-real 갭

시뮬레이션에서 학습한 모델이 실제 환경에서 성능이 떨어지는 현상, 또는 그 차이의 크기입니다. 렌더링 질감, 물리 근사, 센서 노이즈 차이가 원인이고 실데이터 검증셋으로 크기를 재며 관리합니다.
자세히 보기 → Isaac Sim 합성 데이터 파이프라인 가이드

도메인 무작위화

Domain Randomization
조명, 재질, 카메라 위치, 객체 배치 같은 조건을 무작위로 바꿔 가며 합성 데이터를 생성해 모델이 특정 조건에 과적합되지 않게 하는 기법입니다. sim-to-real 갭을 줄이는 기본 수단입니다.
자세히 보기 → 합성 데이터 파이프라인 시제 가동

그 밖의 시뮬레이션 용어입니다.

용어	한 문장 정의
real-to-sim	실제 현장을 촬영·스캔해 시뮬레이터 안의 공간과 사물로 옮기는 과정. sim-to-real의 반대 방향이며 두 방향을 잇는 루프가 합성 데이터 공정의 뼈대입니다.
합성 데이터 Synthetic Data	시뮬레이터나 생성 모델로 만든 학습 데이터. 시뮬레이터 합성은 렌더링과 함께 정답 라벨이 자동으로 나온다는 점이 가장 큰 이점입니다.
디지털 트윈 Digital Twin	실제 공간이나 설비를 가상 공간에 대응시켜 재현한 모델. 로봇 학습에 쓰려면 sim-ready 요건을 갖춰야 합니다.
롤아웃 Rollout	정책을 시뮬레이션이나 실물에서 실제로 실행해 한 에피소드를 만들어 내는 일. 평가에서는 여러 번의 롤아웃으로 성공률을 구합니다.
닫힌 루프 평가 Closed-loop Evaluation	정책의 행동이 다음 관측에 반영되는 상태로 실행하며 평가하는 방식. 기록된 관측에 행동만 대조하는 열린 루프 평가와 대비되며 로봇 AI의 실제 성능은 닫힌 루프 결과로 말합니다.

4. 3D 복원과 공간 인지

3DGS

3D Gaussian Splatting
공간의 빛 분포를 수많은 가우시안 점으로 학습해 어느 시점에서든 사실적인 화면을 실시간으로 렌더링하는 3D 복원 기법입니다. 결과물은 표면이 없는 점의 집합이라 물리 연산에는 별도 메시가 필요합니다.
자세히 보기 → 3DGS 복원기

그 밖의 3D 복원 용어입니다.

용어	한 문장 정의
NeRF Neural Radiance Fields	신경망으로 공간의 색과 밀도를 학습해 새 시점의 화면을 합성하는 기법. 3DGS 이전의 대표적인 신경 렌더링 방식입니다. → NeRF 뷰 합성
SfM Structure from Motion	여러 장의 사진에서 공통 특징점을 찾아 카메라 위치와 3D 점 구조를 동시에 복원하는 기법. 3DGS 학습의 초기값을 만드는 단계로 흔히 쓰입니다.
COLMAP	SfM과 다시점 스테레오를 구현한 공개 소프트웨어. 촬영 영상에서 카메라 포즈와 점 구름을 뽑는 표준 도구입니다. → 공식 문서
SLAM과 로컬라이제이션	SLAM은 지도를 만들면서 동시에 그 안에서 자기 위치를 추정하는 기술이고 로컬라이제이션은 이미 있는 지도 안에서 위치만 추정하는 일입니다.
비주얼 오도메트리 Visual Odometry	연속된 영상 프레임의 변화만으로 카메라가 얼마나 움직였는지를 추정하는 기술. → 에고뷰 3D 트래킹
6-DoF 6 자유도	3차원 위치(x·y·z)와 3차원 회전(롤·피치·요)을 합친 여섯 개의 자유도. 카메라 포즈, 물체 자세, 엔드이펙터 목표를 표현하는 기본 단위입니다.
에고센트릭 영상 1인칭 영상	작업자의 머리나 몸에 단 카메라로 찍은 1인칭 시점 영상. 손과 사물의 상호작용이 가까이 잡혀 조작 학습 데이터로 가치가 높고 3인칭 영상과 결합해 전신과 손을 함께 복원합니다.

5. 사람 동작과 로봇 제어

리타게팅

Retargeting
사람의 동작을 관절 구조와 신체 비율이 다른 로봇의 동작으로 변환하는 과정입니다. 팔 길이나 손 크기 차이 때문에 그대로 옮기면 닿지 않거나 뚫리는 구간이 생겨 앵커 기준과 물리 제약을 함께 다룹니다.
자세히 보기 → SMPL 기반 4D 행동 자산

그 밖의 동작·제어 용어입니다.

용어	한 문장 정의
SMPL / SMPL-X	사람의 몸 형태와 자세를 적은 수의 파라미터로 표현하는 3D 인체 모델. SMPL-X는 손가락과 표정까지 포함한 확장판이며 영상에서 사람 동작을 3D로 복원할 때 표준 표현으로 쓰입니다.
IK 역기구학, Inverse Kinematics	엔드이펙터가 도달해야 할 위치와 방향이 주어졌을 때 그 자세를 만드는 관절 각도를 역으로 구하는 계산. 관절 각도에서 위치를 구하는 정기구학의 반대입니다.
엔드이펙터 End-Effector	로봇 팔 끝에 달려 실제로 환경과 접촉하는 부위. 그리퍼, 흡착 패드, 다지 핸드가 해당하며 조작 과제의 목표는 대개 엔드이펙터의 위치와 자세로 정의됩니다.
매니퓰레이션 Manipulation	로봇이 팔과 손으로 사물을 잡고 옮기고 여닫는 조작 행동 전반. 이동과 구분되며 피지컬 AI 데이터 수요의 중심에 있습니다. → 매니퓰레이션 학습용 객체 데이터
로코모션 Locomotion	보행 로봇이 균형을 유지하며 이동하는 행동. 4족·2족 보행 정책은 주로 강화학습으로 시뮬레이션에서 먼저 학습합니다.

6. 도구와 표준

도구와 표준은 항목 대신 표로 정리했습니다. 공식 문서 링크를 함께 둡니다.

용어	한 문장 정의
Isaac Sim / Isaac Lab	NVIDIA의 로봇 시뮬레이터(Isaac Sim)와 그 위에서 대규모 병렬 강화학습·모방학습을 돌리는 프레임워크(Isaac Lab). 합성 데이터 생성과 정책 학습에 함께 쓰입니다. → 공식 페이지
USD Universal Scene Description	3D 장면의 구조·재질·물리 속성을 기술하는 공개 파일 형식. Isaac Sim의 기본 장면 형식이며 도구 사이에서 sim-ready 자산을 주고받는 표준 역할을 합니다. → openusd.org
GR00T	NVIDIA가 공개한 휴머노이드 로봇용 파운데이션 모델 계열. 공개 가중치와 학습 코드가 제공돼 소량 데이터로 특정 로봇에 맞추는 실험이 가능합니다. → 공식 페이지
LeRobot	Hugging Face가 관리하는 로봇 학습 오픈소스 라이브러리이자 데이터셋 형식. 에피소드 단위 데이터셋 포맷이 사실상 공개 표준으로 자리 잡았습니다. → 저장소 · 관련 뉴스
MCAP	로봇의 여러 센서와 상태 메시지를 시간 순서로 하나의 파일에 담는 기록 형식. ROS 2의 기본 기록 형식으로 채택돼 로봇 로그의 표준 컨테이너가 됐습니다. → 공식 문서
ROS Robot Operating System	로봇 소프트웨어 구성 요소가 메시지를 주고받는 공개 미들웨어. 센서 입력, 제어 명령, 기록이 ROS 메시지 형태로 흘러 데이터 수집 파이프라인의 기본 층이 됩니다. → 공식 사이트

슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다. 피지컬 AI 데이터 팩토리에서 3D 공간·행동·객체 자산을 구축하고 시뮬레이션과 실물 수집으로 로봇 학습 데이터를 만듭니다.

함께 보면 좋은 콘텐츠

💬 피지컬 AI 데이터 구축을 검토하고 계신가요? 아래에 로봇 종류와 과제를 남겨주시면 영업 전화가 아니라 데이터 사양 검토부터 시작합니다.