VLA·RFM·WFM·VLM은 무엇이 다른가: 로봇 AI 모델 4종 비교

VLM은 텍스트를, VLA는 행동을, WFM은 다음 장면을 출력합니다. RFM은 범용성을 가리키는 범주입니다. 네 모델의 차이와 각각에 필요한 데이터를 정리했습니다.

VLA·RFM·WFM·VLM은 무엇이 다른가: 로봇 AI 모델 4종 비교

VLA·RFM·WFM·VLM은 로봇 AI에서 서로 다른 역할을 맡는 네 종류의 모델입니다. VLM은 장면을 보고 이해하는 모델, VLA는 장면과 지시를 받아 로봇의 행동을 직접 출력하는 모델, RFM은 여러 로봇과 과제에 걸쳐 사전학습한 범용 로봇 모델의 통칭, WFM은 행동의 결과로 세상이 어떻게 변할지를 영상으로 예측·생성하는 모델입니다. 네 이름이 뉴스에 섞여 나오지만 입력과 출력이 다르고 그래서 필요한 학습 데이터도 다릅니다. 이 글은 네 모델을 입력·출력·역할·학습 데이터 기준으로 비교하고 로봇 시스템에서 어떻게 조합되는지를 정리합니다. 이 글은 2026년 10월 기준으로 작성했습니다.

📌 3줄 요약
· 구분 기준은 출력입니다. VLM은 텍스트를, VLA는 행동을, WFM은 다음 장면 영상을 출력합니다. RFM은 범용성을 가리키는 범주이고 현재 RFM의 다수가 VLA 형태입니다.
· 학습 데이터도 출력을 따라갑니다. VLM은 이미지·텍스트 쌍, VLA는 관측과 행동이 함께 기록된 에피소드, WFM은 대량의 영상이 필요합니다.
· 실제 로봇 시스템은 넷을 조합해 씁니다. WFM이 데이터를 증폭하고 VLA가 행동을 내고 VLM이 계획과 검증을 맡는 구성이 일반적입니다.

네 모델은 무엇을 받아 무엇을 내는가

입력과 출력은 아래 도식이 보여 줍니다. 표는 역할, 학습 데이터, 공개 사례 세 줄로 압축했습니다.

구분VLMVLARFMWFM
역할장면 이해, 과제 계획, 결과 검증실제 조작·이동 수행여러 로봇·과제에 범용으로 적응결과 예측(계획), 학습 영상 증폭(데이터)
학습 데이터이미지·텍스트 쌍관측·행동이 기록된 에피소드여러 로봇의 에피소드를 대규모로대량의 영상, 행동 조건이 붙은 영상
공개 사례LLaVA 등 범용 VLMRT-2, OpenVLAGR00T, Gemini RoboticsCosmos
로봇 AI 모델 4종의 입력과 출력
네 모델은 입력과 출력이 다르고 그래서 필요한 학습 데이터도 다릅니다

VLM: 보고 말하는 모델

VLM은 이미지와 텍스트를 함께 학습해 장면을 설명하거나 질문에 답합니다.

로봇 시스템에서는 "식탁 위에 컵이 두 개 있고 하나는 넘어져 있다"처럼 상황을 읽고 과제를 단계로 나누고 행동 뒤에 결과가 맞는지 확인하는 역할을 맡습니다. 스스로 행동을 출력하지는 않습니다. 이 경계가 VLA와의 차이입니다. VLM만으로 로봇을 움직이려면 모션 플래너나 VLA 같은 별도의 행동 모듈이 필요합니다.

VLA: 보고 행동하는 모델

VLA는 VLM의 구조에 행동 출력을 붙인 모델입니다. 카메라 영상과 "컵을 싱크대에 넣어"라는 지시를 받아 로봇 팔의 다음 관절 목표를 직접 냅니다. 구글 딥마인드의 RT-2가 대규모 VLM을 로봇 데이터로 이어서 학습해 이 접근을 알렸고 이후 OpenVLA처럼 공개 가중치 모델이 나왔습니다.

VLA를 학습하려면 관측과 행동이 같은 시간축에 기록된 에피소드가 필요합니다. 이미지·텍스트만으로는 행동을 배울 수 없기 때문입니다. 저희가 세 갈래로 에피소드를 만드는 것도 이 데이터를 확보하기 위해서입니다.

RFM: 범용성을 가리키는 범주

RFM은 특정 구조를 가리키는 이름이 아닙니다. 여러 로봇 형태와 과제에 걸쳐 대규모로 사전학습해, 새 로봇이나 새 과제에 소량 데이터로 맞춰 쓸 수 있는 범용 모델을 통칭합니다. 언어 모델에서 파운데이션 모델이라는 말이 쓰이는 방식과 같습니다.

현재 RFM으로 불리는 모델의 다수가 VLA 형태로 만들어져 두 용어가 자주 겹칩니다. "VLA는 형태, RFM은 범용성"으로 나눠 기억하면 뉴스 문장이 정리됩니다. 관련 글: Physical Intelligence의 로봇 파운데이션 모델, Gemini Robotics 2 성공률 분석.

WFM: 다음 장면을 그리는 모델

WFM은 지금 장면과 행동(또는 텍스트 조건)을 받아 다음 순간 세상이 어떻게 보일지를 영상으로 생성합니다. 로봇이 행동하기 전에 결과를 미리 그려 보는 계획 용도와, 시뮬레이터 렌더링을 날씨·조명·질감이 다른 변형으로 증폭하는 데이터 용도로 쓰입니다. NVIDIA Cosmos가 이 범주의 대표 사례입니다.

WFM은 행동을 직접 내지 않습니다. 행동의 결과를 예측하는 모델이라는 점에서 VLA와 짝을 이룹니다. 관련 글: 엔비디아 코스모스 분석.

WFM이 있으면 실물 데이터가 필요 없나

그렇지 않습니다. WFM은 있는 영상을 변형해 물량을 늘리는 데 강하지만 현장의 실제 분포는 실물 데이터가 잡아 줍니다. 실데이터가 현실감을, 생성 데이터가 물량을 맡는 분담이 실무 원칙입니다. 이 분담의 구체적인 공정은 합성 데이터 파이프라인 가이드에 정리했습니다.

실제 시스템에서는 어떻게 조합되나

네 모델은 한 시스템 안에서 층으로 놓입니다. 한 로봇 시스템을 위에서부터 보면 이렇습니다.

  1. 데이터 층. 실물 수집과 시뮬레이션으로 에피소드를 만들고 WFM으로 영상 변형을 증폭합니다.
  2. 계획 층. VLM이 장면을 읽고 과제를 단계로 나눕니다.
  3. 행동 층. VLA(대개 RFM을 특정 로봇에 맞춘 것)가 각 단계의 행동을 출력합니다.
  4. 검증 층. WFM이 행동 결과를 예측해 위험한 행동을 걸러내고 VLM이 실행 뒤 결과를 확인합니다.

어느 층을 자체 개발하고 어느 층을 공개 모델로 가져올지가 로봇 기업의 전략 선택입니다. 사전학습된 RFM과 WFM은 공개 모델이 빠르게 늘고 있어, 차별화는 자기 현장의 에피소드를 얼마나 많이, 어떤 품질로 확보하는가로 옮겨 가고 있습니다.

모델 종류가 데이터 사양을 정한다

어떤 모델을 학습시키느냐에 따라 데이터 발주 사양이 달라집니다. VLA를 맞추려면 카메라 영상만으로는 부족하고 관절 상태와 행동 명령, 언어 지시가 같은 시간축에 정렬된 에피소드가 필요합니다. WFM 미세조정에는 행동 조건이 붙은 영상이 필요합니다. VLM만 쓸 계획이라면 이미지와 텍스트 라벨로 충분합니다. 그래서 견적을 요청하기 전에 어느 층을 학습시킬지를 먼저 정해야 합니다. 항목별 사양은 피지컬 AI 데이터셋 구축 가이드와 로봇 학습 데이터 조달 가이드에 정리했습니다.

우리 로봇에 맞는 VLA에는 데이터가 얼마나 필요한가

공개 RFM을 미세조정하는 방식이면 처음부터 학습할 때보다 훨씬 적은 에피소드로 시작할 수 있습니다. 필요한 양은 과제 수, 환경 다양성, 목표 성공률에 따라 달라집니다. 소량으로 시작해 성공률을 보며 늘리는 방식이 현실적이고, 성공률을 읽는 방법은 로봇 AI 평가 글에서 다뤘습니다.


슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다. 피지컬 AI(Physical AI) 데이터 팩토리에서 3D 공간·행동·객체 자산을 구축하고 시뮬레이션과 실물 수집으로 로봇 학습 데이터를 만듭니다.

함께 보면 좋은 콘텐츠

💬 어느 모델 층을 학습시킬지 정하는 단계이신가요? 아래에 로봇 종류와 과제를 남겨주시면 영업 전화가 아니라 데이터 사양 검토부터 시작합니다.