로봇 AI는 왜 ImageNet이 없을까: 정답지로 채점할 수 없는 시험

로봇 AI에는 ImageNet이나 COCO 같은 공통 시험지가 없습니다. 비전 AI는 정답이 고정된 이미지에 모델의 답을 대조해 자동으로 채점하지만 로봇 AI는 정답이 무한하고 같은 시험을 두 번 치를 수 없으며 로봇의 행동이 다음 문제를 바꾸기 때문에 정답지 대조 채점이 성립하지 않습니다. 그래서 로봇 AI는 시켜 보고 세는 방식으로 평가합니다. 이 글은 비전 AI 시험과 로봇 AI 시험이 어디서 갈라지는지, 그래서 업계가 어떤 평가 방법을 쓰는지를 시험 비유로 정리합니다. 사내 피지컬 AI(Physical AI) 세션에서 나온 "로보틱스에는 왜 비전 AI 같은 테스트셋이 없나"라는 질문에 답하며 쓴 글입니다. 이 글은 2026년 10월 기준으로 작성했습니다.

📌 3줄 요약
· 비전 AI 시험은 고정된 문제지와 정답지를 기계가 대조하는 OMR 채점입니다. 로봇 AI 시험은 정답이 무한하고 채점에 실제 시간이 걸리는 주관식이며 내 답이 다음 문제를 바꾸는 구술면접에 가깝습니다.
· 세 차이 중 결정적인 것은 세 번째입니다. 모범답안은 그 사람이 처했던 상황의 답인데 우리 로봇은 그 상황에 있지 않았으므로, 대조할 정답지 자체가 존재하지 않습니다.
· 지금까지 나온 방법 중 재현 가능한 시험지를 만드는 것은 사실상 시뮬레이션뿐입니다. 성공률 매트릭스, 실패 유형 분류, 시뮬레이션 배치 롤아웃이 그 위에서 쓰이는 평가 도구이고 sim-to-real 갭이 남은 과제입니다.

비전 AI 시험은 어떻게 생겼나

객체 탐지 모델을 평가할 때는 COCO처럼 정답 박스가 붙은 이미지 묶음을 고정해 두고 모델의 출력을 대조합니다. 분류 모델은 ImageNet의 정답 라벨과 비교합니다. 문제지는 파일이고 정답지도 파일이라 누가 언제 돌려도 같은 시험이고 채점은 기계가 순식간에 끝냅니다. 그래서 회사가 달라도 점수를 한 표에 놓고 비교할 수 있습니다. 객관식 답안지를 OMR 카드로 스캔하는 것과 같습니다.

로봇 AI 평가가 시험이라면, 이 시험과 세 가지가 다릅니다. 세 차이를 표로 먼저 보고 하나씩 풀어 갑니다.

첫 번째 차이: 정답이 무한하고 채점이 물리 시간을 따라간다

객체 탐지의 정답은 하나로 정해져 있습니다. 로봇이 컵을 옮기는 방법은 수만 가지이고 작업을 성공하는 경로의 가짓수는 사실상 무한합니다. "이것도 성공인가"를 결국 사람이 로봇의 동작을 지켜보고 판단해야 합니다. 객관식이 주관식으로 바뀐 것입니다.

여기에 채점 속도의 문제가 더해집니다. 이미지 만 장은 순식간에 넘길 수 있지만 로봇이 30초짜리 동작을 하면 그 30초를 실제로 기다려야 결과가 나옵니다. 실제 환경에서는 시간을 가속하거나 건너뛸 수 없습니다. 라이브로 진행하는 구술면접을 2배속으로 재생할 수 없는 것과 같습니다.

두 번째 차이: 같은 시험을 두 번 치를 수 없다

비전 AI는 테스트 이미지가 고정돼 있어 누가 언제 돌려도 같은 시험지입니다. 로봇의 시험지는 물건 배치, 조명, 바닥 마찰, 그리퍼 마모 상태 같은 물리 조건이라 매번 다릅니다. 어제 친 시험을 오늘 똑같이 다시 칠 수 없습니다. 학교마다 선생님이 그때그때 내는 시험이라 학교끼리 점수를 비교할 수 없는 상태입니다.

업계에 합의된 공통 벤치마크가 없는 것은 이 재현 불가 때문입니다. 시뮬레이션 안에서 정의한 벤치마크는 있습니다. 실물 로봇에서는 같은 과제를 같은 조건으로 재현할 수 없어, 회사 A의 성공률과 회사 B의 성공률을 같은 표에 놓기 어렵습니다. Gemini Robotics 2 발표를 분석한 글에서 과제마다 성공률이 크게 갈렸던 것도 이 구조에서 나옵니다.

세 번째 차이: 내 답이 다음 문제를 바꾼다

비전 AI는 문제지가 고정입니다. 로봇은 움직이면서 사물을 건드리는 순간 상황이 바뀌고 그 다음 순간에는 방금 만들어진 새 상황에서 다시 판단해야 합니다. 컵을 살짝 왼쪽으로 밀었으면 다음 문제는 "왼쪽으로 밀린 컵을 어떻게 하나"가 되고 오른쪽으로 밀었으면 또 다른 문제가 됩니다. 로봇은 매 순간 자기가 방금 만든 상황 위에서 새로운 문제를 풉니다.

같은 주관식이라도 논술보다 구술면접에 가깝습니다. 내 대답에 따라 면접관이 다음 질문을 다르게 던집니다. 바둑도 비슷합니다. 초반에 한 수가 어긋나면 그 뒤의 판은 기보에 없는, 이 세상에서 나만 처음 마주한 판이 됩니다.

이 차이가 결정적인 것은 정답지 대조 채점을 원리적으로 불가능하게 만들기 때문입니다. 잘하는 사람이 남긴 모범답안은 그 사람이 처했던 상황에서의 답입니다. 우리 로봇은 애초에 그 상황에 있지 않았으므로 대조할 정답지가 존재하지 않습니다. 앞의 두 차이는 채점을 어렵게 만들지만 세 번째 차이는 채점의 전제를 없앱니다.

그래서 로봇 AI는 어떻게 평가하나

정답지가 없으면 남는 방법은 하나입니다. 시켜 보고 셉니다. 로봇 정책에 과제를 주고 실행시킨 뒤 성공했는지를 기록하고 그 시행을 여러 번 반복해 성공률로 말합니다. 이 방식을 닫힌 루프 평가라고 부릅니다. 로봇의 행동이 다음 관측에 반영되는 상태 그대로 평가하기 때문입니다. 실무에서는 다음 세 도구를 함께 씁니다.

1. 성공률 매트릭스. 과제 종류와 환경 조건을 행과 열에 놓고 칸마다 성공률을 채웁니다. 전체 성공률 한 숫자보다 "컵은 잘 잡는데 서랍은 못 연다"가 학습 데이터를 어디에 더 넣어야 하는지를 알려 줍니다.
2. 실패 유형 분류. 실패한 시행을 파지 실패, 충돌, 시간 초과, 경로 이탈처럼 유형별로 묶습니다. 같은 실패가 반복되면 데이터 문제인지 정책 문제인지가 드러납니다.
3. 시뮬레이션 배치 롤아웃. 시뮬레이터 안에서 같은 과제를 수백 번 동시에 실행합니다. 실물에서는 30초를 기다려야 하는 채점을 시뮬레이션에서는 병렬로 돌릴 수 있습니다.

아래 영상은 시뮬레이션 환경을 바꿔 가며 에피소드를 만들고 정책을 실행해 본 저희 연구팀의 데모입니다. 같은 과제를 환경마다 시켜 보고 결과를 세는 흐름이 그대로 보입니다.

성공률 숫자는 어떻게 읽어야 하나

성공률이 높다고 바로 좋은 로봇 AI라고 말할 수는 없습니다. 어떤 과제와 어떤 조건에서 나온 숫자인지를 함께 봐야 합니다. 시행 횟수, 환경 다양성, 사람 개입 여부가 다르면 같은 숫자라도 의미가 다릅니다. 과제별·조건별 매트릭스로 보는 것이 그래서입니다.

왜 시뮬레이션이 공통 시험지의 후보인가

두 번째 차이로 돌아가면, 회사 간 비교가 안 되는 이유는 시험지를 재현할 수 없기 때문입니다. 시뮬레이션은 장면 구성과 무작위 시드를 파일로 남길 수 있어서 적어도 시험지를 다시 꺼내 볼 수 있습니다. 지금까지 나온 방법 중 재현 가능한 시험지를 만들 수 있는 것은 사실상 시뮬레이션뿐입니다. LIBERO나 BEHAVIOR 같은 시뮬레이션 벤치마크가 나온 배경입니다.

다만 두 가지를 정확히 해 둬야 합니다. 첫째, 시뮬레이터 버전과 GPU 연산의 비결정성 때문에 완전히 동일한 재현은 조건부입니다. 시험지를 파일로 남길 수 있다는 것과 답안까지 똑같이 나온다는 것은 다릅니다. 둘째, 시뮬레이션에서 받은 점수가 실물에서 그대로 나오지 않습니다. 이것이 sim-to-real 갭이고 시뮬레이션 성공률을 실물 소량 검증으로 보정하는 절차가 함께 있어야 합니다. 이 절차는 합성 데이터 파이프라인 가이드의 도입 판단 기준에서 다뤘습니다.

평가 방식이 데이터 구축에 미치는 영향

정답지 대조가 안 된다는 사실은 학습 데이터를 만드는 쪽에도 영향을 줍니다. 비전 AI에서는 라벨이 맞는지가 데이터 품질이었습니다. 로봇 AI에서는 그 에피소드가 성공한 시행인지, 실패했다면 어떤 유형의 실패인지, 사람이 개입했는지를 함께 기록해야 학습에 넣을 데이터와 뺄 데이터를 가를 수 있습니다. 실패 에피소드의 행동이 곧 학습 정답은 아니기 때문입니다. 저희가 로봇 학습 데이터를 만드는 세 갈래에서 에피소드마다 성공 여부와 조건을 함께 남기는 것도 이 때문입니다.

비전 AI 평가 방법은 로봇에 어디까지 쓰이나

인식 단계까지는 그대로 쓰입니다. 로봇이 객체를 제대로 봤는지는 비전 AI 방식으로 채점됩니다. 그 인식을 바탕으로 한 행동과 결과에는 정답지가 없으므로 시켜 보고 세는 방식이 필요합니다. 두 단계의 평가를 분리해 설계하면 어느 쪽에서 성능이 새는지가 보입니다.

슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다. 피지컬 AI 데이터 팩토리에서 3D 공간·행동·객체 자산을 구축하고 시뮬레이션과 실물 수집으로 로봇 학습 데이터를 만듭니다.

함께 보면 좋은 콘텐츠

• Gemini Robotics 2 성공률 분석: 구글 딥마인드 로봇 파운데이션 모델
• 로봇 학습 데이터 만들기: 시뮬레이션 생성·실물 수집·자율 순찰 데모 기록
• 피지컬 AI 데이터셋 구축 가이드: 공간·행동·객체·합성 4유형과 3단계 공정
• 합성 데이터 파이프라인 구축: Isaac Sim 실전 가이드

💬 로봇 학습 데이터의 평가·검수 설계를 검토하고 계신가요? 아래에 과제 유형과 로봇 종류를 남겨주시면 영업 전화가 아니라 데이터 구성 검토부터 시작합니다.