로봇에게 서랍은 '당기면 열리는 사물'이어야 한다: 지능형 객체 자산 10,000장 구축기
로봇이 서랍을 열려면 '보이는 사물'이 아니라 '움직이는 사물'의 데이터가 필요합니다. 세그멘테이션과 관절 모델링으로 객체 자산 10,000장을 구축한 과정, 그리고 품질 기준을 읽는 법을 담았습니다.
로봇이 방 안을 완벽하게 인식해도, 물건을 다루지 못하면 할 수 있는 일이 없습니다. 컵을 집고, 문을 열고, 서랍을 당기는 조작(Manipulation)이야말로 가정용 로봇의 존재 이유이고, 조작을 배우려면 '사물 단위'의 데이터가 필요합니다.
독파모 2차수에서 저희는 로봇 조작 빈도가 높은 가사 사물 10,000장을 객체 자산으로 구축했습니다. 2편에서 소개한 구조에서 3DGS 배경 위에 배치되어 실제 상호작용을 담당하는 것이 바로 이 객체들입니다.
SUPERB AI
지능형 객체(Interactive Object) 자산이란?
사물을 픽셀 단위로 분리(인스턴스 세그멘테이션)하는 데서 그치지 않고, 문·서랍처럼 움직이는 사물에 관절·기계적 속성(어느 축으로, 어느 범위까지 움직이는지)까지 부여해 시뮬레이터 안에서 실제처럼 작동하게 만든 객체 데이터.
새로 찍지 않고 1차수 자산에서 꺼냈습니다
이 과업의 출발점은 새 촬영이 아닙니다. 1차수에서 가공한 30만 프레임 안에 이미 한국 가정의 사물들이 실제 사용 맥락 그대로 담겨 있었습니다. 프레임을 균일하게 샘플링하되, 사람이 동작을 수행하는 유효 구간을 객체 검출로 걸러내 원본을 추리고, 개별 사물을 객체 단위로 추출·자산화했습니다. 한 번 잘 수집한 원료가 다음 과업의 원천이 되는 것이 데이터 팩토리의 작동 방식입니다.
SUPERB AI
사람과 AI의 분업
라벨링은 사람이 픽셀을 일일이 칠하는 방식이 아니었습니다. SAM을 비롯한 파운데이션 모델과 경계면을 다듬는 컴퓨터 비전 알고리즘이 1차 작업을 하고, VLM이 1차 검수를 수행한 뒤, 사람은 최종 검수에 집중했습니다. AI가 물량을 처리하고 사람이 최종 품질을 책임지는 구조로, 1차수부터 다듬어 온 AI 협업 라벨링 방식을 객체 자산화에도 그대로 적용했습니다.
품질 기준을 어떻게 읽어야 하나
품질 기준은 IoU(교차중첩비) 0.7 이상, 의미적 정확성 90%입니다. 두 가지를 짚어야 정확합니다. 첫째, 0.7은 달성 평균이 아니라 전 물량에 적용된 합격선입니다. 기준 미달 데이터는 검수에서 반려되어 재작업됩니다. 둘째, 이 합격선이 적용된 대상의 난이도입니다. 정면에서 찍은 단정한 사물이 아니라 실제 가정에서 사용되던 맥락 그대로의 사물에 픽셀 단위로 요구된 기준입니다. 학습 데이터의 품질은 잘 나온 샘플의 최고치가 아니라 전체 물량의 하한선이 결정하고, 저희가 관리한 것은 그 하한선입니다.
'지능형'의 의미: 관절을 단 사물 8종
가정의 사물 중 상당수는 강체가 아닙니다. 이번 차수에는 여닫이가 있는 사물 8종(캐비닛, 냉장고, 세탁기, 서랍장, 커튼, 수납장, 옷장, 싱크대장)에 관절 모델링(Articulated Modeling)을 적용해, 시뮬레이터 안에서 실제처럼 열리고 닫히게 만들었습니다. 컵이나 접시처럼 관절이 없는 사물은 강체 객체로 구축됩니다.
가장 까다로웠던 것은 의외로 커튼입니다. 천의 펄럭임을 시뮬레이터로 재현하는 것이 불가능하지는 않지만 연산 비용이 큽니다. 그래서 커튼은 '옆으로 미는' 형태로 단순화해 구현했습니다. 물리적 사실성과 시뮬레이션 비용 사이에서 균형을 잡는 이런 판단이 자산화 과정 전반에서 필요합니다.
글로벌은 지금
사물을 3D 자산으로 만드는 접근은 글로벌 최전선과 같은 방향입니다. Meta의 SAM 3D는 세그멘테이션 기반 3D 객체 자산화 연구이고, 애지봇월드 데이터셋은 3,000종 이상의 실물 객체를 포함해 공개됐습니다. 차이가 있다면 저희는 이것을 한국 가정환경이라는 특정 도메인의 물량으로, 관절 속성까지 포함해 실행했다는 점입니다.
다음 편이 시리즈의 마지막입니다. 공간·객체·행동 세 자산을 결합해 학습 데이터를 자동 생성하는 합성 데이터 파이프라인을 다룹니다.
자주 묻는 질문 (FAQ)
Q. IoU 0.7이면 높은 건가요?
숫자만 떼어 비교할 수 없습니다. 통제된 벤치마크의 쉬운 클래스라면 낮은 기준이지만, 가림이 일상인 실사용 맥락의 사물 전 물량에 적용된 합격 하한선으로는 다른 의미를 갖습니다.
Q. 라벨링을 전부 사람이 했나요?
아닙니다. SAM 등 파운데이션 모델과 CV 알고리즘이 1차 작업, VLM이 1차 검수, 사람이 최종 검수를 맡는 3단 분업입니다.
Q. 어떤 사물이 포함되나요?
로봇 조작 빈도가 높은 가사 사물 중심이며, 관절 사물 8종(캐비닛·냉장고·세탁기·서랍장·커튼·수납장·옷장·싱크대장)이 상호작용 가능한 형태로 구축됐습니다.
슈퍼브에이아이는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다.