사진이 아니라 '걸어 들어갈 수 있는 공간': 3DGS로 한국의 집 50곳을 복원하다
360° 파노라마와 로봇이 들어갈 수 있는 공간은 다릅니다. 일반 카메라로 촬영한 영상에서 한국의 집 50곳을 3DGS 공간 자산으로 복원하며 확인한 기술적 선택과 한계를 정리했습니다.
로봇에게 학습 환경을 만들어준다고 하면 많은 분들이 360° 파노라마 투어를 떠올립니다. 하지만 '보이는 공간'과 '들어갈 수 있는 공간'은 다릅니다. 파노라마는 카메라가 서 있던 자리에서만 유효합니다. 로봇 학습에 필요한 것은 시점을 자유롭게 옮기고, 이동하고, 부딪히고, 탐색할 수 있는 공간입니다.
독파모 2차수에서 저희는 한국 가정환경 50개소를 그런 공간으로 복원했습니다.
SUPERB AI
3D Gaussian Splatting(3DGS)이란?
여러 장의 사진을 이어 붙이는 방식이 아니라, 공간에 빛이 어떻게 분포하는지를 통째로 학습해 어느 시점에서든 사실적 화면을 렌더링하는 3D 복원 기법. 결과물 안에서 시점을 자유롭게 움직일 수 있어 '걸어 들어갈 수 있는' 공간이 된다.
예쁜 스캔이 아니라, 로봇이 쓸 수 있는 스캔
3DGS 데모 영상은 이미 인터넷에 많고, 정밀 장비로 촬영된 것들의 시각적 품질은 대단히 높습니다.
슈퍼브에이아이가 집중한 지점은 다릅니다. 일반 카메라로, 3D 촬영 전문가가 아닌 작업자가 찍은 영상으로부터 실제 세계의 스케일이 보존되고, 지면 방향이 캘리브레이션되고, 구조적으로 정확한 스캔을 만들어낸 것입니다. 시뮬레이터에 공간을 넣으려면 '몇 미터인지'와 '어디가 바닥인지'가 정확해야 합니다. 화면에 예쁘게 보이는 것과 로봇이 그 안에서 물리 법칙대로 움직일 수 있는 것은 전혀 다른 요구 조건이고, 저희는 후자를 기준으로 만들었습니다. 시각적 품질은 3분기에 계속 개선해 갈 부분입니다.
정밀 장비 스캔이 아니라 일반 카메라 촬영 영상으로부터 실스케일·지면 정합을 확보한 결과물
3DGS 배경과 물리 메시를 결합한 구조
여기서 정확히 해둘 것이 있습니다. 3DGS는 공간 전체를 통째로 담는 스캔 방식이라, 그 안의 객체들이 따로 구분되어 있지 않습니다. 그래서 저희 공간 자산은 두 층으로 구성됩니다. 3DGS가 사실적인 배경을 맡고, 사람이 상호작용하는 문·서랍·그릇·옷가지 같은 사물은 물리 속성을 가진 별도의 메시(mesh)로 만들어 그 위에 배치합니다. 로봇이 부딪히고 여닫는 물리 상호작용은 메시에서 일어나고, 3DGS는 그 장면을 현실처럼 보이게 만듭니다. (상호작용을 담당하는 객체 자산은 3편에서 다룹니다.)
품질 기준인 '충돌 오류 10% 이내'도 이 구조 위에서 측정됩니다. 렌더링된 사람이 벽을 뚫거나 발이 땅에 묻히는, 물리적으로 말이 안 되는 장면의 비율을 관리하는 기준입니다. 3DGS 점군 자체는 완전한 구조 정보를 주지 않기 때문에, 점군을 벽·바닥 평면으로 피팅하는 작업이 함께 들어갑니다.
가장 어려웠던 공간: 세탁실
50개소 대부분이 아파트여서, 한 장소에서 알고리즘을 최적화한 뒤에는 대체로 안정적으로 적용됐습니다. 문제는 좁은 방이었습니다. 세탁실처럼 비좁은 공간은 아무리 꼼꼼히 찍어도 카메라 위치와 각도의 다양성 자체가 확보되지 않아 정확한 복원이 어렵습니다. 이런 한계 지점은 50곳을 직접 복원하는 과정에서 확인할 수 있었습니다.
실제로 돌아가는 증거: 사무실을 통째로 복제해봤다
같은 파이프라인으로 저희 사무공간 전체를 디지털 트윈으로 복제한 데모가 있습니다.
디지털 트윈 내 사람·로봇 충돌 회피 순회 영상
가상 사무실에 사람들과 사족보행 로봇을 함께 넣고 서로 부딪히지 않고 걸어 다니게 했는데, 널리 쓰이는 Isaac Sim 5.1의 사람 간 회피가 작동하지 않는 버그를 직접 수정했고, 기본 회피 로직을 여러 명을 동시에 고려하도록 재설계했습니다. 공간을 복원하는 일과 그 공간을 학습 데이터 생산에 쓰는 일 사이에는 이런 세부 작업들이 필요합니다.
글로벌은 지금: 공간 확보 경쟁
물리 공간을 학습 인프라로 확보하려는 경쟁은 이미 국제전입니다. 독일에서는 뮌헨공대(TUM)와 NEURA Robotics가 1,700만유로를 공동 투자한 유럽 최대 피지컬 AI 훈련센터(2,300㎡)를 발표했고, 중국은 지난 한 해에만 40곳 넘는 훈련센터를 세웠습니다. 물리 시설 경쟁과 별개로, 확보된 공간을 디지털 자산으로 바꿔 무한 재사용하는 역량이 시설 투자의 효율을 결정하게 될 것입니다.
다음 편은 이 공간을 채우는 사물들, 지능형 객체 자산 10,000장입니다.
자주 묻는 질문 (FAQ)
Q. 매터포트 같은 실내 스캔 서비스와 무엇이 다른가요? 관람용 스캔은 '보는' 용도입니다. 저희 공간 자산은 실스케일과 지면 정합이 확보되고 상호작용 사물이 물리 메시로 분리되어 있어, 로봇이 그 안에서 이동·충돌·조작을 학습하는 용도입니다.
Q. 3DGS 결과물은 어떤 시뮬레이터에서 쓸 수 있나요? NVIDIA Isaac Sim 환경에서의 통합·구동을 기준으로 구축·검증했습니다.
Q. 주거 외 공간(공장·물류)도 가능한가요? 동일 파이프라인으로 가능하며, 사무공간 데모가 그 예시입니다.
슈퍼브에이아이(Superb AI)는 산업 현장의 시각 데이터를 기업이 활용할 수 있는 인텔리전스로 전환하는 비전 인텔리전스 기업입니다