AI 눈이 공장을 걷는다… 슈퍼브에이아이, 현실 공간을 보기 시작하다

이미지·영상 데이터에서 산업 특화 비전AI까지… 공간·행동 인식하며 피지컬AI로 확장

“애애앵― 애애앵―”

날카로운 화재경보가 공장 안을 훑고 지나갔다. 쉼 없이 돌아가던 컨베이어가 멈춰 서고, 작업자들은 일제히 비상구를 향했다. 누군가는 뛰고, 누군가는 뒤를 돌아본다. 마지막 작업자의 모습이 문밖으로 사라진 뒤에도 사이렌은 멈추지 않았다.

천장 아래로는 검은 연기가 번지기 시작했다. 이때 사람이 사라진 생산라인 사이에서 무언가 움직였다. 연기 사이로 네 개의 다리부터 모습을 드러냈다. 길쭉한 몸체를 낮춘 채 설비 사이를 지나던 녀석이 잠시 멈췄다. 화재로 이전에 없던 예상치 못한 장애물이 생긴 것. 앞을 막은 장애물을 피해 방향을 틀더니 다시 공장 안쪽으로 향했다. 바로 네 발 달린 4족 보행로봇, 흔히 알고 있는 ‘로봇개’였다.

로봇개가 향한 곳은 사람들이 방금 빠져나온 곳이다. 천장에 설치된 CCTV의 시야는 연기와 구조물에 가려져 아무 것도 보이지 않았다. 화재원인은 물론, 미처 피하지 못한 사람이 있는지 확인해야 한다. 로봇개는 몸통 아래 달린 라이다를 계속 360도 회전하며 주변 공간을 읽고 새로 생긴 장애물들을 피해 나아갔다.

공장 밖 관제사는 실시간으로 로봇개의 시선과 움직임을 보고 있었다. 관제사가 디지털트윈 화면에서 확인이 필요한 위치를 지정하자 로봇개는 빠르게 그곳으로 움직였고, 확보한 시야를 다시 관제 화면으로 보냈다. 아직은 조금 낯선 이 장면에는 비전AI 전문기업 슈퍼브에이아이(Superb AI, 대표 김현수)가 그리고 있는 현재와 미래가 공존하고 있었다.

지난 7월 슈퍼브에이아이의 연구공간이자 쇼룸을 찾았다. 그곳에서는 위와 같은 방식으로 4족 보행 로봇과 디지털트윈을 연계한 관계 기술 시험에 한창이었다. 로봇개는 그야말로 AI의 ‘움직이는 눈’이었다. 사람이 선뜻 들어가기 어려운 곳이라면 이 ‘움직이는 눈’의 쓰임은 더 커졌다.

고온·고압이나 방사선 환경, 가까이 접근해야 확인할 수 있는 파이프와 설비 상태 등 연구진이 그리고 있는 활용 무대는 무궁무진했다. 등에 장착된 로봇팔을 활용해 문을 열거나, 설비에 버튼을 누르는 등 제어 동작까지 연구 로드맵에 올라 있는 모습이었다. 그야말로 AI에 ‘눈’을 달았고, 이제 그 눈이 움직이기 시작했다.

AI에 ‘눈’을 달아온 슈퍼브에이아이

슈퍼브에이아이의 기술은 ‘보는 AI’에서 출발한다. 이미지와 영상 속에 무엇이 있는지 찾아내고, 이를 AI가 학습하고 해석할 수 있는 데이터로 만드는 것이 시작. 지금은 한 걸음 더 나아가 영상 속 객체가 무엇을 하고 있는지, 공간에서는 어떤 일이 벌어지고 있는지까지 인식하는 방향으로 기술 영역을 넓히고 있었다.

슈퍼브에이아이 관계자는 “처음에는 비전 데이터를 의미있는 데이터로 만드는 것에서 시작했다”며, “이제는 그 데이터를 해석하고, 결과를 바탕으로 다음에 무엇을 명령할지까지 연구하고 있다”고 설명했다. ‘데이터를 만든다’에서 ‘데이터를 이해한다’로, 다시 ‘이해한 결과를 다음 행동과 연결한다’로 이어지는 변화다.

슈퍼브에이아이는 데이터 선별과 라벨링부터 비전AI 모델 개발, 현장 적용까지 이어지는 플랫폼을 구축해왔다. 현재는 제조 품질검사와 생산라인 모니터링을 비롯해 물류·유통, 안전관제, 모빌리티 등으로 비전AI 활용 범위를 넓히고 있다.

실제 현장에서 요구하는 ‘눈’의 역할도 달라지고 있다. 기존 머신비전이 제품 하나를 보고 정상과 불량을 판단하는데 강했다면, 최근에는 영상 전체에서 무슨 일이 벌어지고 있는지를 읽어내는 것이 중요해지고 있다.

예를 들어 생산라인을 영상으로 분석해 어느 공정에서 병목이 발생하는지 파악하거나, 작업자가 SOP(Standard Operating Procedure)에 따라 정해진 순서대로 작업하고 있는지를 확인하는 식이다. 안전모 착용, 위험구역 진입, 이상행동 감지 역시 같은 흐름에 있다. ‘무엇이 보이는가’에서 ‘지금 무슨 일이 벌어지고 있는가’로 비전AI가 받는 질문이 바뀌고 있는 셈이다.

슈퍼브에이아이의 영상관제 솔루션 역시 이 변화를 겨냥하고 있었다. 산업 특화 비전 파운데이션 모델 ‘ZERO’를 기반으로 별도의 학습없이 자연어나 이미지를 이용해 새로운 탐지대상을 설정하고, VLM을 이용한 이벤트 상세 분석과 자연어 검색, 위험 상황 발생 시 알림 및 조치 가이드 등을 지원하는 방향이다. 기존 카메라와 NVR을 활용하는 구성도 제시하고 있다.

ZERO는 슈퍼브에이아이가 축적한 비전AI 기술을 보여주는 하나의 축이다. 실제 ZERO는 CVPR 2025 챌린지에서 개별객체 탐지 부문 준우승, 파운데이션 Few-Shot 탐지 부문 4위에 이어 올해 CVPR 2026에서는 퓨샷 객체 탐지 부문 한국기업 최초로 1위를 차지했다.

실제 공장에 불을 낼 수 없다… ‘없는 데이터’를 만드는 법

다만 AI의 눈을 아무리 고도화해도 반드시 마주치는 문제가 있다. 보여줄 장면 자체가 없는 경우다. 앞서 소개한 화재를 인식하는 AI를 만든다고 가정해보자. 불이 어떻게 번지는지, 사람이 어떻게 대피하는지, 연기 속에서 사람이 어떤 모습으로 보이는지 학습하려면 관련 데이터가 필요하다.

하지만 데이터를 모으겠다며 실제 공장에 불을 낼 수는 없다. 작업자가 갑자기 쓰러지거나 크게 다치는 모습도 마찬가지다. 사고가 발생해서는 안 되는 산업현장에서 역설적으로 가장 중요한 이상상황 데이터가 가장 부족하다는 뜻이다.

슈퍼브에이아이가 최근 디지털트윈과 가상데이터를 연구하는 이유가 여기에 있다. 슈퍼브에이아이는 실제 공간을 카메라로 스캔해 디지털트윈 환경으로 구축하고, 그 안에 가상의 사람을 배치해 다양한 행동 시나리오를 구현하는 연구를 소개했다. 가상의 인물에게 조건과 행동을 부여하면 공간 안을 움직이고, 이 장면을 여러 시점에서 영상으로 취득한다. 사람이 바라보는 화면, 로봇이 바라보는 화면, 위에서 내려다보는 화면 등 필요한 시점도 바꿀 수 있다.

특히 가상공간에서는 객체가 무엇인지에 대한 정보가 이미 존재하기 때문에 촬영한 뒤 사람이 일일이 다시 라벨링하는 과정을 줄일 수 있다. 실제 환경에서 생각하지 못했던 시나리오가 추가됐다고 사람과 수십 대의 카메라를 다시 동원할 필요도 없다.

슈퍼브에이아이 관계자는 “처음부터 실제 사람 데이터가 전혀 필요하지 않은 것은 아니다”라며, “어느 정도의 리얼 데이터를 확보한 뒤 이를 가상환경으로 확장하는 방식으로 연구를 진행하고 있다”고 설명했다.

슈퍼브에이아이는 이 과정이 어떻게 이뤄지는지를 영상으로 직관적으로 보여줬다. 실제 사람이 냉장고 문을 열고 물건을 꺼낸다. 다음 화면에서는 영상 속 사람의 관절 위치가 3차원 좌표로 추정된다. 다시 그 관절 정보가 가상의 인체 모델에 입혀지면서 실제 사람의 행동이 디지털 공간 속 움직임으로 바뀐다. 핵심은 단순히 ‘팔을 뻗었다’는 모양을 복사하는 것이 아니었다.

실제 로봇이 같은 행동을 현실에서 수행하려면 문을 어느 방향으로 움직여야 하는지, 물체에 어느 정도의 힘을 가해야 하는지와 같은 물리 정보가 필요하기 때문이다. 슈퍼브에이아이가 행동 데이터를 단순 영상이 아닌 피지컬AI 학습 데이터로 바라보는 이유다. 데이터를 다뤄온 슈퍼브에이아이의 기술이 피지컬AI와 맞닿기 시작하는 지점이기도 하다.

피지컬AI의 눈, 공간과 행동을 함께 읽다

피지컬AI는 사실 기존 AI와 궤를 달리한다. 예를 들어 고정된 카메라가 바라보는 환경에서는 카메라의 위치도, 배경도 크게 변하지 않는다. 하지만 카메라를 단 로봇이 현실 공간으로 나오면 상황은 완전히 달라진다. 먼저 로봇이 한발 움직일 때마다 시점이 달라진다. 앞을 사람이 가로지를 수도 있고 다른 로봇이 지나갈 수도 있다. 어제 없던 물건이 통로에 놓일 수도 있다. 더 이상 한장의 이미지만 잘 알아보면 되는 것이 아니라는 뜻이다.

자신이 어느 공간에 있는지, 주변에 무엇이 움직이고 있는지, 그것이 어떤 행동을 하고 있는지를 연속적으로 이해해야 한다. 슈퍼브에이아이는 피지컬AI 연구에서 이를 ‘공간 인식’과 ‘행동 인식’이라는 두 축으로 봤다.

슈퍼브에이아이 관계자는 “로봇들이 하나의 맵과 그 안에서 이동하는 객체 정보를 실시간으로 공유할 수 있다면 충돌을 방지하거나 동선을 최적화할 수 있다”며, “피지컬AI 측면에서는 공간을 인식하는 것과 로봇 앞의 사람 또는 다른 로봇의 행동을 인식하는 두 축으로 연구를 진행하고 있다”고 말했다.

앞서 4족 보행 로봇이 디지털트윈과 연결된 것도 같은 맥락이다. 실제 공간을 먼저 스캔해 가상의 지도를 만들고, 로봇에 달린 라이다가 실시간으로 새롭게 나타난 장애물을 읽는다. 관제사는 디지털트윈에서 로봇의 위치를 확인하고 목적지를 지정하며, 로봇이 바라보는 카메라 화면도 함께 확인한다. 향후 연구 방향은 행동까지 이어지고 있었다.

연구 현장에서는 사람의 손 움직임을 이용해 로봇팔을 제어하면서 카메라 영상과 로봇 관절 각도, 토크 등의 정보를 함께 데이터셋으로 만드는 실험도 진행하고 있었다. 특정 로봇 한 대의 구조에 종속되지 않고 다양한 로봇으로 행동 데이터를 확장하기 위한 연구다. 장기적으로는 자연어 명령을 통해 특정 물체를 찾아가 로봇팔로 집거나, 문을 열고 엘리베이터 버튼을 누르는 등의 행동도 연구 방향에 포함돼 있었다.

‘보는 AI’에서 ‘행동하는 AI’로 가는 길목

슈퍼브에이아이의 이 같은 연구개발은 결국 비전AI의 역할 변화와도 겹친다. 초기에는 AI에게 이미지를 보여주고 무엇인지 가르치는 일이 중요했다. 이후 영상 속 객체와 이상을 찾아냈고, 이제는 장면 전체의 맥락과 사람의 행동을 이해하려 한다. 여기에 로봇이 결합하면 비전AI가 바라보던 세계 자체가 움직이기 시작한다.

슈퍼브에이아이는 이 과정에서 자신들이 오랫동안 축적해 온 ‘데이터를 다루는 능력’을 강점으로 내세우고 있다. 실제 슈퍼브에이아이는 누적 고객·레퍼런스 기업만 5,300개 이상, 개발한 AI 모델은 3,000건이 넘는다. 제조·건설부터 물류, 관제, 모빌리티 등 여러 산업에서 비전데이터를 다뤄온 경험을 피지컬AI로 연결하겠다는 전략이다.

처음 공장에 울렸던 화재 사이렌은 가상의 상황이었다. 하지만 네 발 로봇이 슈퍼브에이아이 연구공간을 돌아다니는 모습은 이 회사가 향하는 다음 단계를 선명하게 보여줬다. AI에 눈을 달았고, 이제 그 눈이 공간을 보기 시작했다. 다음은 그 눈으로 본 세상을 어떻게 이해하고, 현실의 행동으로 이어갈 것인가다.