[성공 사례] "영상은 쌓이는데 학습 데이터가 없다", 행동 분석 AI 기업의 키포인트 라벨링 워크플로
관절 하나하나를 찍는 키포인트 라벨링과 기준 변경 재작업을, 플랫폼과 라벨링 서비스가 분담하는 워크플로로 바꾼 행동 분석 AI 기업의 사례입니다.
인류가 생성하는 데이터의 80% 이상은 이미지와 영상 같은 시각 데이터입니다. 그런데 그중 비즈니스 가치로 전환되는 비율은 1% 미만에 머무릅니다. 이 격차는 영상 데이터를 다루는 AI 개발 현장에서 특히 두드러집니다.
영상은 저장 용량으로는 순식간에 불어나지만, 학습 데이터로는 좀처럼 늘어나지 않습니다. 초당 30프레임으로 촬영한 1분짜리 영상은 1,800장의 이미지가 되지만, 그 대부분은 바로 앞뒤 프레임과 거의 같은 장면입니다. 그래서 영상 기반 AI를 개발하는 팀은 영상에서 학습에 필요한 프레임을 골라 추출하는 일부터 시작합니다.
영상 기반 행동 분석 AI 기업 V사는 그 단계까지는 자체 체계를 갖추고 있었습니다. V사는 연구·실험 현장에서 촬영된 영상을 분석해 대상의 움직임과 행동을 자동으로 판별하는 AI를 개발합니다. 사람이 영상을 돌려 보며 기록하던 관찰 작업을 AI가 대신하도록 만드는 일입니다. 마커 없이 영상만으로 대상의 움직임과 자세를 추정하는 이 계열의 기술 수요는 빠르게 늘고 있습니다. 그랜드뷰리서치는 글로벌 마커리스 모션 캡처 시장이 2023년 6,240만 달러에서 2030년 2억 790만 달러로 연평균 17.1% 성장할 것으로 전망합니다.
V사는 학습에 쓸 프레임을 자체 모델 기반 로직으로 영상에서 추출합니다. V사의 과제는 그다음에 있었습니다. 추출된 프레임을 학습 데이터로 바꾸는 라벨링을, 소수 연구 인력으로 감당할 수 있는 운영으로 만드는 일입니다. V사는 이를 위해 슈퍼브 플랫폼과 데이터 라벨링 서비스를 도입했습니다.
추출한 프레임이 학습 데이터가 되기까지가 문제였다
V사가 다루는 데이터는 고정된 카메라로 촬영한 관찰 영상에서 추출한 프레임입니다. 학습 대상을 고르는 일은 자체 체계로 풀었지만, 그 프레임을 학습 데이터로 바꾸는 과정에는 다른 종류의 부담이 있었습니다.
키포인트 라벨링은 박스보다 손이 많이 간다
행동을 판별하려면 대상이 어디에 있는지만으로는 부족하고, 어떤 자세를 취하고 있는지를 알아야 합니다. V사가 바운딩 박스와 함께 다관절 스켈레톤 키포인트를 라벨링한 이유입니다. 키포인트 어노테이션은 관절 하나하나를 찍어야 하는 데다, 대상이 몸을 말거나 가려지는 순간에는 보이지 않는 관절의 위치를 판단해야 합니다. 한 장에 들어가는 작업 시간이 박스 라벨링과 비교가 되지 않습니다.
가이드라인이 바뀌면 지나간 데이터도 다시 봐야 했다
모델 개발이 진행되면서 라벨링 기준 자체가 바뀌었습니다. 관절이 가려졌을 때 어떻게 표기할지, 어떤 프레임을 학습 대상에서 제외할지 같은 규칙이 실험 결과에 따라 조정됐습니다. 기준이 바뀌면 이미 작업해 둔 데이터도 새 기준으로 맞춰야 합니다. 라벨링을 다시 하는 동안 모델 실험은 멈춥니다.
라벨링 물량이 연구 인력의 시간을 잠식했다
프레임을 추출하는 체계가 돌아갈수록 라벨링을 기다리는 데이터는 계속 쌓입니다. 손이 많이 가는 키포인트 작업과 기준 변경 재작업이 겹치면, 모델을 개발해야 할 소수의 연구 인력이 데이터 작업에 묶이게 됩니다. 라벨링의 품질 검수까지 같은 인력의 몫이었습니다.
라벨링 체계는 플랫폼으로, 물량은 라벨링 서비스로
슈퍼브 플랫폼은 데이터 수집부터 라벨링, 학습, 평가까지 AI 모델 개발 전 과정을 하나의 파이프라인으로 연결하는 비전 인텔리전스 플랫폼입니다. V사가 자체 로직으로 추출한 프레임이 플랫폼에 업로드되면, 그 뒤의 라벨링과 품질 관리를 플랫폼과 라벨링 서비스가 이어받는 구조입니다.
1. 키포인트와 바운딩 박스를 한 프로젝트에서 다뤘다
객체 검출용 바운딩 박스와 포즈 추정용 키포인트를 하나의 프로젝트 안에서 함께 작업했습니다. 관절 구성과 연결 구조를 스켈레톤으로 정의해 두고, 관절의 가시성 상태까지 속성으로 기록하는 체계입니다. 라벨링 기준이 작업자의 감이 아니라 프로젝트 설정으로 남기 때문에, 누가 작업해도 같은 기준으로 라벨링됩니다. 두 모델의 학습 데이터가 같은 이미지 위에서 함께 만들어지므로, 데이터셋을 따로 관리할 필요도 없었습니다.
2. 대량 작업은 라벨링 서비스로 넘겼다
가이드라인 변경에 따른 기존 데이터 재작업과 신규 데이터 라벨링처럼 물량이 큰 작업은 슈퍼브 데이터 라벨링 서비스로 진행했습니다. V사가 정의한 라벨링 가이드라인을 기준으로 전담 작업자가 라벨링과 검수를 수행하고, V사는 결과물을 확인하는 구조입니다. 연구 인력이 데이터 작업에 묶이지 않고 모델 개발에 시간을 쓸 수 있게 만드는 것이 목적이었습니다.
데이터셋을 만드는 일이 연구의 발목을 잡지 않도록
이 사례의 변화는 라벨링 속도 자체보다, 데이터셋을 만드는 일이 팀 안에서 차지하는 자리에서 나타났습니다.
- 키포인트 라벨링이 개인의 숙련에서 체계로 옮겨 갔습니다: 스켈레톤 구성과 가시성 기준이 프로젝트에 정의되어 있어, 작업자가 바뀌어도 데이터셋의 일관성이 유지됩니다.
- 기준 변경을 흡수할 수 있게 됐습니다: 라벨링 가이드라인이 바뀌어도 재작업을 외부 리소스로 소화하면서, 모델 개발 일정과 데이터 정비 일정이 서로를 밀어내지 않게 됐습니다.
- 소수 인력이 연구에 집중할 수 있게 됐습니다: 데이터 작업의 상당 부분을 플랫폼과 라벨링 서비스가 나눠 맡으면서, 연구 인력의 시간이 모델 실험 쪽으로 옮겨 갔습니다.
V사는 이 워크플로를 여러 해에 걸쳐 이어 오며, 모델을 개선할 때마다 데이터셋을 함께 늘려 가고 있습니다.
키포인트 데이터셋은 라벨링 운영이 만듭니다
포즈 추정처럼 관절 단위의 정밀도가 성능을 좌우하는 과제에서는, 라벨링 기준의 일관성과 재작업을 감당하는 운영 체계가 곧 데이터셋의 품질을 결정합니다. V사의 사례는 프레임 추출까지 자체 체계를 갖춘 팀이라도 라벨링 운영에서 어디에 부딪히는지, 그리고 라벨링 체계와 물량 분담을 플랫폼과 라벨링 서비스로 풀었을 때 무엇이 달라지는지를 보여 줍니다.
1.3억 장 이상의 산업용 시각 데이터를 보유한 슈퍼브에이아이는 데이터 라벨링부터 모델 개발과 운영까지, 시각 데이터를 인텔리전스로 바꾸는 전 과정을 함께합니다.
자주 묻는 질문 (FAQ)
영상 데이터도 라벨링할 수 있나요?
가능합니다. 영상을 프레임 단위 이미지로 분할해 업로드한 뒤 라벨링하는 방식이 일반적입니다. 이번 사례에서는 고객사가 자체 로직으로 추출한 프레임을 플랫폼에 업로드해 라벨링을 진행했습니다.
키포인트나 포즈 추정용 어노테이션도 지원하나요?
지원합니다. 키포인트 템플릿을 원하는 구조로 커스텀할 수 있습니다. 포인트 구성과 포인트 간 연결 구조를 스켈레톤으로 정의하고, 포인트별로 보이는지 가려졌는지 같은 가시성 속성도 선택해 기록할 수 있습니다. 바운딩 박스 등 다른 어노테이션 타입과 한 프로젝트에서 함께 사용할 수 있습니다.
라벨링 가이드라인이 중간에 바뀌면 어떻게 하나요?
기존 데이터에 새 기준을 반영하는 재작업이 필요합니다. 이번 사례에서는 이미 작업해 둔 데이터의 기준 변경분과 신규 라벨링을 슈퍼브 데이터 라벨링 서비스로 함께 진행해, 고객사 연구 인력이 재작업에 투입되지 않도록 했습니다.
라벨링을 맡길 때 데이터 보안은 어떻게 관리되나요?
데이터는 합의된 사업 목적 범위에서만 사용되며, 작업자에게는 프로젝트 단위로 접근 권한이 부여됩니다. 웹 기반 플랫폼에도 2단계 인증(2FA)과 IP 화이트리스트 같은 접근 통제를 적용할 수 있고, 고객사 보안 요건에 따라 온프레미스를 포함한 폐쇄 환경 운영도 지원합니다.
함께 보면 좋은 성공 사례
