[헬스케어] 라벨링 시간을 2주에서 2일로 단축한 FitAtom

문제

Fitatom은 자사의 알고리즘을 만들기 위해 다양한 생체 정보 데이터셋을 대량으로 라벨링해야 했습니다. HITL(human-in-the-loop) 서비스와 인하우스 라벨링 툴을 도입했지만 데이터 및 프로젝트 관리가 효과적이지 않아 산출량이 너무 적고 비용이 너무 많이 드는 것이 문제였습니다.

해결

슈퍼브에이아이의 이미지 키포인트 어노테이션 툴과 매뉴얼 리뷰 프로세스, 고성능 데이터 및 유저 관리 시스템을 결합해 시너지를 냈습니다.

결과

• 라벨링 시간 및 모델 학습 시간 86% 감소
• 주별 라벨링 산출량 및 최대 처리 가능 수량 3배 증가
• 키포인트 모델 정확도 10% 상승

2020년 설립된 FitAtom은 시장에 예방이 가능한 부상을 미연에 방지하고 환자들의 재활을 돕기 위한 컴퓨터 비전이 부재하다는 문제 의식에서 출발했습니다. 실시간 모션 트래킹, 광범위한 운동 관련 라이브러리, 바이오마커나 센서 없이도 신체에서 30개 이상의 키포인트를 트래킹 할 수 있는 역량을 자랑하는 FitAtom의 인공지능은 대상의 자세를 분석하고 생체 역학적인 인사이트를 제공해 클라이언트의 퍼포먼스를 더 깊이 이해할 수 있도록 도와줍니다.

그런 FitAtom에서도 Superb AI와 만나기 전까지 여러 어려움을 겪었는데요. 사람이 직접 라벨링하는 매뉴얼 라벨링은 시간이 너무 오래 걸리는데다 데이터를 관리하는 데도 여러 차질을 겪다 보니 모델을 더 확장하기가 쉽지 않았다는 겁니다. 돌파구를 찾기 위해 아웃소싱도 해 보고, 자동화 기술과 사람의 노동력을 병행해 사용하는 HITL(human-in-the-loop) 워크플로우를 도입해 보기도 했지만 모두 기대에 미치지 못했습니다. 게다가 시중에 판매하거나 오픈소스로 제공되는 툴들은 FitAtom에서 필요한 키포인트 어노테이션 역량이 부족했죠. Django 프레임워크로 인하우스 라벨링 툴을 개발해 보려고 했지만 이마저 여의치 않았습니다. 여러 어려움이 겹치다 보니 개발 과정이 2~3주 정도의 시간이 지연되었고, 시장에 자사의 프로덕트를 선보이는 시간은 점점 늦어져만 갔습니다.

그래서 FitAtom은 이런 문제를 해결하기 위한 방법으로 Superb AI의 플랫폼과 이미지 어노테이션 툴을 선택했습니다. 덕분에 정확한 키포인트 어노테이션을 위한 통합형 인터페이스, 포괄적인 데이터 애셋 관리, 효율적인 라벨링 프로젝트 관리의 혜택을 누릴 수 있었죠. 플랫폼에 HITL 서비스를 녹이고 기존의 워크플로우와 병합하니 라벨링과 이터레이션을 훨씬 빠르게 진행할 수 있었고, 결과적으로 기존의 모델 성능을 향상시키거나 새로운 모델을 학습시키는 데 필요한 시간이 압도적으로 줄어들었습니다.

또 플랫폼에서 제공되는 여러 지표와 인하우스 지표를 복합적으로 활용해 다양한 이미지에 대한 모델 성능을 더 정확히 파악하게 되면서 데이터 수집 프로세스까지 재정비할 수 있었습니다. 이후 이 데이터를 활용해 새로운 정답 데이터셋을 구축해 모델 성능 추가 개선을 위한 훈련용 데이터셋으로 활용했습니다.

결과적으로 FitAtom은 라벨링 시간은 86% 절감하면서도 모델 성능은 10% 개선하는 놀라운 경험을 할 수 있었습니다. 덕분에 자사 제품이 시장을 만족시킬 수 있는지 고객들과 함께 평가하는 데 더 많은 리소스를 할애할 수 있었고, 스프린트 기간도 1개월에서 2주로 단축할 수 있었습니다. 원래 2~3주 정도 소요되던 키포인트 기반 모델 검증 기간이 2~3일로 엄청나게 단축되었으니까요. 또 어노테이션과 데이터를 더 효과적으로 관리하게 되면서 엄청난 비용과 시간을 아낄 수 있었고, 그렇게 아낀 자원은 회사의 모바일 앱과 다른 혁신적인 기능을 개발하는 데 투자하면서 선순환을 만들어 냈습니다.

“제가 느낀 바로는 사람을 대상으로 키포인트 어노테이션을 할 때 사용할 수 있는 툴 중 최고입니다. 플랫폼과 라벨링 UI도 세련되었고요. 그리고 데이터 관리 및 검수 기능까지 함께 사용했더니 전보다 훨씬 빠르게 어노테이션, 이터레이션 할 수 있었어요.

요약하자면, 저는 어떤 ML팀이든 회사든 두 말 할 것도 없이 무조건 슈퍼브에이아이를 써 보시라고 권장하고 싶습니다.”

Arun Reddy Nelakurthi
Co-Founder at FitAtom