[애그테크] 슈퍼브 플랫폼과 함께 모델 성능을 크게 개선한 Rowbot

문제

Rowbot은 인하우스 라벨링을 통해 옥수수 세그멘테이션 및 색상 분류를 위한 데이터셋을 구축했는데, 그 과정에서 ML팀의 시간과 자원을 너무 많이 소모하게 되어 고민이라고 전했습니다. 사내 작업 인력을 늘리지는 않으면서도 라벨링 산출물의 양과 질을 개선할 수 있는 방법이 필요했습니다.

해결책

슈퍼브에이아이의 고객 맞춤형 데이터 서비스 및 라벨링 툴을 활용해 어노테이션 된 데이터를 손쉽게 수령하고 검수했습니다.

결과

• 모델 성능 약 50% 개선
• 라벨링 및 QA 작업 당 소요 시간(time-per-task) 65% 이상 감소
• 라벨링 스펙 및 기한을 위반한 라벨 0%
• 2,400장의 이미지에 대한 라벨링 정확도 약 98% 달성

작물 관리를 위한 자율 로봇 솔루션을 개발하는 Rowbot은 자사의 옥수수 세그멘테이션 및 색상 분류 모델을 개선하기 위해 슈퍼브에이아이와 힘을 합쳤습니다. Rowbot의 모델들이 효과적으로 작동하기 위해서는 정확하게 라벨링 된 데이터가 엄청나게 많이 필요했고, 다양한 현실 상황에서 취득한 데이터로 주기적으로 업데이트해 주어야 했습니다. 그래서 데이터셋도 다양한 옥수수 종류 뿐 아니라, 작물의 성숙도나 수확 시기를 가늠할 수 있게 해 주는 다양한 색상이 포괄적이고 고르게 담겨 있어야 했죠. 하지만 이러한 미세한 차이는 사람의 눈으로 식별하기 어려울 때도 많았습니다.

Rowbot의 ML팀은 소규모였기 때문에 매번 엄청난 양의 어노테이션 데이터를 조달하기가 쉽지 않았습니다. 도움을 받기 위해 여러 오픈소스 및 유료 라벨링 툴을 사용해 봤지만 모두 느리고, 투박하고, 포괄적인 필터링 옵션이나 라벨 내 이슈 트래킹 기능 등 핵심적인 역량이 부족했습니다. 더 많은 라벨러를 투입하는 것도 어려웠습니다. 비용도 비용이지만, 데이터 자체가 나뭇잎이나 옥수숫대와 같이 라벨링하기 어려운 요소들을 많이 품고 있어 난이도가 높았기 때문입니다. Rowbot은 모델 성능을 개선하고 가능하면 모델을 더 고도화할 수 있도록 라벨의 품질은 유지하면서도 지속적으로 대량의 라벨을 어노테이션할 수 있는 지속가능한 솔루션이 필요했습니다.

본연의 업무인 모델 훈련, 평가, 개선에 집중하면서도 고품질의 어노테이션을 취득할 방법으로 Rowbot은 슈퍼브에이아이의 데이터 서비스를 선택했습니다. 이 파트너십 덕분에 Rowbot은 라벨링 작업을 아웃소싱해 팀의 자원을 아끼면서도 복잡한 스펙에 완벽하게 맞춰진 라벨링 데이터를 시간 안에 수령할 수 있었습니다. 또 모든 작업과 정보 교환이 Superb Label이라는 하나의 데이터 관리 솔루션에서 이루어졌다는 것도 큰 장점이었죠. 슈퍼브에이아이의 데이터 서비스, Superb Service를 사용하면서 Rowbot의 모델 성능은 여섯 개의 카테고리에서 무려 50% 향상되어 현실의 농업 데이터를 보다 완벽하게 세그멘테이션하고 분류할 수 있게 되었습니다.

또 예상치 못한 긍정적인 효과도 있었다고 하는데요, Superb Service를 이용하면서 데이터 수집 및 현장 테스트 과정을 개선해야 한다는 점을 알게 되었다고 합니다. 향상된 모델 성능과 이전의 성능을 비교하던 중 모델의 한계점을 발견했고, 개선을 위해서 이와 같은 조치가 필요하다는 걸 알게 된 거죠. 덕분에 Rowbot은 자사의 모델에 대한 귀한 인사이트를 얻을 수 있었고, 이를 바탕으로 데이터 수집 과정에서의 문제점이나 다른 이슈들을 파악하고 왜 모델이 그런 성능을 낼 수 밖에 없었는지 더 정확히 평가할 수 있었습니다. 귀한 정보들이 쌓인 덕분에 Rowbot은 이제 자사 로봇의 성능을 개선하고 더 나아가 농작물의 양과 질을 향상시킬 수 있는 현명한 의사결정을 할 수 있게 되었습니다.

“저희는 원래 ML 데이터 파이프라인이 전무하던 상태였는데, 슈퍼브에이아이와 일하면서 모델 훈련과 테스트에 사용할 수 있을 정도로 알찬 파이프라인을 구축할 수 있었습니다. 또 슈퍼브에이아이에서 제공한 고품질 라벨 덕분에 다양한 환경과 시나리오에서 좋은 성능을 내는 모델을 만들 수 있었어요.”

Chris Norton
Machine Learning Lead, Rowbot

“슈퍼브에이아이가 없었다면 저희끼리 그렇게 짧은 시간 안에 그만큼의 이미지 어노테이션을 생산할 수는 없었을 겁니다. 그리고 이렇게 협업하기 수월한 팀이 있다는 것도 몰랐을 거고요.”
Chris Norton
Machine Learning Lead, Rowbot

지금 바로 슈퍼브에이아이를 체험해 보세요

무료 계정으로 라벨링을 시작하거나 데모를 요청해 슈퍼브에이아이를 어떻게 여러분의 상황에 맞게 효과적으로 사용할 수 있는지 확인하세요.

데모 요청하기