크라우드소싱 데이터 라벨러 관리의 모든 것

들어가며

관리자의 입장에서 인공지능 학습용 데이터셋 구축 프로젝트를 진행하다보면, 데이터 품질 관리·프로젝트 생산성 관리 측면에서 다뤄야 할 이슈가 매우 많습니다. 그 중에서도 많은 기업과 PM들이 가장 어렵다고 꼽는 이슈를 고르라면, 인력 수급과 일하는 인력의 생산성 관리 이슈일 것입니다.

슈퍼브에이아이와 데이터연구소는 여러 건의 데이터 라벨링 프로젝트를 함께 진행하며 수백명의 데이터 라벨링 인력을 고용하고 있습니다. 특히 코로나 바이러스로 인한 재택근무 제도의 확산 이후에는, 크라우드소싱 채용 형태로 일부 전환하여 원격으로 라벨러를 관리하고 있습니다.

비대면 인력 운용의 어려움

비대면 상황에서 라벨러를 관리하고, 엔지니어·PM 등 다양한 이해관계자 간의 협업을 원활히 유지하기 위해서는 대면 상황에서보다 더 많은 포인트들을 신경써야 합니다. 직접 라벨링 가이드를 안내할 수 없는 만큼 비대면 교육에 심혈을 기울여야 하고, PM 입장에서는 라벨러가 눈에 보이지 않으니 성과가 좋은 라벨러와 그렇지 못한 라벨러를 한눈에 파악하기도 쉽지 않아 따로 시스템을 구축해야 합니다. 슈퍼브에이아이와 데이터연구소는 AI 학습용 데이터 구축 플랫폼인 ‘Superb AI Suite’의 협업 기능을 바탕으로, 원격근무 라벨러의 관리에 대한 노하우를 체득하고, 발전시켜 나가는 중입니다.

• 역할별 접근권한 설정

대규모 데이터셋 구축에는 엔지니어, PM 등 다양한 관리자가 관여하며, 많은 라벨링 인력이 투입됩니다. 때문에 이해관계자의 역할을 나누고, 각 역할에 맞는 기능을 사용하게끔 안내하면 프로젝트 진행의 혼란을 막고 각 워커가 자신의 업무에 집중할 수 있습니다.

Superb AI Suite에서는 역할 별(Owner, Admin, Manager, Labeler)로 접근권한을 설정할 수있습니다.

• 대규모 데이터셋 작업 분배

Assign 기능을 사용하면 대규모의 데이터셋을 크라우드 라벨러에게 일괄 배정하거나, 특정 라벨러에게 할당하는 등 담당자를 지정할 수 있습니다.

각 데이터마다 작업자를 지정할 수 있습니다.

• 실시간 작업자 생산성 관리

‘User Report’를 통해 라벨러들의 실시간 작업 현황을 확인하여 생산성을 관리하고, 이를 바탕으로 추후 작업 성과 검토 및 정산 시에도 활용할 수 있습니다.

실시간으로 작업자들의 작업량을 상세히 확인할 수 있습니다.

‍

크라우드소싱 인력 관리, 헤매지 마세요

크라우드소싱 형태의 데이터 라벨러 고용을 고민중이지만 방법론 단계에서 헤매고 계시다면, 슈퍼브에이아이와 데이터연구소가 제작한 본 매뉴얼을 참고하세요. 양사의 시행착오적 경험을 토대로, 대규모 AI 학습용 데이터셋 구축 시 진행하는 ‘크라우드소싱’ 관련 원활한 인력 운용에 대한 팁과 체계적인 노하우를 나눕니다.

대규모 AI 학습용 데이터 구축을 위한 크라우드소싱 인력관리 매뉴얼 자료 다운로드하기 →

‍