모델 취약점을 한 눈에 비교·분석하고, 성능을 한 껏 업그레이드 하세요.

요약

슈퍼브 큐레이트는 데이터 가공과 모델 학습 간의 연결고리로써, 모델의 성능 향상을 위한 핵심 해결책을 데이터 기반으로 찾아내는 중추 역할을 담당하고 있습니다. 슈퍼브 큐레이트의 ‘모델 진단’은 고객과 업계 관계자, 사용자의 피드백을 기반으로 모델 성능 평가와 개선을 위해 개발되었습니다. 

사용자는 슈퍼브 큐레이트의 '모델 진단'을 통해 전체 성능에 대한 경향을 파악할 수 있습니다. 클래스별 성능을 파악하고 각 오류 유형이 어떤 경우에 발생하는지 확인할 수 있습니다. 또한 그리드 뷰 등 모델 성능 시각화를 통해 눈으로 직접 확인하거나 취약 데이터를 찾을 수 있습니다.

검증 데이터에서 사용된 정답 데이터의 라벨링이 잘못되어서 모델 예측값이 틀렸다고 평가될 수도 있습니다. 이 경우 잘못 라벨링되었던 정답 데이터를 ‘슈퍼브 라벨’로 보내  재라벨링 하거나, ‘슈퍼브 큐레이트’의  ‘자동 선별(오토 큐레이트)’ 기능을 통해 다음 모델 학습에 추가로 활용할 좋을 데이터를 선별할 수 있습니다. 또는  추가로 수집이 필요한 데이터 유형을 확인할 수 있습니다. 이후 해당 데이터를 ‘슈퍼브 모델’로 보내 모델 재학습에 활용할 수 있으며 전후 두 모델을 비교하여 개선된 성능을 비교할 수 있습니다.

들어가며 

AI 모델의 개발은 지속적인 개선과 최적화가 필요합니다. 더 나은 모델을 개발하기 위해 모델의 성능 진단은 반드시 필요한 과정입니다. 모델의 개발, 배포 및 유지보수 과정을 잇는 중요한 단계로, 모델의 성능을 진단하여 배포와 관리는 물론 향후 유지 보수 및 개선 방향성이 정해집니다. 그러나, 담당자의 주관적 견해나 직감으로 모델의 성능을 진단하면, 오히려 역효과를 불러올 수 있습니다. 담당자는 객관적인 비교 분석을 위한 적합한 도구와 기능을 도입하여 정확한 비교와 분석을 해야 합니다.

모델의 성능을 높이기 위한 주요 방법 중 하나는 그 모델의 약점을 데이터 관점에서 파악하고 개선하는 것입니다. 모델 개발을 위한 다양한 기술과 도구가 계속 나오고 있음에도 불구하고, 여전히 종종 어떤 유형의 데이터에서 모델이 잘 작동하지 않는지를 명확하게 파악하기 어려울 때가 있습니다.

이럴 경우, 사용자는 슈퍼브 큐레이트의 ‘모델 진단’ 기능으로 모델 성능을 분석할 수 있습니다. 클래스별 성능을 파악하고 각 오류 유형이 어떤 경우에 발생하는 지 확인할 수 있습니다.  또한 그리드 뷰 등 모델 성능 시각화를 통해 눈으로 직접 확인하거나 취약한 유형의 데이터를 찾을 수 있습니다. 

검증 데이터에서 사용된 정답 데이터의 라벨링이 잘못될 경우에도 모델 예측값이 틀렸다고 평가될 수 있습니다. 이 경우 잘못 라벨링되었던 정답 데이터를 ‘슈퍼브 라벨’로 보내  재라벨링 하거나, ‘슈퍼브 큐레이트’의  자동 선별(오토 큐레이트) 기능을 통해 다음 모델 학습에 추가로 활용할 좋은 데이터를 선별할 수 있습니다. 추가로 수집이 필요한 데이터 유형을 확인할 수도 있습니다. 이후 해당 데이터를 ‘슈퍼브 모델’로 보내 모델 재학습에 활용할 수 있으며 전후 두 모델을 비교하여 개선된 성능을 비교할 수 있습니다. 

이번 포스팅에서는 슈퍼브 큐레이트의’ 모델 진단’ 기능의 장점과 사용 방법, 그리고 어떻게 모델의 성능을 향상시키고 여러분에게 뛰어난 경험을 제공할 수 있는지 자세히 살펴보겠습니다.

모델 성능 진단은 무엇이며, 왜 중요한가요?

인공지능 개발에서 모델을 진단하는 것은 모델의 성능은 물론, 안정성, 효율성을 평가하고 개선하는 과정이며, AI 개발 성공을 위해 반드시 필요한 단계입니다. 모델의 개발, 배포 및 유지보수 과정을 잇는 중요한 단계로, 이 과정을 통해 배포와 관리는 물론 향후 유지 보수 및 개선 방향성을 정할 수 있습니다.

슈퍼브 큐레이트의 ‘모델 진단’이란?

큐레이트의 모델 진단은 누구나 AI를 손쉽게 도입할 수 있는 제품과 서비스를 제공하고자 하는 슈퍼브에이아이의 첫 번째 장을 완성해 주는 기능입니다. 모델 성능 분석 지표를 한눈에 확인하여 개선 사항을 확인할 수 있고, 모델 간 비교를 통해 개선 전후를 직관적으로 파악할 수 있기 때문입니다. 확인한 사항은 슈퍼브 라벨과 슈퍼브 모델 등 플랫폼 내 다른 제품으로 개선할 수 있기 때문에 효율적인 일 처리는 물론, 일관성과 신뢰성을 유지하고 히스토리 관리도 수월합니다.

사용자는 '모델 진단' 기능을 통해 아래와 같은 업무를 수행할 수 있습니다.

1. 학습한 모델의 성능을 파악하거나 진단하여 오류 유형을 파악하고 개선 방향을 계획할 수 있습니다.
2. 모델 성능 개선을 위해 추가 확보해야 하는 데이터는 어떤 유형인지, 라벨링 오류를 수정해야 하는 데이터는 무엇인지 등 인사이트를 얻을 수 있습니다.
3. 개선 전후 모델의 성능을 비교하여, 개선 전후의 모델 버전 및 히스토리를 관리할 수 있습니다.

'모델 진단'은 ML팀은 물론 AI 모델을 학습하고 개선하는 업무를 하는 모든 분들께 적합합니다. 데이터를 설계하고 수집, 가공하는 데이터 사이언티스트 또는 데이터 PM과 서비스 방향성을 파악하고 개선하는 서비스 기획자도 모델 진단 결과를 활용할 수 있습니다.

ML 지식을 보유한 직종은 물론, ML 지식이 없더라도 저희의 가이드라인을 잘 읽고 따라 하면 누구나 모델을 개선할 수 있는 인사이트를 얻고, 개선을 위한 조치를 할 수 있습니다.

ML 서비스를 성공적으로 개발하고 운영하기 위해서는 고성능 AI를 실제 서비스 환경에서 문제 없이 배포하고 지속해서 고도화하는 것입니다. 모델의 취약점을 파악하여 개선하고, 새로운 희귀 데이터 (edge case)에 대응할 수 있는 데이터 파이프라인을 구축하는 것도 반드시 필요합니다. 모델 성능 개선 프로세스는 한 번에 끝나지 않습니다. 지속적인 실험과 수정, 개선, 배포가 반복적으로 이루어져야 모델 성능이 올라간다는 것을 절대 잊지 마세요.

[ML팀 혹은 ML을 개발하고 운영하는 팀] 또는 [모델 성능을 개선하고자 하는 사용자]는 큐레이트의 '모델 진단'을 이렇게 사용할 수 있습니다:

• 사용 모델의 성능 파악
  • 모델의 각종 성능 지표 수치를 확인하여 객체 단위의 지표를 확인하고 클래스별 성능을 파악할 수 있습니다. (혼동 행렬, 클래스별 정밀도, 재현율, IoU, F1 점수, 신뢰성 등) 이후 그리드 뷰를 통해 해당 오류 유형에 상응하는 이미지 혹은 객체를 확인할 수 있습니다.
• 모델 선택 및 배포 관리
  • 모델 진단을 통해 여러 모델 중에서 가장 적합한 모델을 선택하고 모델 배포 시에 모델의 성능을 모니터링하고 개선할 수 있습니다.
• 학습 데이터의 취약점 파악 및 개선 방향 도출
  • 추가 확보해야 하는 데이터는 어떤 유형인지, 라벨링 오류를 수정해야 하는 데이터는 무엇인지 등 모델 성능 개선을 위한 인사이트를 얻을 수 있습니다.
• 데이터 개선을 통한 모델 성능 개선
  • 취약 데이터를 찾아 잘못 라벨링 된 데이터를 바르게 수정하거나, 부족한 데이터를 쿼리 (혹은 Semantic Search - 추후 기능 업데이트)로 추가 확보하여 라벨링 후 재학습할 수 있으며, 개선 전후 모델의 성능을 비교할 수 있어 모델 버전 및 히스토리를 관리할 수 있습니다.

[데이터 사이언티스트] 또는 [데이터 프로젝트 매니저]는 큐레이트의 '모델 진단'을 이렇게 사용할 수 있습니다:

서비스를 고도화하거나, 데이터를 추가 설계할 경우 모델 진단 결과에서 얻은 인사이트로 데이터 전략을 최적화할 수 있습니다. 또한 고객 피드백을 반영하고 리소스를 최적화할 때 중요한 지표로 작용할 수 있습니다. 

• 데이터 수집 및 라벨링 전략 개선
  • 모델 진단 결과는 어떤 데이터가 부족하거나 품질이 낮은지를 보여줍니다. 이 정보를 활용하여 데이터 수집 및 라벨링 전략을 개선할 수 있습니다. 데이터 PM들은 이를 토대로 데이터셋을 확장하고 정제하며, 더 나은 학습 환경을 제공할 수 있습니다.
• 서비스 안정성과 품질 관리
  • 서비스 기획자는 모델 선택을 통해 사용자 경험을 향상시키고, 데이터 PM들은 모델의 실시간 성능 추적 및 개선을 통해 서비스의 안정성과 품질을 관리할 수 있습니다.
• 학습 데이터의 취약점 파악 및 개선 방향 도출
  • 모델 진단은 어떤 데이터 유형에서 모델의 성능이 떨어지는지 나타낼 수 있습니다. 이 정보를 토대로 모델 향상을 위한 데이터 개선 전략을 수립할 수 있습니다.
• 리소스 최적화
  • 모델 진단을 통해 리소스가 낭비되는 부분을 확인할 수 있습니다. 데이터 사이언티스트와 데이터 PM들은 모델 학습 및 검증에 필요한 리소스를 최적화하여 비용을 절감하고 효율을 높일 수 있습니다.

슈퍼브 큐레이트 '모델 진단'으로 만족스럽지 않은 모델 성능의 원인을 빠르게 파악하고 개선 방안을 찾아보세요.

Step 1. 슈퍼브 플랫폼으로 학습된 모델 진단하기

만약 아직 모델을 학습하지 않았다면, 먼저 선택한 데이터셋을 활용한 모델 학습 과정이 선행되어야 합니다. 모델 학습에 사용할 데이터셋을 선택하고, 모델 진단 메뉴로 이동한 후, [Go to train model] 버튼을 클릭하여 모델 학습을 진행하세요.

Step 2. 모델 학습이 완료되었다면, 이제 모델 진단을 활성화할 수 있습니다. 

[모델 진단] 메뉴에서 해당 데이터셋으로 학습된 모델의 목록을 확인할 수 있으며, 이 중에서 선택하여 진단을 시작할 수 있습니다. 이 목록에는 동일한 데이터셋으로 학습된 모든 모델이 포함되며, 이 중에서 진단할 모델만을 선택하여 분석할 수 있습니다.

모델 진단 기능은 현재 각 데이터셋당 최대 10개의 모델까지 활성화할 수 있습니다. 진단에 사용하지 않는 모델은 목록에서 비활성화가 가능합니다. 비활성화된 모델 진단은 언제든지 다시 활성화 가능합니다.

또한 모델 진단에 사용된 데이터에 변경 사항이 생겼을 경우, [모델 진단] 업데이트 버튼을 통해 간단하게 변경 사항을 모델 진단에 적용할 수 있습니다.

Step 3. 애널리틱스 뷰 (Analytics View)에서 모델 진단 결과 확인하기

학습된 모델에 대한 진단 결과를 다양한 그래프로 확인하세요. 큐레이트에서 제공하는 그래프 종류는 아래와 같습니다.

1. 혼동 행렬 (Confusion Matrix) 그래프
2. Model Performance by Class 그래프
3. PR(Precision-Recall) Curve 그래프
4. Precision, Recall, F1 Score 그래프
5. IoU Distribution 그래프
6. Confidence Distribution 그래프

마치며

모델 성능 개선에 고민이 많은 ML 엔지니어 혹은 성능 결과로 데이터 사이언티스트가 있는 팀이든, 누구나 '모델 진단'을 사용해 엄청난 시간과 비용을 절감할 수 있습니다. 

모두가 원했던 슈퍼브 큐레이트의 '모델 진단'에 대해 더 자세히 알고 싶으신가요?

지금 바로 세일즈팀에 문의하세요. 슈퍼브 전문가들이 여러분의 니즈에 꼭 맞는 맞춤형 데모를 제공해 드립니다.