성능 지표 제대로 활용해 보기 - 모델 진단에 사용되는 지표와 활용 방안 알아보기 Part 3

관련 블로그글 확인하기

모델 성능이 왜 안 나오는 지 답답하신가요? 

모델 성능 분석 지표를 이렇게 활용해 보는 건 어떨까요?

모델 성능이 생각보다 낮을 때, 사용자는 어떤 경우의 데이터 혹은 시나리오에서 낮게 나오는지 확인해야 합니다. 슈퍼브 큐레이트를 통해 이미지 및 오브젝트 단위의 그리드 뷰를 제공하여 직관적으로 취약 데이터 유형과 경향성을 확인할 수 있습니다.

1. 혼동 행렬 (Confusion Matrix)에서 False Negative 데이터를 선택한 후 그리드 뷰에서 해당하는 오브젝트를 확인해 보세요. 각 클래스 별 성능이 낮은 유형 (False Positive, False Negative 등)을 확인하여 해당 데이터에 대한 경향성, 유형 등을 파악할 수 있습니다.
2. IoU 또는 신뢰도 점수 분포도(Confidence Distribution)을 확인하여 신뢰 점수가 낮은 영역을 선택, 그리드 뷰에서 해당하는 오브젝트를 확인하여 해당 데이터에 대한 경향성, 유형 등을 파악할 수 있습니다.

모델 취약점 파악이 끝났습니다. 이제 학습용 데이터를 보완하여 모델 성능을 올려볼까요?

1. False Positive, False Negative, 낮은 IoU 혹은 낮은 신뢰 점수를 지닌 경우, 해당 유형의 데이터를 추가로 확보하여 다시 학습해 보세요.
2. 희귀 데이터(Edge case)를 발굴하여 해당 유형의 데이터를 다시 학습해 보세요.
3. 정답 데이터 라벨링이 잘못되어 있을 수도 있습니다. 신뢰 점수 또는 IoU가 낮은 오브젝트들이 속한 이미지를 슈퍼브 큐레이트의 오라벨 감지(Mislabel Detecion) 기능을 통해 확인한 후, 슈퍼브 라벨로 정답 데이터를 올바르게 수정한 후 슈퍼브 모델로 다시 학습해 보세요.

이런 경우 어떻게 해야 할까요? 

정확도는 높지만, 정밀도가 낮은 경우

• 불균형한 클래스 분포: 데이터 집합에서 하나의 클래스가 다른 클래스에 비해 훨씬 더 많은 샘플을 가지고 있을 때, 모델은 주로 다수 클래스를 예측하여 정확도가 높게 나타날 수 있습니다. 그러나 이로 인해 소수 클래스에 대한 정밀도가 낮아질 수 있습니다. 이것은 불균형한 데이터셋에서 발생하는 문제입니다.
• 오류 비용이 다른 경우: 분류 작업에서 거짓 양성과 거짓 음성의 비용이 서로 다른 경우가 있습니다. 예를 들어, 의료 진단에서 거짓 음성을 감내할 수 없는 경우가 있습니다. 이 경우 모델은 거짓 음성을 최소화하기 위해 양성으로 예측하는 경향이 있어 정밀도가 감소할 수 있습니다.
• 클래스 분리 어려움: 모델이 클래스를 분류하는 데 어려움을 겪는 경우, 이는 모델의 정밀도를 낮출 수 있습니다. 모델이 클래스 간의 경계를 구별하기 어려우며 거짓 양성이 증가하고 정밀도가 감소합니다.
• 특징 선택 또는 엔지니어링 부재: 모델에 입력 데이터가 충분히 설명력을 가지지 않거나 중요한 특징이 부재할 때, 모델은 클래스를 분류하는 데 어려움을 겪을 수 있으며 이로 인해 정밀도가 감소합니다.
• 모델 하이퍼파라미터 조정 부재: 모델의 하이퍼파라미터가 잘 조정되지 않으면, 모델이 잘 동작하지 않을 수 있고, 이로 인해 정밀도가 낮아질 수 있습니다.
• 정확도와 정밀도 사이의 상호 절충(Trade-off)은 분류 작업에서 중요한 요소 중 하나이며, 문제의 본질과 비즈니스 요구사항에 따라 어떤 평가 지표를 강조할지 결정해야 합니다. 만약 정밀도가 중요한 경우, 모델의 성능을 향상시키기 위해 모델 훈련, 특징 엔지니어링, 하이퍼파라미터 튜닝 등을 고려해야 합니다.

보유하고 있는 데이터와 모델을 슈퍼브 플랫폼에 올리고 성능을 진단해 보세요. 더 높은 성능을 생각보다 쉽게 도출할 수 있습니다.

지금 바로 세일즈팀에 문의하세요. 슈퍼브 전문가들이 여러분의 니즈에 꼭 맞는 맞춤형 데모를 제공해 드립니다.