[웨비나] 컴퓨터 비전에서 데이터 큐레이션을 위한 임베딩 활용 웨비나 실시간 Q&A

지난 6월 열린 웨비나였던 "컴퓨터 비전에서 데이터 큐레이션을 위한 임베딩 활용" 이후, 참가자들이 던진 몇 가지 흥미로운 질문을 여러분에게 공유합니다.

놓치셨거나 다시 시청하고 싶으시다면 여기에서 전체 웨비나를 지금 바로 시청하세요.

Q: (분산형 차트에 대해) 전부 사용하면 너무 조밀해지기 때문에 TSNE 시각화에서 샘플링을 하는 것 같은데, 샘플링하는 것이 맞다면 특정 샘플링 전략을 사용하나요, 아니면 무작위 샘플링인가요?

A (현수님): 임베딩 벡터의 차원을 2D로 줄이기 위해 UMAP을 사용합니다. 데이터를 샘플링할 때는 임베딩 공간의 공간 정보를 활용합니다. 기본적으로 임베딩 공간에 타일로 XY 좌표를 그리고 각 타일에서 균등하게 샘플링하여 2D 투영이 데이터의 실제 표현과 일치하는지 확인합니다.

Q: (분산형 차트에 대해) 다중 차원을 2개가 아닌 3개로 줄이면 더 세분화된 정보를 얻을 수 있나요? 이에 대해 어떻게 생각하시나요?

A: 임베딩 공간의 실제 치수는 최대 1024이므로 2D 또는 3D로 축소해도 데이터가 얼마나 잘 클러스터링 되는지에 대한 '기술적' 차이는 크지 않습니다. 다만, 1024 차원을 2D 또는 3D로 압축하는 과정에서 많은 디테일과 뉘앙스가 압축되어 손실될 수 있습니다.

Q: 기반 모델은 무엇인가요? 제품에서 변경할 수 있는 옵션이 있나요?

A: 임베딩/큐레이션 모델은 CLIP, DINO, BEiT의 조합을 기반으로 합니다. 이 세 가지가 상호 작용하는 방식은 저희 기술의 일부입니다. 현재로서는 모델이 정적이며 모든 임베딩 생성에 세 가지 모델이 모두 사용됩니다. 향후에는 DINO v2나 SAM 같은 임베딩 모델을 업그레이드하거나 추가하고 사용자가 직접 임베딩 모델을 가져오거나 업로드할 수 있도록 할 계획입니다.

Q: 잘못 라벨링된 데이터를 찾아내는 데 어떤 머신러닝 알고리즘이 사용되나요?

A: 상당히 가벼운 임베딩 분석 알고리즘입니다. 자세한 내용은 내부 기술의 일부입니다.

Q: 이미지 오브젝트 로컬라이제이션과 이미지 라벨을 찾기 위해 어떤 모델을 사용하나요?

A: 이미지 라벨은 슈퍼브에이아이 스위트(Superb AI Suite) 라벨 모듈에서 생성된 다음 다시 큐레이트에 통합됩니다. 그런 다음 각 어노테이션에 대해 객체 수준에서 임베딩이 생성됩니다. 그런 다음 이미지 수준 큐레이션과 유사한 알고리즘(CLIP, DINO, BEiT)을 사용하여 분석합니다.

Q: 엣지 케이스 감지에 대해 좀 더 자세히 설명해 주시겠어요? 어떻게 작동하나요?

A (현수님): 임베딩 값과 저희가 설계한 몇 가지 제약 조건을 사용하는 상당히 복잡한 최적화 알고리즘입니다. 자세한 내용은 내부 기술에 포함되어 있습니다.

Q: 멋진 프레젠테이션이었습니다! Encordsk LendingLens같이 비슷한 기술을 연구하는 많은 팀들이 있는 것으로 알고 있습니다. 슈퍼브에이아이의 USP에 대해 언급하고 싶은 것이 있나요?

A (민철님):

• 이미지뿐만 아니라 오브젝트에도 즉시 제공되는 고품질 임베딩 모델이라는 점입니다. 이미지 수준의 임베딩을 제공하는 경쟁사도 있지만, 일반적으로 하나의 임베딩 모델만 사용하고 오브젝트 데이터에는 제공하지 않기 때문에 품질이 우리보다 상당히 낮습니다.
• 다양한 사용자 시나리오와 필요에 따라 원클릭 데이터 큐레이션을 제공하는 독점적인 자동 큐레이션 알고리즘이라는 점
• 그리고 하나의 플랫폼에서 MLOps 주기를 완료하는 탁월한 라벨 및 모델 제품군 제공한다는 점도 있습니다. 예를 들어, 슈퍼브 큐레이트에서 큐레이션한 학습용/검증용 데이터셋으로 슈퍼브 모델에서 모델을 학습시키고, 슈퍼브 모델에서 학습된 모델의 성능을 슈퍼브 큐레이트에서 데이터 중심적인 방식으로 진단할 수 있습니다.
  

Q: (엣지 케이스 큐레이션 기능에 대해) 엣지 케이스에 집중하면 대다수의 성능이 저하되나요? 엣지 케이스 분석으로 인해 중앙 집단이 편중되는지 판단할 수 있는 엣지 케이스 포화도 측정이 있나요?

A (현수님): 그렇기 때문에 '공통 케이스' 데이터를 유지하고 엣지 케이스를 점진적으로 추가하면서 최적의 모델 성능에 도달하는 시점을 확인하는 것이 좋습니다. 얼마나 많은 엣지 케이스로 인해 대다수의 모델 성능이 저하되기 시작하는지는 각 사례에 따라 다르며, 명확한 최적 수치나 비율은 없습니다.

곧 출시될 '모델 진단' 및 '모델 모니터링' 기능은 이를 진단/모니터링하는 데 도움이 되며, 사용자가 모델을 빠르게 반복하여 다양한 학습 데이터에서 성능을 테스트할 수 있도록 지원합니다.

슈퍼브에이아이의 컴퓨터 비전 솔루션과 더 많은 흥미로운 업데이트를 기대해주세요!