재질 인식 - 객체를 온전히 이해하기 위한 기술

재질 인식 - 객체를 온전히 이해하기 위한 기술

재질 인식(Material Recognition)

재질 인식 데이터 예시

재질 인식(Material Recognition)은 컴퓨터 비전 분야에서 특정 물체의 표면 속성이나 재질을 인식하는 작업을 나타냅니다. 이 분야는 물체를 단순히 분류하는 것이 아니라, 물체의 구성 요소 중 하나인 표면 속성에 중점을 둡니다. 이러한 재질 인식 기술은 로봇, 가상/확장 현실, 제조 및 로봇 시각, 자율주행, 의료 영상 처리 등 다양한 분야에서 활용될 수 있습니다.

객체 유형과 재질 유형

흔히 이미지를 분류하는 컴퓨터 비전 기술을 생각하면 객체를 분류하는 작업이 떠오릅니다. 객체 인식 작업은 주어진 이미지에서 특정 물체를 인식하고 식별하는 것이 목적이며, 주로 물체의 형태, 윤곽, 구조 등을 이용하여 물체를 식별합니다. 예를 들어 자동차, 사람, 꽃, 동물, 가구 등을 인식할 수 있습니다.

재질 인식의 경우에는 물체의 표면 속성 및 재질을 인식하고 분류하는 작업입니다. 이는 물체의 윤곽보다는 표면적인 특성에 중점을 두며 텍스처, 색상, 광택, 반사율 등을 고려하여 물체의 속성을 분류합니다. 예를 들어 나무, 금속, 유리, 천 등의 재질을 인식할 수 있습니다. 

재질 인식이 중요한 이유 - 객체를 온전히 이해하기 위해

재질 인식이라는 분야가 생소하신 분들도 많으리라 생각합니다. 일반적인 이미지 분류 작업에서 객체의 종류만 분류하면 되지 재질을 분류해야 하는 목적에 대해서도 의구심이 들기도 합니다. 하지만 재질 인식은 컴퓨터 비전 분야에서 역사가 깊은 도전적인 분야이기도 합니다. 객체의 윤곽과 같은 글로벌한 특징만으로 재질을 분류하기 어렵기 때문입니다.

그렇다면 재질 인식, 그리고 객체에서의 재질 정보는 왜 중요할까요?

바로 객체를 온전히 이해하기 위해서입니다. 객체 유형이 동일한 의자이더라도 재질은 나무, 천, 금속, 플라스틱 등 다양할 수 있습니다. 또한 실제 자동차의 경우 금속으로 이루어져 있는 반면 장난감 자동차는 나무, 플라스틱, 종이 등으로 만들어진 경우가 많습니다. 이렇듯 객체를 온전히 이해하기 위해서는 객체 유형뿐만 아니라 재질 유형을 파악하는 것이 아주 중요합니다.

이와 연결되어 이미지 검색에서도 재질 유형은 중요합니다. 우리가 원하는 정확한 정보를 찾기 위해서는 재질 정보가 필수적이기 때문입니다. 특히 패션 관련 산업에서는 옷, 가방, 액세서리 등의 재질 정보가 필요합니다. 

마지막으로 재질 유형은 로보틱스 분야에서도 활용됩니다. 로봇이 적절한 방법으로 주행하기 위해서는 노면의 상태(재질)를 파악하는 것이 필수적입니다. 또한 로봇이 물건을 잡기 위해서는 물건의 재질 정보가 필요합니다. 거친 재질인지 미끄러운 재질인지 또는 힘의 세기에 얼마나 약한지 등에 대한 정보가 필요하기 때문입니다.


텍스처 기반 재질 인식

텍스처 분석 예시 (출처 : Deep structure-revealed network for texture recognition)

재질 유형을 인식하는 대표적인 방법으로는 텍스처 기반 방법이 있습니다. 텍스처 기반 재질 인식은 물체의 재질을 판별하는 데 텍스처 정보를 활용하는 방법을 나타냅니다. 재질은 표면의 미끄러움, 광택, 균일성, 패턴, 섬세함 등과 같은 특성을 나타내는데, 이러한 특성은 주로 텍스처로 표현됩니다. 따라서, 텍스처 정보를 사용하여 물체의 재질을 식별하는 것이 텍스처 기반 재질 인식의 핵심 아이디어입니다. 물론 텍스처 정보가 재질 유형을 완전히 나타낼 수는 없지만 대부분의 경우 텍스처 정보와 재질 정보 간의 깊은 상관관계를 가집니다.

반사율 기반 재질 인식

재질과 반사율의 상관 관계 예시 (출처 : IR Surface Reflectance Estimation and Material Type Recognition using Two-stream Net and Kinect Camera)

앞서 설명한 텍스처 기반 방식만으로는 재질을 인식하는 데 한계가 있습니다. 종이, 플라스틱, 금속 등의 경우 별다른 텍스처가 없는 경우도 많으며 색상이 동일한 경우 사람이 봐도 재질은 판단하기 어려운 경우가 있기 때문입니다. 때문에 재질을 더욱 정확하게 판별하기 위해서는 반사율 기반의 방법을 사용하기도 합니다.

반사율 기반 재질 인식은 물체의 표면에서 반사되는 빛의 특성을 분석하여 재질을 식별하는 방법을 말합니다. 빛의 반사는 물체의 표면 속성에 의해 영향을 받기 때문에, 반사율 정보를 활용하여 재질을 인식하는 방법이 효과적입니다. 예를 들어 종이나 천의 경우 물체를 보는 각도에 따라 빛의 반사가 크게 달라지지 않지만, 금속이나 플라스틱의 경우 객체의 모서리 부분에서 반짝임이 발생합니다. 이러한 차이는 각 재질별로 반사율이 다르기 때문에 발생합니다.

기타

텍스처 정보와 반사율 정보를 함께 사용하여 재질을 인식하는 Texture Encoded Angular Network (TEAN) (출처 : Differential Viewpoints for Ground Terrain Material Recognition)

앞서 설명한 텍스처 및 반사율 정보를 함께 사용하여 재질을 판별하는 방법도 존재합니다. 물론 이러한 방법은 모두 각 특징을 적절히 추출하기 위해 딥러닝 네트워크를 사용합니다.

추가적으로 재질에 열을 가한 후 열이 식는 시간을 측정하거나 물체를 타격한 소리를 기반으로 재질을 분류하는 방법도 있습니다.


오늘은 재질 인식에 대해 살펴봤습니다. 비교적 비주류 연구 분야이긴 하지만, 재질 인식으로 판별된 재질 유형은 자율 주행, 로보틱스, MR(Mixed Reality), 의료 영상, 객체 복원 등 다양한 곳에서 활용되고 있습니다. 앞으로 더 정확한 재질 인식이 가능해진다면 더 다양한 응용 기술이 등장하지 않을까 기대해 봅니다.







이야기와 글쓰기를 좋아하는 컴퓨터비전 엔지니어 콤파스입니다.

* 슈퍼브 블로그의 외부 기고 콘텐츠는 외부 전문가가 작성한 글로 운영 가이드라인에 따라 작성됩니다. 슈퍼브 블로그에서는 독자분들이 AI에 대한 소식을 더 쉽고 간편하게 이해하실 수 있도록 유용한 팁과 정보를 제공하고 있습니다.