초해상도(Super Resolution) 기술로 보이지 않았던 세상을 발견하는 방법

Super Resolution (초해상도)

Super Resolution(SR) 기술은 저해상도의 영상을 고해상도의 영상으로 변환하는 기술입니다. 고해상도 이미지는 더 많은 세부 정보와 더 적은 노이즈를 가지고 있기 때문에 시각적인 선명도와 품질이 향상됩니다.

해상도를 높이는 작업이 딥러닝으로 쉽게 풀 수 있는 문제라고 생각하실 수도 있지만 생각보다 쉽지 않은 기술입니다. 딥러닝 기반의 SR기술이 주변 컨텍스트 이해에 기반한 영상 복원을 해주기 때문에 자연스럽고 생생한 결과를 얻을 수 있지만, 학습 데이터에 영향을 많이 받습니다. 예를 들어 학습 데이터에 고층 빌딩 데이터가 많았는데 복잡한 패턴이 있는 곤충 영상을 복원한다면 만족스러운 퀄리티를 얻기 힘듭니다.

실제로 테스트해 보면 복원한 영상의 선이나 컬러는 자연스럽지만 전체적인 복원 상태를 봤을 때 원래 고해상도였을 때의 이미지와는 굉장히 다른 형태로 복원되는 경우도 많습니다. 아래의 예시들을 보면 영상 복원이 자연스럽게만 되면 상관없는 분야(게임, 웹툰)와 정확하게 복원되어야 하는 분야(의료, 범죄 수사)로 나뉩니다. 이처럼 산업별로 영상을 복원하는 목적이 다르기 때문에 그에 알맞은 기술 정확도가 필요합니다.

목적별 다양한 접근 방법이 있지만 간단하게는 아래와 같은 접근 방법으로 나뉘게 됩니다.

1. 단일 이미지 기반 Super Resolution: 이 방법은 단일 저해상도 이미지를 입력으로 사용하여 고해상도 이미지를 생성합니다. 이를 위해 CNN 또는 Transformer 기반의 네트워크는 저해상도 이미지에서 고해상도 이미지를 생성하는 데 사용될 수 있는 이미지의 상세한 특징을 학습합니다. 하지만 하나의 이미지를 보고 고해상도 이미지를 생성하기 때문에 디테일한 부분을 정확하게 복원하기는 힘들고 학습 데이터에 많은 영향을 받습니다.
   
2. 멀티 이미지 기반 Super Resolution: 이 방법은 여러 개의 저해상도 이미지를 입력으로 사용하여 고해상도 이미지를 생성합니다. 이 방법은 MVS (Multi-View Super Resolution)와 유사한 개념으로 작동합니다. 다수의 이미지에서 추출한 정보를 결합하여 고해상도 이미지를 생성하므로 더 많은 세부 정보를 포착할 수 있습니다.
   
3. GAN (Generative Adversarial Network) 기반 Super Resolution: 생성자(Generator)는 저해상도 이미지를 입력으로 사용하여 고해상도 이미지를 생성하고, 판별자(Discriminator)는 생성된 이미지와 실제 고해상도 이미지를 구별합니다. 이 과정은 생성자가 더 실제 같은 고해상도 이미지를 생성하도록 독려합니다.
   

이러한 Image Super Resolution 기술은 영상 복원, 디지털 줌, CCTV 영상 개선, 의료 영상 분석 등 다양한 분야에서 활용됩니다.

영상 복원

SR 기술은 근본적으로 영상의 퀄리티를 복원하는 곳에 사용됩니다. 범죄 수사에서 희미하게 찍힌 범인의 얼굴을 복원하여 몽타주를 작성하거나 잘 보이지 않는 자동차 번호판을 복원하는 데에 사용됩니다. 또는 MRI 등의 의료 영상이나 보안, 관제 등에 활용될 수 있습니다. 특히 해상도에 따라 가격이 급증하는 열화상 분야나 저해상도의 옛날 영상을 시청할 때도 유용한 기술입니다.

게임

게임에서는 화려한 그래픽과 함께 Frame rate(초당 프레임, 단위 : fps)도 굉장히 중요합니다. 매끄럽고 자연스러운 게임 플레이를 위해서는 높은 초당 프레임 수가 필수적입니다. 하지만 고해상도인 4K로 게임을 진행하면 위 그림과 같이 108 fps로 초당 프레임이 낮아집니다. 그렇지만 1800p, 1440p, 1080p의 비교적 낮은 해상도로 영상을 받아와서 4K로 해상도로 업스케일링하면 139 fps, 185 fps, 255 fps으로 초당 프레임 수가 높아집니다. 물론 낮은 해상도의 영상을 고해상도로 업스케일링할수록 영상의 품질은 어느 정도 저하될 수 있지만, 게임의 몰입도를 방해하지 않는 수준으로 설정한다면 해상도와 초당 프레임 두 마리 토끼를 모두 잡을 수 있습니다.

웹툰

SR 기술은 웹툰에도 활용할 수 있습니다. 네이버 웹툰에서는 서버에서 이미지 전송 시 낮은 해상도(1/4)로 변환하고, 단말기에서 수신 후 원래 이미지로 복원하는 데에 SR 기술을 활용할 수 있다고 합니다. 또는 과거 출판된 저해상도 만화를 고해상도로 변환하는 데에도 사용할 수 있다고 합니다.

텍스트 복원

SR 분야에서는 텍스트 이미지의 해상도를 향상시키는 Text Super Resolution 분야도 있습니다. 흐릿한 글자를 선명하게 복원할 수 있는 기술로 OCR의 전처리 기술로 활용할 수 있습니다.

초해상도 기술은 영상 복원에 넓은 적용 분야를 가지고 있습니다. 이 기술은 흐릿하거나 잘 보이지 않는 영상을 복원함으로써 의료 진단이나 범죄 수사에 활용될 수 있을 뿐만 아니라, 저가형 카메라로 촬영한 영상의 품질 향상이나 게임, 웹툰 분야에서 데이터 용량을 줄이는 데에도 쓰일 수 있습니다. 이 외에도 자율 주행차, 지능 로봇, 위성 영상 분석과 같이 영상 품질을 향상시켜야 하는 다양한 분야에서 초해상도 기술은 귀중한 활용 가치를 지니고 있습니다.

	콤파스
	이야기와 글쓰기를 좋아하는 컴퓨터비전 엔지니어 콤파스입니다.

* 슈퍼브 블로그의 외부 기고 콘텐츠는 외부 전문가가 작성한 글로 운영 가이드라인에 따라 작성됩니다. 슈퍼브 블로그에서는 독자분들이 AI에 대한 소식을 더 쉽고 간편하게 이해하실 수 있도록 유용한 팁과 정보를 제공하고 있습니다.