영스퀘어

Super-Resolution의 목표 저해상도 (low-resolution, LR) 이미지로부터 고해상도 (high-resolution, HR) 이미지를 생성 (복원) Super-Resolution의 종류 Single Image Super-Resolution (SISR) : 이미지 한 장에 대한 SR 문제를 의미함 Multi-Image Super-Resolution (MISR) : 여러 장의 이미지들에 대한 SR 문제를 의미하며, 일반적으로 여러 장의 이미지들을 모델의 입력으로 놓고 출력은 중간에 위치한 한 장의 이미지라고 문제를 정의함 Video Super-Resolution (VSR) : 많은 논문들에서 MISR과 VSR을 동일한 문제로서 두는 경우가 많지만 차이를 설명하자면 시간적 정보에 대한 정렬..

오늘 살펴 볼 논문은 2021년 ICCV에서 발표된 논문인 "Deep Blind Video Super-Resolution" [1] 이다. 해당 논문은 1) 기존의 MAP (Maximum a posteriori) 기반의 많은 연구들이 직접 hand-crafted priors를 구해야 하기 때문에 문제를 해결하기에 복잡해 질 수 있으며, 2) 대부분의 딥러닝 기반의 VSR 모델들은 Blur kernel을 알고 있다는 가정하에 설계되었으므로 결과 이미지가 over-smoothed 될 수 있다는 단점을 가진다는 점을 들어 문제를 제기하였다. 따라서, 본 논문에서는 두 가지 방법을 모두 결합한 VSR 딥러닝 모델을 제안하였다. 1) Revisiting Variational Methods 제안하는 딥러닝 모델의 기..

오늘은 VSR 논문 중 하나인 VESPCN (Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation [1] ) 에서 사용된 네트워크인 ESPCN (Efficient Sub-Pixel Convolutional Neural Network) [2] 에 대하여 소개한다. ESPCN은 pre-processing 과정에서 low resolution (LR) 이미지를 bicubic interpolation 등의 filter로 upscaling 하여 high resolution (HR) 이미지로 만들어 네트워크의 input으로 넣는 기존의 방법 대신 LR 이미지를 다이렉트로 학습시킨 후, 마지막 레이어에서 upscali..

1) Paper Bibliography Title : Video Super-Resolution With Convolutional Neural Networks Authors : Armin Kappeler, Seunghwan Yoo, Qiqin Dai, and Aggelos K. Katsaggelos IEEE transactions on computational imaging June, 2016 2) Problems & Motivations Problems Most video content is not available in UHD resolution. Therefore SR algorithms are needed to generate UHD content from Full HD (FHD) (1,920 × ..