영스퀘어

Super-Resolution의 목표 저해상도 (low-resolution, LR) 이미지로부터 고해상도 (high-resolution, HR) 이미지를 생성 (복원) Super-Resolution의 종류 Single Image Super-Resolution (SISR) : 이미지 한 장에 대한 SR 문제를 의미함 Multi-Image Super-Resolution (MISR) : 여러 장의 이미지들에 대한 SR 문제를 의미하며, 일반적으로 여러 장의 이미지들을 모델의 입력으로 놓고 출력은 중간에 위치한 한 장의 이미지라고 문제를 정의함 Video Super-Resolution (VSR) : 많은 논문들에서 MISR과 VSR을 동일한 문제로서 두는 경우가 많지만 차이를 설명하자면 시간적 정보에 대한 정렬..

오늘 살펴 볼 논문은 2021년 VCIP에서 발표된 논문으로, 제목은 'Video Compression based on Jointly Learned Down-Sampling and Super-Resolution Networks' [1] 이다. down-sampling과 super-resolution 기반의 video coding 논문이며 앞서 리뷰한 논문인 'RR-DnCNN v2.0: Enhanced Restoration-Reconstruction Deep Neural Network for Down-Sampling-Based Video Coding' [2] 를 비교 논문으로 하여 실험 결과를 낸 바가 있어 리뷰해보려고 한다. RR-DnCNN v2.0 논문에 대한 리뷰는 아래 글을 참고바란다. 2022.0..

오늘 살펴 볼 논문은 'RR-DnCNN v2.0: Enhanced Restoration-Reconstruction Deep Neural Network for Down-Sampling-Based Video Coding' 라는 제목으로 2021년 IEEE Transactions on Image Processing에 실린 논문 [1] 이다. 해당 논문은 동일 저자들이 2020년 Springer MultiMedia Modeling 에 출판한 'Down-sampling based video coding with degradation-aware restoration-reconstruction deep neural network' 라는 제목의 논문 [2] 을 개선한 version 2 연구라고 볼 수 있다. Intro..

오늘 살펴 볼 논문은 2021년 ICCV에서 발표된 논문인 "Mutual Affine Network for Spatially Variant Kernel Estimation in Blind Image Super-Resolution" [1] 이다. Introduction 본 논문에서 말하는 기존 연구들의 문제점은 크게 두 가지로 나뉜다. 대부분의 기존 SR method 들은 blur kernel이 이상적이며 고정된 경우라고 가정한다. 즉, 고정된 bucubic kernel을 사용하여 데이터셋 전체에 대해 down-sampling을 수행한 것을 모델의 입력으로 두기 때문에 이러한 이상적인 데이터에 한정되어 모델이 학습된다. 이를 다른 말로 표현하면 이상적인 경우를 벗어날 수 있는 여지가 있는 실제 환경에서는 ..

오늘 살펴 볼 논문은 2021년 ICCV에서 발표된 논문인 "SwinIR: Image Restoration Using Swin Transformer" [1] 이다. SwinIR은 2022년 3월 현재 PapersWithCode 웹사이트 기준 Set5, Set14 데이터셋에서 1위를 차지하고 있다. https://paperswithcode.com/task/image-super-resolution Papers with Code - Image Super-Resolution In this task, we try to upsample the image and create the high resolution image with help of a low resolution image. paperswithcode.co..

오늘 살펴 볼 논문은 2020년 CVPR에서 발표된 논문인 "Deep Unfolding Network for Image Super-Resolution" [1] 이다. 해당 논문은 "Deep Blind Video Super-Resolution" [2] 이라는 논문의 latent frame restoration 파트 (MAP 프레임워크를 통해 HR 이미지를 추론하는 데 있어서 FFT 기반의 수식을 이끌어냄) 의 기반이 된 논문이라 할 수 있다. 논문 제목에 맞게 '펼치다' 라는 의미를 담고 있는 unfolding 알고리즘을 통해 data term, prior term 두 가지 sub-problem을 해결하는 문제로 변환하였다는 점이 이 논문의 핵심이며, 실제 딥러닝 모델이 활용되는 부분은 prior term..

오늘 살펴 볼 논문은 2021년 ICCV에서 발표된 논문인 "Deep Blind Video Super-Resolution" [1] 이다. 해당 논문은 1) 기존의 MAP (Maximum a posteriori) 기반의 많은 연구들이 직접 hand-crafted priors를 구해야 하기 때문에 문제를 해결하기에 복잡해 질 수 있으며, 2) 대부분의 딥러닝 기반의 VSR 모델들은 Blur kernel을 알고 있다는 가정하에 설계되었으므로 결과 이미지가 over-smoothed 될 수 있다는 단점을 가진다는 점을 들어 문제를 제기하였다. 따라서, 본 논문에서는 두 가지 방법을 모두 결합한 VSR 딥러닝 모델을 제안하였다. 1) Revisiting Variational Methods 제안하는 딥러닝 모델의 기..

[References] Lucas, Bruce D., and Takeo Kanade. "An iterative image registration technique with an application to stereo vision." (1981): 674.

[References] Levin, Anat, et al. "Understanding blind deconvolution algorithms." IEEE transactions on pattern analysis and machine intelligence 33.12 (2011): 2354-2367.