[컴퓨터비전/실습] Deblurring 딥러닝 기술 비교

*A curated list of resources for Image and Video Deblurring*

https://github.com/subeeshvasu/Awesome-Deblurring

GitHub - subeeshvasu/Awesome-Deblurring: A curated list of resources for Image and Video Deblurring

 

사용해본 Deblurring 기법

1. MTRNN(Multi-Temporal Recurrent Neural Networks), 2020

https://github.com/Dong1P/MTRNN

GitHub - Dong1P/MTRNN

 

2. DeMFI(Deblurring and Multi Frame Interpolation), 2021

https://github.com/JihyongOh/DeMFI

GitHub - JihyongOh/DeMFI: Official repository of DeMFI (ECCV 2022).

 

3. DeepDeblur(Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring), 2017
https://github.com/SeungjunNah/DeepDeblur-PyTorch

GitHub - SeungjunNah/DeepDeblur-PyTorch: Deep Multi-scale CNN for Dynamic Scene Deblurring

 

기회가 되면 각각의 기법 분석도 해보는걸로...

 

다음에 사용해보고픈 기법

RealTime_VDBLR(Real-Time Video Deblurring via Lightweight Motion Compensation), 2022 –
https://github.com/codeslake/RealTime_VDBLR

GitHub - codeslake/RealTime_VDBLR: [PG 2022] Official PyTorch Implementation for "Real-Time Video Deblurring via Lightweight Mot

 

BiT(Blur Interpolation Transformer), 2023 – https://github.com/zzh-tech/BiT

GitHub - zzh-tech/BiT: [CVPR2023] Blur Interpolation Transformer for Real-World Motion from Blur

 

실험 1. GoPro Dataset

실험 방법 및 결과 (runtime, PSNR, SSIM)

original blurring image(input)

MTRNN output image

DeMFI output image

DeepDeblur-PyTorch output image

정량적인 평가에서는 DeepDeblur가 속도 측면에서는 압도적이었고, PSNR, SSIM의 경우에도 약간 우수한 결과를 보였다.

하지만, 정성적인 평가(육안으로 비교)에서는 "택배" 글씨가 적힌 배너를 각각 비교하면서 보았을 때 deblurring 결과가 엄청 우수하지는 않아보였다.

 

실험 2. Custom Dataset

약 1~2초 영상을 blur가 심하도록 과격히 움직이고, 이를 fps=30으로 프레임을 쪼개 이미지로 구성하였다.

실험 방법 및 결과 (runtime, PSNR, SSIM)

왼쪽: original blurring image(input) / 오른쪽: MTRNN output image

왼쪽: DeMFI output image / 오른쪽: DeepDeblur-PyTorch output image

정량적인 평가에서는 MTRNN이 우수했으나, 정성적인 평가를 했을 때, DeepDeblur-PyTorch가 속도도 빠를 뿐더러 deblurring이 가장 준수하게 되었다.