적대적생성신경망을 이용한 연안 파랑 비디오 영상에서의 빗방울 제거 및 배경 정보 복원 KCI

Title
적대적생성신경망을 이용한 연안 파랑 비디오 영상에서의 빗방울 제거 및 배경 정보 복원
Alternative Title
Raindrop Removal and Background Information Recovery in Coastal Wave Video Imagery using Generative Adversarial Networks
Author(s)
허동; 김재일; 김진아
KIOST Author(s)
Kim, Jinah(김진아)
Publication Year
2019-12
Abstract
본 논문에서는 강우시 빗방울로 인해 왜곡된 연안 파랑 비디오 영상에서 빗방울 제거와 제거된 영역에 대한 배경 정보를 복원하기 위한 적대적생성신경망을 이용한 영상 강화 방법을 제안하고자 한다. 영상 변환에 널리 사용되는 Pix2Pix 네트워크와 현재 단일 이미지에 대한 빗방울 제거에 좋은 성능을 보여주고 있는 Attentive GAN을 실험 대상 모델로 구현하고, 빗방울 제거를 위한 공개 데이터 셋을 이용하여 두 모델을 학습한 후 빗방울 왜곡 연안 파랑 영상의 빗방울 제거 및 배경 정보 복원 성능을 평가하였다. 연안 파랑 비디오에 영상에 대한 빗방울 왜곡 보정 성능을 향상시키기 위해 실제 연안에서 빗방울 유무가 짝을 이룬 데이터 셋을 직접 획득한 후 사전 학습된 모델에 대하여 전이 학습에 사용하여 빗방울 왜곡 보정에 대한 성능 향상을 확인하였다. 모델의 성능은 빗방울 왜곡 영상으로부터 파랑 정보 복원 성능을 최대 신호 대 잡음비와 구조적 유사도를 이용하여 평가하였으며, 전이 학습을 통해 파인 튜닝된 Pix2Pix 모델이 연안 파랑 비디오 영상의 빗방울 왜곡에 대한 가장 우수한 복원 성능을 보였다.

In this paper, we propose a video enhancement method using generative adversarial networks to remove raindrops and restore the background information on the removed region in the coastal wave video imagery distorted by raindrops during rainfall. Two experimental models are implemented: Pix2Pix network widely used for image-to-image translation and Attentive GAN, which is currently performing well for raindrop removal on a single images. The models are trained with a public dataset of paired natural images with and without raindrops and the trained models are evaluated their performance of raindrop removal and background information recovery of rainwater distortion of coastal wave video imagery. In order to improve the performance, we have acquired paired video dataset with and without raindrops at the real coast and conducted transfer learning to the pretrained models with those new dataset. The performance of fine-tuned models is improved by comparing the results from pretrained models. The performance is evaluated using the peak signal-to-noise ratio and structural similarity index and the finetuned Pix2Pix network by transfer learning shows the best performance to reconstruct distorted coastal wave video imagery by
raindrops.
ISSN
1975-7883
URI
https://sciwatch.kiost.ac.kr/handle/2019.kiost/406
Bibliographic Citation
한국컴퓨터그래픽스학회논문지, v.25, no.5, pp.1 - 9, 2019
Publisher
(사)한국컴퓨터그래픽스학회
Keywords
연안 파랑 비디오 영상; 빗방울 제거; 배경 정보 복원; 적대적생성신경망; 영상 강화; Coastal wave video imagery; Raindrop removal; Background information recovery; Generative adversarial networks; Video enhancement
Type
Article
Language
Korean
Publisher
(사)한국컴퓨터그래픽스학회
Related Researcher
Research Interests

AI/Machine Learning,Climate Change,Marine Disaster,인공지능/기계학습,기후변화,해양기상재해

Files in This Item:
There are no files associated with this item.

qrcode

Items in ScienceWatch@KIOST are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse