오토인코더를 이용한 파랑 비디오 영상에서의 수리동역학적 장면 분리 연구

Abstract

본 논문에서는 대용량 비디오영상에서 오토인코더를 이용하여 파랑 전파시 수리동역학적 장면만을 분리하는 방법에 대해 소개한다. 연안에서 센서를 이용한 파랑의 직접적 관측의 어려움으로 인해 비디오 영상을 이용한 입자 추적, 옵티컬 플로우 등의 이미지 분석 방법이 주로 활용되고 있다. 하지만 이미지 분석 방법은 주변광 및 기상상태 등 외부 요인에 의한 영향으로 파랑에 대한 정확한 분석에 어려움이 있다. 제안하는 방법은 비디오영상으로부터 주변광의 영항을 최소화하고, 순수 파랑전파시 파랑의 움직임 만을 분리하여 수리동역학적 장면을 추출한다. 실제 해역 및 수리 모형 실험에서 촬영된 비디오영상에 제안하는 방법을 적용하여 원본 영상으로부터 주변광에 의한 영향과 배경을 잘 분리하여 파랑 전파에 따른 수리동역학적파랑 이동 장면이 잘 추출되었음을 시각적으로 확인하였다. 또한 변분 오토인코더의 잠재표현 학습을 통해 얻은 원본 비디오영상에 대한 잠재 표현은 주변광과 배경 요인에 의해 지배적으로 결정되는 반면, 파랑 이동 장면은 해당 요인에 관계없이 독립적으로 잘 표현되는 것을 알 수 있었다.

In this paper, we propose a hydrodynamic scene separation method for wave propagation from video imagery using autoencoder. In the coastal area, image analysis methods such as particle tracking and optical flow with video imagery are usually applied to measure ocean waves owing to some difficulties of direct wave observation using sensors. However, external factors such as ambient light and weather conditions considerably hamper accurate wave analysis in coastal video imagery. The proposed method extracts hydrodynamic scenes by separating only the wave motions through minimizing the effect of ambient light during wave propagation. We have visually confirmed that the separation of hydrodynamic scenes is reasonably well extracted from the ambient light and backgrounds in the two videos datasets acquired from real beach and wave flume experiments. In addition, the latent representation of the original video imagery obtained through the latent representation learning by the variational autoencoder was dominantly determined by ambient light and backgrounds, while the hydrodynamic scenes of wave propagation independently expressed well regardless of the external factors.