Semantic Segmentation of the Submerged Marine Debris in Undersea Images Using HRNet Model

Abstract

Destroying the marine environment and marine ecosystem and causing marine accidents, marine debris is generated every year, and among them, submerged marine debris is difficult to identify and collect because it is on the seabed. Therefore, deep-learning-based semantic segmentation was experimented on waste fish nets and waste ropes using underwater images to identify efficient collection and distribution. For segmentation, a high-resolution network (HRNet), a state-of-the-art deep learning technique, was used, and the performance of each optimizer was compared. In the segmentation result fish net, F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%), For the rope F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%) in the order of adaptive moment estimation (Adam), Momentum, and stochastic gradient descent (SGD). Adam’s results were the highest in both fish net and rope. Through the research results, the evaluation of segmentation performance for each optimizer and the possibility of segmentation of marine debris in the latest deep learning technique were confirmed. Accordingly, it is judged that by applying the latest deep learning technique to the identification of submerged marine debris through underwater images, it will be helpful in estimating the distribution of marine sedimentation debris through more accurate and efficient identification than identification through the naked eye.

해양환경 및 해양생태계를 파괴하고 해양사고의 원인이 되는 해양쓰레기는 매년 늘어나고 있으나 그 중 해양침적쓰레기는 해저에 위치해 있어 파악과 수거에 어려움이 있다. 이에 효율적인 수거와 분포량 파악을 위해 수중촬영 이미지를 이용하여 폐그물과 폐밧줄을 대상으로 딥러닝 기반의 의미론적 분할을 실험하였다. 분할에는 최신 딥러닝 기법인 high-resolution network (HRNet)을 사용하고 최적화 알고리즘(optimizer) 별 성능 비교를 하였다. 분할 결과 그물에서는 adaptive moment estimation (Adam), Momentum, stochastic gradient descent (SGD) 순으로 F1 score=(86.46%, 86.20%, 85.29%), IoU=(76.15%, 75.74%, 74.36%) 이며, 밧줄은 F1 score=(80.49%, 80.48%, 77.86%), IoU=(67.35%, 67.33%, 63.75%)로 그물과 밧줄에서 모두 Adam의 결과가 가장 높게 나타났다. 연구 결과를 통해 optimizer 별 분할 성능 평가와 최신 딥러닝 기법의 해양침적쓰레기 분할에 대한 가능성을 확인하였다. 이에 따라 수중촬영 이미지를 통한 해양침적쓰레기 식별에 최신 딥러닝 기법을 적용시킴으로써 육안을 통한 식별보다 정확하고 효율적인 식별을 통해 해양침적쓰레기의 분포량 산정에 기여할 수 있을 것으 로 사료된다.