Spark 기반의 선박위치정보 오류 및 이상치 탐지 기법 연구

Abstract

최근 해상 안전 및 관리를 위해 선박위치정보 수집 및 활용에 대한 관심이 높아지고 있다. 특히, 선박위치정보를 이용한 인공지능 기반 선박 분포 예측이나 항적 예측 연구가 국내외에서 다양한 방식으로 진행되고 있다. 그러나 연간 70억 건 이상의 대용량 데이터를 처리하기 어렵고, 표준화된 검수 방법도 제시되지 못하였다. 본 연구에서는 Spark 기반 빅데이터 처리 분석 기술을 이용하여 대용량 선박위치정보의 오류 및 이상치를 탐지 및 처리하는 표준화된 방법을 제시하는 것을 목표하였다. 실험 데이터는 2018년 10월 31일의 전국 대상 AIS 데이터이며, 선박위치정보 개수는 약 26,160,000 건이다. 선박위치 메시지 간 선박의 평균 이동속도를 계산하여 경계 값 테스트, 스파이크 테스트, 이동 IQR 테스트를 통과시킴으로써 이상치를 탐지하고 이를 오류 검수 대상으로 분류하였다. 이 때 이동 IQR 테스트의 샘플링 사이즈와 스케일 값을 조정하면서 이상치 탐지율을 비교 분석하였고, 최종적으로 연산 효율을 고려하여 유의미한 경계 값을 도출하였다. 이동 IQR 테스트의 샘플링 사이즈는 61개, 스케일은 3배수(3*IQR)로 설정하는 것이 파라미터 변화에 따른 민감도나 연산 효율 상 적절한 것으로 판단되었다.