Spark 기반의 선박위치정보 오류 및 이상치 탐지 기법 연구 KCI
| DC Field | Value | Language |
|---|---|---|
| dc.contributor.author | 박용길 | - |
| dc.contributor.author | 이철용 | - |
| dc.date.accessioned | 2022-05-01T23:50:02Z | - |
| dc.date.available | 2022-05-01T23:50:02Z | - |
| dc.date.created | 2022-05-02 | - |
| dc.date.issued | 2022-04 | - |
| dc.identifier.issn | 1598-2009 | - |
| dc.identifier.uri | https://sciwatch.kiost.ac.kr/handle/2020.kiost/42460 | - |
| dc.description.abstract | 최근 해상 안전 및 관리를 위해 선박위치정보 수집 및 활용에 대한 관심이 높아지고 있다. 특히, 선박위치정보를 이용한 인공지능 기반 선박 분포 예측이나 항적 예측 연구가 국내외에서 다양한 방식으로 진행되고 있다. 그러나 연간 70억 건 이상의 대용량 데이터를 처리하기 어렵고, 표준화된 검수 방법도 제시되지 못하였다. 본 연구에서는 Spark 기반 빅데이터 처리 분석 기술을 이용하여 대용량 선박위치정보의 오류 및 이상치를 탐지 및 처리하는 표준화된 방법을 제시하는 것을 목표하였다. 실험 데이터는 2018년 10월 31일의 전국 대상 AIS 데이터이며, 선박위치정보 개수는 약 26,160,000 건이다. 선박위치 메시지 간 선박의 평균 이동속도를 계산하여 경계 값 테스트, 스파이크 테스트, 이동 IQR 테스트를 통과시킴으로써 이상치를 탐지하고 이를 오류 검수 대상으로 분류하였다. 이 때 이동 IQR 테스트의 샘플링 사이즈와 스케일 값을 조정하면서 이상치 탐지율을 비교 분석하였고, 최종적으로 연산 효율을 고려하여 유의미한 경계 값을 도출하였다. 이동 IQR 테스트의 샘플링 사이즈는 61개, 스케일은 3배수(3*IQR)로 설정하는 것이 파라미터 변화에 따른 민감도나 연산 효율 상 적절한 것으로 판단되었다. | - |
| dc.description.uri | 2 | - |
| dc.language | Korean | - |
| dc.publisher | 한국디지털콘텐츠학회 | - |
| dc.title | Spark 기반의 선박위치정보 오류 및 이상치 탐지 기법 연구 | - |
| dc.title.alternative | Study of Spark-based Vessel Location Data Error and Outlier Detection Method | - |
| dc.type | Article | - |
| dc.citation.endPage | 763 | - |
| dc.citation.startPage | 753 | - |
| dc.citation.title | 디지털콘텐츠학회논문지 | - |
| dc.citation.volume | 23 | - |
| dc.citation.number | 4 | - |
| dc.contributor.alternativeName | 박용길 | - |
| dc.contributor.alternativeName | 이철용 | - |
| dc.identifier.bibliographicCitation | 디지털콘텐츠학회논문지, v.23, no.4, pp.753 - 763 | - |
| dc.identifier.doi | 10.9728/dcs.2022.23.4.753 | - |
| dc.identifier.kciid | ART002834981 | - |
| dc.description.journalClass | 2 | - |
| dc.description.isOpenAccess | N | - |
| dc.subject.keywordAuthor | 선박위치정보 | - |
| dc.subject.keywordAuthor | 빅데이터 | - |
| dc.subject.keywordAuthor | Spark | - |
| dc.subject.keywordAuthor | 오류 탐지 | - |
| dc.subject.keywordAuthor | 이상치 탐지 | - |
| dc.subject.keywordAuthor | Vessel location data | - |
| dc.subject.keywordAuthor | Bigdata | - |
| dc.subject.keywordAuthor | Spark | - |
| dc.subject.keywordAuthor | Error detection | - |
| dc.subject.keywordAuthor | Outlier detection | - |
| dc.description.journalRegisteredClass | kci | - |
- Appears in Collections:
- Marine Digital Resources Department > Marine Bigdata & A.I. Center > 1. Journal Articles
- Files in This Item:
- There are no files associated with this item.
