해양과학 빅데이터 분석 플랫폼 설계 및 구축 연구
- Title
- 해양과학 빅데이터 분석 플랫폼 설계 및 구축 연구
- KIOST Author(s)
- Lee, Chol Young(이철용); Choi, Hyun Woo(최현우)
- Alternative Author(s)
- 이철용; 최현우
- Publication Year
- 2020-12-11
- Abstract
- 본 논문에서는 향후 해양과학분야 빅데이터 처리 및 분석 연구 지원이 가능하도록 빅데이터 분석 플랫폼 설계 및 시범 구축하는 것을 목표로 하였다. 해양과학 빅데이터 분석 플랫폼은 HDFS 기반으로 총 9대의 노드로 구성되어 고용량 데이터의 분산저장 및 병렬처리가 가능토록 설계되었다. 하둡 클러스터를 통해 최대 72TB 데이터를 저장하고, 1.6TB 메모리 환경에서 처리가능토록 컴퓨팅 인프라를 설계하였고, 각 연구자의 PC에서 Chrome이나 Internet Explorer 등 브라우저를 통해 자유롭게 접근 활용이 가능하도록 Apache Zeppelin 등을 적용하여 Spark, Scala, Python, R 등 오픈소스 프로그램을 활용할 수 있는 환경을 제공토록 설계 및 구축되었다
- Bibliographic Citation
- 2020 한국디지털콘텐츠학회 학술발표대회, pp.246 - 247, 2020
- Publisher
- 한국디지털콘텐츠학회
- Type
- Conference
- Language
- Korean
- Files in This Item:
- There are no files associated with this item.
