On-Premise Distributed Computing for Data Science

Abstract

정보통신의 급격한 발달과 함께 폭발적으로 증가되는 데이터양은 각종 연구분야에서도 빅데이터 처리, 분석을 통한 지능형 연구수요를 확대시키고 있다. 빅데이터 처리, 분석을 위한 분산컴퓨팅 프레임워크인 하둡과 스파크 등은 이러한 당면 문제를 해결하고자 등장하였고 산업계에서는 유용하게 활용되고 있으나 하드웨어, 소프트웨어, 네트워크 지식을 모두 알아야 하고 복잡한 데이터 분산저장, 병렬처리 매카니즘을 이해해야하기 때문에 타 영역 의 과학자들에게는 접근이 쉽지 않은 실정이다. 따라서 본 논문에서는 중소규모 연구조직에서 실제 구현 및 분 석 사례를 통해 데이터사이언스를 위한 온프레미스 분산컴퓨팅 방법과 고려사항을 제시하고자 한다.