SWE Julie's life

빅데이터 프레임워크에는 Hadoop과 Spark가 있다. Hadoop은 흔히들 접할 수 있지만, 요즈음 Spark에 대한 관심과 니즈가 증가하고 있는 듯 하다. 두 프레임워크 모두 오픈소스이며, 빅데이터를 처리하기 위한 기술로 등장했다. ​ Spark를 짚기 전에 간단하게 Hadoop에 대해 정리해보면, Hadoop은 크게 HDFS와 Map Reduce 로 구성되어있다. 특정 작업을 여러 노드로 분할하여 매핑(Map)한 뒤 각각 생성된 중간 결과를 집계하여 최종 결과(Reduce)를 도출하는 방식으로 구성되어 있다. 즉 장시간 소요되는 배치처리를 효율적으로 진행하기 위해 적합한 방식이기 때문에 속도 측면에서 개선요구사항이 있었다. 사용성으로도 low-level 환경이다 보니 사용자와 interactive..