[240315] 스파크(spark): 컴퓨터와 데이터, 메모리, 클라우드
[spark를 이용한 빅데이터 분석 by 안창배 튜터] 1. 왜 스파크일까? - 스파크 Apache Spark 란? [상세 정의] └ SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈이 있는 대규모 데이터 처리용 통합 분석 엔진 └ 클라우드의 Apache Hadoop, Apache Mesos, Kubernetes에서 자체적으로 혹은 다양한 데이터 소스에 대해 실행 가능 └ 쉽게 말해, 대용량 데이터를 다루는 것에 특화된 프레임 워크 └ (cf) Apache는 오픈소스를 제공하는 재단인데, 스파크도 관리하고 있음 - 스파크를 배우는 이유 └ 기술적이고, 난이도가 높고, 실제로 쓰리라는 보장은 없으나 · Pyspark: Python을 기반으로 하여 별도의 언어 공부가 필요 없음 · 대용량 ..