[논문 리뷰] GraphX: Graph Processing in a Distributed Dataflow Framework
paper
GraphX는 그래프 처리를 할 때 기존 맵리듀스 같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.
최근 포스트
[Spark] 클러스터에서 스파크 실행하기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.
[Hadoop] 아파치 얀(YARN)에 대한 기초
hadoop
[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.
[Spark] GraphFrame을 활용한 그래프 분석 및 알고리즘
spark
Spark: The Definitive Guide 30장 Graph Analytics를 바탕으로 스파크 GraphFrame 라이브러리의 핵심을 다룬다. 정점(Vertex)과 에지(Edge) 기반의 그래프 생성 및 기본 DataFrame 쿼리, 서브그래프 추출, Cypher 표현식을...
[Spark] 저수준 API: 분산형 공유 변수
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 분산형 공유 변수에 대해 알아봅니다.
[논문 리뷰] Pregel: A System for Large-Scale Graph Processing
paper
Pregel은 대규모 그래프의 분산 처리를 해결하기 위해, 확장 가능하고(scalable) 장애 허용(fault tolerance) 플랫폼입니다. 정확한 이해를 위해 논문을 구체적으로 정리해보았습니다.
[Spark] 저수준 API: 키-값 형태의 RDD 고급 연산
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.
[Spark] 저수준 API: RDD 이해하기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.