[논문 리뷰] PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs
paper
PowerGraph는 Gather, Apply, Scatter 기능을 구현하여 그래프 처리를 하는 방법을 제안했습니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
ingu627.github.io
최근 포스트
[Effective Python] 5장 클래스와 인터페이스 리뷰
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 클래스, 인터페이스, 제너릭, 믹스인, collections
[논문 리뷰] Distributed GraphLab: A Framework for Machine Learning and Data Mining in the Cloud
paper
GraphLab은 각 정점이 인접한 정점과 에지의 데이터를 읽고 쓸 수 있는 순차적 공유 메모리 추상화입니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
윈도우10 노트북 정밀터치패드 제스처 사용법
tips
윈도우10이 설치된 노트북에서 터치패드를 잘 사용하면 마우스가 없어도 된다는 것을 깨달았습니다. 터치패드 사용법 및 여러 가지 환경에서 단축키를 정리해보았습니다.
[논문 리뷰] GraphX: Graph Processing in a Distributed Dataflow Framework
paper
GraphX는 그래프 처리를 할 때 기존 맵리듀스 같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.
[Spark] 클러스터에서 스파크 실행하기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.
[Hadoop] 아파치 얀(YARN)에 대한 기초
hadoop
[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.
[Spark] GraphFrame을 활용한 그래프 분석 및 알고리즘
spark
Spark: The Definitive Guide 30장 Graph Analytics를 바탕으로 스파크 GraphFrame 라이브러리의 핵심을 다룬다. 정점(Vertex)과 에지(Edge) 기반의 그래프 생성 및 기본 DataFrame 쿼리, 서브그래프 추출, Cypher 표현식을...