DATA & AI

[논문 리뷰] PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs

paper

2022-10-10 4 분 소요

PowerGraph는 Gather, Apply, Scatter 기능을 구현하여 그래프 처리를 하는 방법을 제안했습니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.

python

2022-10-08 6 분 소요

파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 클래스, 인터페이스, 제너릭, 믹스인, collections

paper

2022-10-08 8 분 소요

GraphLab은 각 정점이 인접한 정점과 에지의 데이터를 읽고 쓸 수 있는 순차적 공유 메모리 추상화입니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.

tips

2022-10-06 1 분 소요

윈도우10가 설치된 노트북에서 터치패드를 잘 사용하면 마우스가 없어도 된다는 것을 깨달았습니다. 터치패드 사용법 및 여러 가지 환경에서 단축키를 정리해보았습니다.

paper

2022-09-28 11 분 소요

GraphX는 그래프 처리를 할때 기존 맵리듀스같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.

spark

2022-09-26 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.

hadoop

2022-09-26 4 분 소요

[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.

spark

2022-09-24 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.