논문 리뷰: PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs
paper
PowerGraph는 Gather, Apply, Scatter 기능을 구현하여 그래프 처리를 하는 방법을 제안했습니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
최근 포스트
Effective Python 5장: 클래스·인터페이스 설계 패턴 & 유지보수성
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 클래스, 인터페이스, 제너릭, 믹스인, collections
논문 리뷰: Distributed GraphLab: A Framework for Machine Learning
paper
GraphLab은 각 정점이 인접한 정점과 에지의 데이터를 읽고 쓸 수 있는 순차적 공유 메모리 추상화입니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
Windows10 정밀 터치패드: 드라이버 적용·제스처 커스터마이징·단축키 활용
tips
정밀 터치패드 지원 여부 확인 후 드라이버 설치, 제스처/감도 옵션 활성화, 크롬·창 전환·개발 작업 효율을 높이는 핵심 단축키 정리
논문 리뷰: GraphX: Graph Processing in a Distributed Dataflow Framework
paper
GraphX는 그래프 처리를 할때 기존 맵리듀스같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.
스파크 클러스터 실행 가이드: 모드와 제출 흐름
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.
Hadoop YARN: 리소스 관리 아키텍처 & 스케줄링 기초
hadoop
[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.
스파크 GraphFrame 알고리즘: PageRank 등 핵심
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.