[Spark] 저수준 API: 분산형 공유 변수
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 분산형 공유 변수에 대해 알아봅니다.
ingu627.github.io
최근 포스트
[논문 리뷰] Pregel: A System for Large-Scale Graph Processing
paper
Pregel은 대규모 그래프의 분산 처리를 해결하기 위해, 확장 가능하고(scalable) 장애 허용(fault tolerance) 플랫폼입니다. 정확한 이해를 위해 논문을 구체적으로 정리해보았습니다.
[Spark] 저수준 API: 키-값 형태의 RDD 고급 연산
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.
[Spark] 저수준 API: RDD 이해하기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.
[Operating System Concepts 10th] 10. Virtual Memory 리뷰
OS
프로세스 전체를 메모리에 올리지 않고도 실행을 가능하게 하는 가상 메모리의 원리와 이점을 살펴보고, 요구 페이징 기법과 쓰기 시 복사(Copy-on-Write)의 동작 메커니즘을 알아본다. 아울러 물리 프레임이 부족할 때 발생하는 페이지 교체 알고리즘(FIFO, OPT, LRU 등...
[Spark] 스칼라를 이용한 Dataset 관련 기능 정리
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset에 대해 알아봅니다.
[Operating System Concepts 10th] 9. Main Memory 리뷰
OS
Operating System Concepts 10th 9장 메인 메모리(Main Memory)를 다룬다. 주소 바인딩, MMU, 연속 메모리 할당과 외부 단편화 문제를 살펴보고, 이를 극복하기 위한 페이징 기법, TLB 캐시, 다양한 페이지 테이블 구조 및 스와핑까지 메모리 관리...
[Spark] 스파크 SQL 정리 (실행방법, 테이블, 뷰, 데이터베이스, 함수, 서브쿼리)
spark
Spark The Definitive Guide 책을 중심으로 스파크 SQL의 핵심 개념과 실습 예제를 정리합니다. CLI·프로그래밍 인터페이스·쓰리프트 서버를 통한 쿼리 실행부터 카탈로그, 관리형·외부 테이블, 뷰, 데이터베이스 관리, 그리고 복합 데이터 타입·UDF·서브쿼리 활...