[Spark] 빅데이터와 아파치 스파크란
spark
[Spark The Definitive Guide] 책을 중심으로 스파크를 요약 및 정리해보았습니다. 스파크(spark)는 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합입니다. 최근 머신러닝에도 활발히 사용되고 있습니다.
최근 포스트
[Operating System Concepts 10th] 5. CPU Scheduling 리뷰
OS
Operating System Concepts 10th 5장 CPU Scheduling을 정리한 글입니다. 단일 코어 환경의 기본 스케줄링 개념과 FCFS, SJF, RR, 멀티레벨 피드백 큐 등 주요 스케줄링 알고리즘부터 현대 운영체제의 핵심인 커널 스레드 스케줄링 및 멀티 코어...
[Operating System Concepts 10th] 4. Threads & Concurrency 리뷰
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 4. Threads & Concurrency
[논문 리뷰] Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing
paper
RDD는 스파크(spark)의 기본 데이터 구조입니다. 스파크를 이해하기 위해 RDD 원리를 이해하는 것이 필수이기 때문에 논문을 요약 및 정리해보았습니다.
[Operating System Concepts 10th] 3. Processes 리뷰
OS
운영체제의 핵심 작업 단위인 프로세스의 개념, 메모리 구조(텍스트·데이터·힙·스택), 프로세스 제어 블록(PCB)과 상태 전이부터 CPU 스케줄링 및 문맥 교환, fork/exec 기반의 프로세스 생성과 종료, 그리고 공유 메모리·메시지 전달·소켓·RPC로 이어지는 프로세스 간 통...
[Operating System Concepts 10th] 2. Operating System Structures 리뷰
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 2. Operating System Structures
[Operating System Concepts 10th] 1. Introduction 리뷰
OS
Operating System Concepts 10th의 1장 Introduction을 바탕으로 운영체제의 정의와 컴퓨터 시스템 구조부터 자원 관리, 가상화, 커널 자료구조, 다양한 컴퓨팅 환경까지 1장의 전반적인 핵심 내용을 단일 포스트로 집대성하여 정리한다.
[논문 리뷰] MapReduce: Simplified Data Processing on Large Clusters
paper
맵리듀스는 2004년 구글에서 발표한 빅데이터를 처리하고 생성하기 위한 프로그래밍 모델입니다. 키,값을 처리하여 중간 키,값 쌍 집합을 생성하는 map 함수와 동일한 키와 연관된 값을 merge하는 reduce 함수를 지정합니다.