하둡(Hadoop)

맥 m1 환경에서 하둡(Hadoop), 스파크(Spark) 설치 및 환경설정하기

tipshadoop

2023-01-05 2 분 소요

하둡과 스파크를 로컬환경에서 설치하는 과정을 글로 담기 위해 적어보았습니다.

hadoop

2022-09-26 4 분 소요

[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.

paperhadoop

2022-08-11 8 분 소요

맵리듀스는 2004년 구글에서 발표한 빅데이터를 처리하고 생성하기 위한 프로그래밍 모델입니다. 키,값을 처리하여 중간 키,값 쌍 집합을 생성하는 map 함수와 동일한 키와 연관된 값을 merge하는 reduce 함수를 지정합니다.

paperhadoop

2022-08-06 6 분 소요

저자들은 2003년에 대규모 분산 데이터 집약적 애플리케이션을 위한 확장 가능한 분산 파일 시스템인 Goole File System을 설계하고 구현했습니다. 분산 파일 시스템의 가장 중요하면서 시초가 되는 논문이기에 리뷰해보았습니다. 두번째 글입니다.

paperhadoop

2022-08-06 8 분 소요

저자들은 2003년에 대규모 분산 데이터 집약적 애플리케이션을 위한 확장 가능한 분산 파일 시스템인 Goole File System을 설계하고 구현했습니다. 분산 파일 시스템의 가장 중요하면서 시초가 되는 논문이기에 리뷰해보았습니다.