[Spark] CSV, JSON, Parquet, ORC 데이터소스 읽고 쓰는 방법
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.
최근 포스트
터미널 내 도커(docker) 컨테이너 명령어, 옵션 정리
docker
윈도우 프롬프트, 리눅스 터미널 등에서 사용되는 도커 명령어, 옵션들을 정리해보았습니다. pull, run, start, stop, rm
[Spark] 조인(join) 표현식, 타입 정리
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 조인에 대해 알아봅니다.
[Spark] 그룹화, 롤업, 큐브, 피벗 정리
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 그룹화에 대해 알아봅니다.
[Spark] 집계 연산, 함수, SQL 명령어 정리
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 집계 함수에 대해 알아봅니다.
[Spark] 날짜, 타임스탬프, null, 정렬, JSON 등의 데이터 타입 다루기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 다양한 데이터 타입을 다루는 내용입니다.
[Spark] 불리언, 수치, 문자, 정규 표현식 등의 데이터 타입 다루기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 다양한 데이터 타입을 다루는 내용입니다.
[논문 리뷰] Kafka: a Distributed Messaging System for Log Processing
paper
카프카는 발행 구독 모델을 구현한 분산 메시징 시스템으로, 실시간 데이터 피드를 관리하기 위해 통일된 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것을 목표로 합니다. 이에 기본이 되는 논문을 리뷰해보았습니다.