스파크(Spark)

스파크 PySpark 추천 시스템 구현 가이드

spark

2022-12-01 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 pyspark를 이용한 간단한 추천 시스템 만드는 것에 대해 알아봅니다.

스파크 정형 스트리밍 + 카프카 연동 실전

spark

2022-11-29 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 아파치 카프카를 이용한 정형 스트리밍 예제에 대해 알아봅니다.

스파크 스트림 처리 입문: 정형 스트리밍 핵심 개념

spark

2022-11-29 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 스트림 처리 및 정형 스트리밍의 기초 개념 정리에 대해 알아봅니다.

스파크 클러스터 실행 가이드: 모드와 제출 흐름

spark

2022-09-26 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.

스파크 GraphFrame 알고리즘: PageRank 등 핵심

spark

2022-09-24 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.

스파크 GraphFrame 기초: 그래프·모티프 분석

spark

2022-09-23 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 그래프, 서브그래프, 모티프에 대해 알아봅니다.

스파크 분산형 공유 변수: 브로드캐스트 & 누산기

spark

2022-09-21 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 분산형 공유 변수에 대해 알아봅니다.

스파크 Key-Value RDD 고급 연산 패턴

spark

2022-09-17 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.

스파크 RDD 저수준 API 개념과 활용

spark

2022-09-16 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.

스파크: 스칼라를 이용한 Dataset 기능

spark

2022-09-09 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset에 대해 알아봅니다.

스파크 SQL 핵심: 데이터베이스·함수·서브쿼리 활용

spark

2022-09-08 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 스파크 SQL(데이터베이스, 함수, 서브쿼리)에 대해 알아봅니다.

스파크 SQL 실행 방법과 테이블·뷰 구조 이해

spark

2022-09-07 6 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 스파크 SQL(실행방법, 테이블, 뷰)에 대해 알아봅니다.

스파크 외부 데이터 연동: SQLite·PostgreSQL·텍스트

spark

2022-09-06 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.

스파크 데이터소스 옵션 총정리: 꼭 알아야 할 설정

spark

2022-09-05 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. 데이터 소스에 대한 모드, 옵션들을 알아봅니다.

스파크 파일 포맷 활용: CSV·JSON·Parquet·ORC 비교

spark

2022-09-04 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.

스파크 조인: 내부·외부·세미·안티·브로드캐스트 선택 가이드

spark

2022-09-03 3 분 소요

조인 표현식 작성, join type별 유지 로우 차이, 스몰 테이블 broadcast 힌트로 셔플 최소화하는 실무 패턴

스파크 집계 심화: GroupBy vs Rollup vs Cube vs Pivot 사용 전략

spark

2022-09-02 3 분 소요

그룹 계층 요약은 rollup, 다차원 조합은 cube, 컬럼 값 재구성은 pivot—Spark 집계 연산 선택 기준과 성능 고려사항

스파크 집계 함수: 기본 집계→윈도우·롤업·큐브 전략

spark

2022-09-01 3 분 소요

count·sum 등 단일 집계부터 groupBy·window·rollup·cube 선택 기준과 요약 레벨 설계 시 셔플/성능 고려 포인트

스파크 날짜·Null·정렬·JSON 처리 30분 정리

spark

2022-09-01 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 다양한 데이터 타입을 다루는 내용입니다.

스파크 컬럼 표현식·문자열/수치/정규식 처리 핵심 패턴

spark

2022-08-31 3 분 소요

Column API와 lit/alias/regex 함수로 문자열 정제, isin/contains 필터링, pad/trim·정규식 추출 등 변환 조합 레시피

스파크 DataFrame 변환 기초와 실전 예제

spark

2022-08-27 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame의 트랜스포메이션의 기본 연산을 자세히 알아봅니다.

스파크 정형 API 기본 연산 실습 정리

spark

2022-08-26 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset의 기본 연산을 자세히 알아봅니다.

스파크 정형 API 전체 구조 한눈에 (DataFrame·SQL·Dataset)

spark

2022-08-26 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset을 자세히 알아봅니다.

스파크 Dataset & 정형 스트리밍 개요 가이드

spark

2022-08-25 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset, 정형 스트리밍, 머신러닝, RDD를 자세히 알아봅니다.

초보자를 위한 스파크 DataFrame·스키마·SQL 기초

spark

2022-08-23 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 DataFrame, 스키마, sql, 계보를 자세히 알아봅니다.

스파크 입문: 클러스터 구조·RDD→DataFrame 핵심 개념 빠른 이해

spark

2022-08-23 5 분 소요

클러스터 드라이버·익스큐터 역할, RDD→DataFrame 추상화, lazy evaluation·좁은/넓은 종속성과 셔플까지 Spark 기본 실행 흐름