스파크(Spark)

[Spark] pyspark를 이용한 간단한 추천 시스템 만들어보기

spark

2022-12-01 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 pyspark를 이용한 간단한 추천 시스템 만드는 것에 대해 알아봅니다.

[Spark] 스트림 처리 및 정형 스트리밍(Structured Streaming) 기초와 카프카 예제

spark

2022-11-29 8 분 소요

스파크의 스트림 처리와 정형 스트리밍(Structured Streaming)의 핵심 원리부터 마이크로 배치, 스트림 트랜스포메이션, 카프카(Kafka) 연동 및 출력 모드·트리거까지 종합적으로 정리합니다. 연속형 처리와 마이크로 배치의 차이를 살펴보고 센서 데이터셋 기반의 PySp...

[Spark] 클러스터에서 스파크 실행하기

spark

2022-09-26 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.

[Spark] GraphFrame을 활용한 그래프 분석 및 알고리즘

spark

2022-09-23 6 분 소요

Spark: The Definitive Guide 30장 Graph Analytics를 바탕으로 스파크 GraphFrame 라이브러리의 핵심을 다룬다. 정점(Vertex)과 에지(Edge) 기반의 그래프 생성 및 기본 DataFrame 쿼리, 서브그래프 추출, Cypher 표현식을...

[Spark] 저수준 API: 분산형 공유 변수

spark

2022-09-21 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 분산형 공유 변수에 대해 알아봅니다.

[Spark] 저수준 API: 키-값 형태의 RDD 고급 연산

spark

2022-09-17 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.

[Spark] 저수준 API: RDD 이해하기

spark

2022-09-16 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.

[Spark] 스칼라를 이용한 Dataset 관련 기능 정리

spark

2022-09-09 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset에 대해 알아봅니다.

[Spark] 스파크 SQL 정리 (실행방법, 테이블, 뷰, 데이터베이스, 함수, 서브쿼리)

spark

2022-09-07 10 분 소요

Spark The Definitive Guide 책을 중심으로 스파크 SQL의 핵심 개념과 실습 예제를 정리합니다. CLI·프로그래밍 인터페이스·쓰리프트 서버를 통한 쿼리 실행부터 카탈로그, 관리형·외부 테이블, 뷰, 데이터베이스 관리, 그리고 복합 데이터 타입·UDF·서브쿼리 활...

[Spark] SQLite, PostgreSQL, 텍스트 파일 데이터소스 읽고 쓰는 방법

spark

2022-09-06 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.

[Spark] CSV, JSON, Parquet, SQL DB 등 데이터소스에 대한 옵션 정리

spark

2022-09-05 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. 데이터 소스에 대한 모드, 옵션들을 알아봅니다.

[Spark] CSV, JSON, Parquet, ORC 데이터소스 읽고 쓰는 방법

spark

2022-09-04 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.

[Spark] 조인(join) 표현식, 타입 정리

spark

2022-09-03 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 조인에 대해 알아봅니다.

[Spark] 그룹화, 롤업, 큐브, 피벗 정리

spark

2022-09-02 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 그룹화에 대해 알아봅니다.

[Spark] 집계 연산, 함수, SQL 명령어 정리

spark

2022-09-01 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 집계 함수에 대해 알아봅니다.

[Spark] 날짜, 타임스탬프, null, 정렬, JSON 등의 데이터 타입 다루기

spark

2022-09-01 6 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 다양한 데이터 타입을 다루는 내용입니다.

[Spark] 불리언, 수치, 문자, 정규 표현식 등의 데이터 타입 다루기

spark

2022-08-31 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 다양한 데이터 타입을 다루는 내용입니다.

[Spark] 정형 API: DataFrame의 transformation 다루는 방법

spark

2022-08-27 5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame의 트랜스포메이션의 기본 연산을 자세히 알아봅니다.

[Spark] 정형 API 기본 연산에 대해 알아보기

spark

2022-08-26 2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset의 기본 연산을 자세히 알아봅니다.

[Spark] 정형 API: DataFrame, SQL, Dataset 알아보기

spark

2022-08-26 4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset을 자세히 알아봅니다.

[Spark] dataset, 정형 스트리밍, 머신러닝, RDD 기능들 쉽게 이해하기

spark

2022-08-25 6 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset, 정형 스트리밍, 머신러닝, RDD를 자세히 알아봅니다.

[Spark] DataFrame, 스키마, sql, 계보에 대한 정의 및 예제

spark

2022-08-23 3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 DataFrame, 스키마, sql, 계보를 자세히 알아봅니다.

[Spark] 빅데이터와 아파치 스파크란

spark

2022-08-23 6 분 소요

[Spark The Definitive Guide] 책을 중심으로 스파크를 요약 및 정리해보았습니다. 스파크(spark)는 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합입니다. 최근 머신러닝에도 활발히 사용되고 있습니다.