Categories

spark

스파크 PySpark 추천 시스템 구현 가이드

spark

2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 pyspark를 이용한 간단한 추천 시스템 만드는 것에 대해 알아봅니다.

스파크 정형 스트리밍 + 카프카 연동 실전

spark

3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 아파치 카프카를 이용한 정형 스트리밍 예제에 대해 알아봅니다.

스파크 Key-Value RDD 고급 연산 패턴

spark

4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.

스파크 RDD 저수준 API 개념과 활용

spark

5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.

스파크 DataFrame 변환 기초와 실전 예제

spark

4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame의 트랜스포메이션의 기본 연산을 자세히 알아봅니다.

스파크 정형 API 기본 연산 실습 정리

spark

2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset의 기본 연산을 자세히 알아봅니다.

스파크 Dataset & 정형 스트리밍 개요 가이드

spark

5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset, 정형 스트리밍, 머신러닝, RDD를 자세히 알아봅니다.

맨 위로 이동 ↑

OS

OS Concepts 10th 10장: Virtual Memory

OS

10 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 10. Virtual Memory (1)

OS Concepts 10th 9장: Main Memory

OS

14 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 9. Main Memory (1)

OS Concepts 10th 8장: Deadlocks

OS

9 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 8. Deadlocks

OS Concepts 10th 7장: Synchronization Examples

OS

4 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 7. Synchronization Examples

OS Concepts 10th 6장: Synchronization Tools

OS

9 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 6. Synchronization Tools

OS Concepts 10th 5장: CPU Scheduling

OS

10 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 5. CPU Scheduling (1)

OS Concepts 10th 4장: Threads & Concurrency

OS

7 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 4. Threads & Concurrency

OS Concepts 10th 3장: Processes

OS

13 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 3. Processes (1)

OS Concepts 10th 2장: OS Structures

OS

10 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 2. Operating System Structures

OS Concepts 10th 1장: Introduction

OS

15 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 1. Introduction (1)

운영체제 10장: 디스크 관리·스케줄링

OS

2 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 9장: 파일 시스템 구조

OS

4 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 8장: 가상 메모리 기법

OS

5 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 7장: 메모리 관리 기법

OS

7 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 6장: 교착상태 처리 전략

OS

3 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 5장: 프로세스 동기화 기법

OS

4 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 4장: CPU 스케줄링 알고리즘

OS

3 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 3장: 프로세스 개념·생명주기

OS

5 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 2장: 시스템 구조·실행 흐름

OS

3 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제 1장: OS 개요와 역할

OS

3 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

맨 위로 이동 ↑

paper

논문 리뷰: GraphX: Graph Processing in a Distributed Dataflow Framework

paper

11 분 소요

GraphX는 그래프 처리를 할때 기존 맵리듀스같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.

논문 리뷰: Pregel: A System for Large-Scale Graph Processing

paper

3 분 소요

Pregel은 대규모 그래프의 분산 처리를 해결하기 위해, 확장 가능하고(scalable) 장애 허용(fault tolerance) 플랫폼입니다. 정확한 이해를 위해 논문을 구체적으로 정리해보았습니다.

논문 리뷰: Kafka: a Distributed Messaging System for Log Processing

paper

7 분 소요

카프카는 발행 구독 모델을 구현한 분산 메시징 시스템으로, 실시간 데이터 피드를 관리하기 위해 통일된 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것을 목표로 합니다. 이에 기본이 되는 논문을 리뷰해보았습니다.

논문 리뷰: Resilient Distributed Datasets (RDD)

paper

11 분 소요

RDD는 스파크(spark)의 기본 데이터 구조입니다. 스파크를 이해하기 위해 RDD 원리를 이해하는 것이 필수이기 때문에 논문을 요약 및 정리해보았습니다.

논문 리뷰: MapReduce: Simplified Data Processing on Large Clusters

paper

8 분 소요

맵리듀스는 2004년 구글에서 발표한 빅데이터를 처리하고 생성하기 위한 프로그래밍 모델입니다. 키,값을 처리하여 중간 키,값 쌍 집합을 생성하는 map 함수와 동일한 키와 연관된 값을 merge하는 reduce 함수를 지정합니다.

논문 리뷰: The Google File System (GFS)

paper

14 분 소요

저자들은 2003년에 대규모 분산 데이터 집약적 애플리케이션을 위한 확장 가능한 분산 파일 시스템인 Goole File System을 설계하고 구현했습니다. 분산 파일 시스템의 가장 중요하면서 시초가 되는 논문이기에 리뷰해보았습니다.

논문 리뷰: Learning under Concept Drift: an Overview

paper

4 분 소요

컨셉 드리프트는 시간이 지남에 따라 예기치 않은 방식으로 변경되는 것을 의미합니다. 서베이 논문 형식으로 작성되었고, 이것을 리뷰해보았습니다.

논문 리뷰: A Data Quality-Driven View of MLOps

paper

4 분 소요

이 논문은 데이터 품질의 다양한 측면이 ML development 단계를 통해 어떻게 전파되는지를 고민했습니다. 이에 대한 요약 및 리뷰입니다.

맨 위로 이동 ↑

tips

맨 위로 이동 ↑

cs231n

CS231n 강의 11-1: 어텐션 개념 & Self-Attention 구조

cs231n

5 분 소요

본 글은 2022년 5월에 강의한 스탠포드 대학의 Attention and Transformers 2022년 강의를 듣고 정리한 내용입니다. seq2seq2, attention, image captioning, transformer 등이 그 예입니다.

CS231n 강의 9-2: 분할 기법 & 성능 향상 전략

cs231n

3 분 소요

본 글은 2022년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2022년 강의를 듣고 정리한 Object Detection에 대한 내용입니다.

CS231n 강의 8-1: 옵티마이저 동작 메커니즘 & 비교

cs231n

4 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture8 신경망 학습 중 옵티마이저, 학습률에 대해 정리했습니다.

CS231n 강의 7-1: 활성화 함수 특성 & 선택 기준

cs231n

2 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture7 신경망 학습 중 활성화 함수에 대해 정리했습니다.

CS231n 강의 6: PyTorch 실습 & 학습 가속 환경

cs231n

4 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture6 소프트웨어, 특히 pytorch에 대해 정리했습니다.

CS231n 강의 4: 신경망 구성 & 역전파 원리

cs231n

2 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture4 신경망과 역전파 알고리즘에 대해 정리했습니다.

CS231n 강의 3-2: 최적화 알고리즘 비교 & 실전 팁

cs231n

2 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture3 옵티마이저에 대해 정리했습니다.

CS231n 강의 5: CNN 구조 & 합성곱 연산 이해

cs231n

2 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture5 합성곱 신경망에 대해 정리했습니다.

맨 위로 이동 ↑

R_ML

맨 위로 이동 ↑

error

맨 위로 이동 ↑

SQL

MySQL 기초 문법 한눈에

SQL

6 분 소요

SQLD, 정보처리기사 실기 작업형 대비 또는 실무 적용을 위한 기본 내용입니다.

MySQL 테이블 생성·삭제

SQL

3 분 소요

SQLD, 정보처리기사 실기 작업형 대비 또는 실무 적용을 위한 심화 내용입니다.

맨 위로 이동 ↑

python

맨 위로 이동 ↑

keras

맨 위로 이동 ↑

llm

LLM: RAG 아키텍처 핵심 컴포넌트 & 설계 패턴

llm

8 분 소요

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 생성형 언어 모델의 능력을 외부의 검증 가능한 지식 소스와 연결하여 강화하는 아키텍처 패턴이다. 이 접근법은 전적으로 사전 훈련된 데이터에만 의존하는 모델의 내재적 한계를 해결하기 위해 고안되었다.

맨 위로 이동 ↑

code

맨 위로 이동 ↑

web

맨 위로 이동 ↑

hands_on

맨 위로 이동 ↑

survey_a

맨 위로 이동 ↑

docker

Docker & Kubernetes 핵심 개념 정리

docker

5 분 소요

개발 환경 불일치 문제를 해결하는 컨테이너 기술부터 대규모 배포를 자동화하는 쿠버네티스까지, 현대 개발의 핵심 3요소를 쉽고 명확하게 설명한다.

Docker 컨테이너 핵심 명령어 정리

docker

1 분 소요

윈도우 프롬프트, 리눅스 터미널 등에서 사용되는 도커 명령어, 옵션들을 정리해보았습니다. pull, run, start, stop, rm

Docker 파이썬 가상환경 이미지 배포 가이드

docker

2 분 소요

도커는 특정 프로그램의 배포 및 관리를 단순하게 해주는 오픈소스 플랫폼입니다. 이번 글에서는 도커를 이용해 간단하게 파이썬 가상환경 이미지를 배포해봅니다.

맨 위로 이동 ↑

git_blog

Google Analytics - UA/GA4의 차이

git_blog

1 분 소요

Git Blog에 구글 애널리틱스를 설정할 때, tracking_id를 UA-XXX로 해야 할지 G-XXX로 해야 할지 너무나 헷갈렸습니다. 나름 정리해서 헷갈림을 해소하려고 글을 남깁니다.

Jekyll 블로그: Mathjax로 수식 표현하기

git_blog

1 분 소요

Mathjax란 MathML, LaTeX 및 ASCIIMathML 마크 업을 사용하여 웹 브라우저에 수학 표기법을 표시하는 크로스 브라우저 JavaScript 라이브러리이다. 웹 사이트에서 수학식 표시가 가능하다.

맨 위로 이동 ↑

git

맨 위로 이동 ↑

mlops

MLOps: Concept Drift 탐지 전략 - 통계·모델 기반 방법 비교

mlops

5 분 소요

Concept Drift는 시간이 지남에 따라 데이터의 통계적인 특성이 변하는 것을 말합니다. 이에 학습된 모델은 자연스레 성능이 떨어지기 때문에 drift를 잘 감지해야 합니다. 감지하는 방법들이 무엇이 있는지 살펴봅니다.

맨 위로 이동 ↑

DS

맨 위로 이동 ↑

md

맨 위로 이동 ↑

java

맨 위로 이동 ↑

diapp

맨 위로 이동 ↑

hadoop

맨 위로 이동 ↑

linux

맨 위로 이동 ↑