스파크 PySpark 추천 시스템 구현 가이드
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 pyspark를 이용한 간단한 추천 시스템 만드는 것에 대해 알아봅니다.
Categories
- spark 26
- OS 20
- paper 20
- tips 18
- cs231n 16
- R_ML 13
- error 11
- SQL 9
- python 8
- keras 8
- llm 7
- code 6
- web 5
- hands_on 5
- survey_a 5
- docker 5
- git 4
- mlops 4
- git_blog 3
- DS 3
- md 2
- java 2
- diapp 2
- hadoop 2
- linux 1
spark
스파크 정형 스트리밍 + 카프카 연동 실전
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 아파치 카프카를 이용한 정형 스트리밍 예제에 대해 알아봅니다.
스파크 스트림 처리 입문: 정형 스트리밍 핵심 개념
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 스트림 처리 및 정형 스트리밍의 기초 개념 정리에 대해 알아봅니다.
스파크 클러스터 실행 가이드: 모드와 제출 흐름
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.
스파크 GraphFrame 알고리즘: PageRank 등 핵심
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.
스파크 GraphFrame 기초: 그래프·모티프 분석
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 그래프, 서브그래프, 모티프에 대해 알아봅니다.
스파크 분산형 공유 변수: 브로드캐스트 & 누산기
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 분산형 공유 변수에 대해 알아봅니다.
스파크 Key-Value RDD 고급 연산 패턴
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD 고급 연산에 대해 알아봅니다.
스파크 RDD 저수준 API 개념과 활용
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.
스파크: 스칼라를 이용한 Dataset 기능
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset에 대해 알아봅니다.
스파크 SQL 핵심: 데이터베이스·함수·서브쿼리 활용
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 스파크 SQL(데이터베이스, 함수, 서브쿼리)에 대해 알아봅니다.
스파크 SQL 실행 방법과 테이블·뷰 구조 이해
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 스파크 SQL(실행방법, 테이블, 뷰)에 대해 알아봅니다.
스파크 외부 데이터 연동: SQLite·PostgreSQL·텍스트
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.
스파크 데이터소스 옵션 총정리: 꼭 알아야 할 설정
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. 데이터 소스에 대한 모드, 옵션들을 알아봅니다.
스파크 파일 포맷 활용: CSV·JSON·Parquet·ORC 비교
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 데이터소스에 대해 알아봅니다.
스파크 조인: 내부·외부·세미·안티·브로드캐스트 선택 가이드
spark
조인 표현식 작성, join type별 유지 로우 차이, 스몰 테이블 broadcast 힌트로 셔플 최소화하는 실무 패턴
스파크 집계 심화: GroupBy vs Rollup vs Cube vs Pivot 사용 전략
spark
그룹 계층 요약은 rollup, 다차원 조합은 cube, 컬럼 값 재구성은 pivot—Spark 집계 연산 선택 기준과 성능 고려사항
스파크 집계 함수: 기본 집계→윈도우·롤업·큐브 전략
spark
count·sum 등 단일 집계부터 groupBy·window·rollup·cube 선택 기준과 요약 레벨 설계 시 셔플/성능 고려 포인트
스파크 날짜·Null·정렬·JSON 처리 30분 정리
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 다양한 데이터 타입을 다루는 내용입니다.
스파크 컬럼 표현식·문자열/수치/정규식 처리 핵심 패턴
spark
Column API와 lit/alias/regex 함수로 문자열 정제, isin/contains 필터링, pad/trim·정규식 추출 등 변환 조합 레시피
스파크 DataFrame 변환 기초와 실전 예제
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame의 트랜스포메이션의 기본 연산을 자세히 알아봅니다.
스파크 정형 API 기본 연산 실습 정리
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset의 기본 연산을 자세히 알아봅니다.
스파크 정형 API 전체 구조 한눈에 (DataFrame·SQL·Dataset)
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset을 자세히 알아봅니다.
스파크 Dataset & 정형 스트리밍 개요 가이드
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 dataset, 정형 스트리밍, 머신러닝, RDD를 자세히 알아봅니다.
초보자를 위한 스파크 DataFrame·스키마·SQL 기초
spark
Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 DataFrame, 스키마, sql, 계보를 자세히 알아봅니다.
스파크 입문: 클러스터 구조·RDD→DataFrame 핵심 개념 빠른 이해
spark
클러스터 드라이버·익스큐터 역할, RDD→DataFrame 추상화, lazy evaluation·좁은/넓은 종속성과 셔플까지 Spark 기본 실행 흐름
OS
OS Concepts 10th 10장: Virtual Memory
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 10. Virtual Memory (1)
OS Concepts 10th 9장: Main Memory
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 9. Main Memory (1)
OS Concepts 10th 8장: Deadlocks
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 8. Deadlocks
OS Concepts 10th 7장: Synchronization Examples
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 7. Synchronization Examples
OS Concepts 10th 6장: Synchronization Tools
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 6. Synchronization Tools
OS Concepts 10th 5장: CPU Scheduling
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 5. CPU Scheduling (1)
OS Concepts 10th 4장: Threads & Concurrency
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 4. Threads & Concurrency
OS Concepts 10th 3장: Processes
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 3. Processes (1)
OS Concepts 10th 2장: OS Structures
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 2. Operating System Structures
OS Concepts 10th 1장: Introduction
OS
본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 1. Introduction (1)
운영체제 10장: 디스크 관리·스케줄링
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 9장: 파일 시스템 구조
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 8장: 가상 메모리 기법
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 7장: 메모리 관리 기법
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 6장: 교착상태 처리 전략
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 5장: 프로세스 동기화 기법
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 4장: CPU 스케줄링 알고리즘
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 3장: 프로세스 개념·생명주기
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 2장: 시스템 구조·실행 흐름
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
운영체제 1장: OS 개요와 역할
OS
본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.
paper
논문 리뷰: Annotating Columns with Pre-trained Language Models (DODUO)
paper
DODUO는 테이블의 전체를 입력으로 받아 테이블의 여러 컬럼 정보들을 이용하여 컬럼 유형과 컬럼 관계 예측을 출력하는 트랜스포머 기반 멀티태스크 학습 아키텍처입니다. 본 논문을 리뷰해보았습니다.
논문 리뷰: Quasar: Resource-Efficient and QoS-Aware Cluster Management
paper
퀘이사(quasar) 클러스터 관리자는 각 워크로드에 대한 성능 및 QoS 제약 조건을 충족하면서 리소스 활용을 극대화해줍니다. 퀘이사 논문을 개인 공부 및 리뷰를 위해 써보았습니다.
논문 리뷰: PowerGraph: Distributed Graph-Parallel Computation on Natural Graphs
paper
PowerGraph는 Gather, Apply, Scatter 기능을 구현하여 그래프 처리를 하는 방법을 제안했습니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
논문 리뷰: Distributed GraphLab: A Framework for Machine Learning
paper
GraphLab은 각 정점이 인접한 정점과 에지의 데이터를 읽고 쓸 수 있는 순차적 공유 메모리 추상화입니다. large scale graph processing 분야에서 꼭 읽어봐야 할 논문 중 하나라고 생각됩니다.
논문 리뷰: GraphX: Graph Processing in a Distributed Dataflow Framework
paper
GraphX는 그래프 처리를 할때 기존 맵리듀스같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.
논문 리뷰: Pregel: A System for Large-Scale Graph Processing
paper
Pregel은 대규모 그래프의 분산 처리를 해결하기 위해, 확장 가능하고(scalable) 장애 허용(fault tolerance) 플랫폼입니다. 정확한 이해를 위해 논문을 구체적으로 정리해보았습니다.
논문 리뷰: Kafka: a Distributed Messaging System for Log Processing
paper
카프카는 발행 구독 모델을 구현한 분산 메시징 시스템으로, 실시간 데이터 피드를 관리하기 위해 통일된 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것을 목표로 합니다. 이에 기본이 되는 논문을 리뷰해보았습니다.
논문 리뷰: Resilient Distributed Datasets (RDD)
paper
RDD는 스파크(spark)의 기본 데이터 구조입니다. 스파크를 이해하기 위해 RDD 원리를 이해하는 것이 필수이기 때문에 논문을 요약 및 정리해보았습니다.
논문 리뷰: MapReduce: Simplified Data Processing on Large Clusters
paper
맵리듀스는 2004년 구글에서 발표한 빅데이터를 처리하고 생성하기 위한 프로그래밍 모델입니다. 키,값을 처리하여 중간 키,값 쌍 집합을 생성하는 map 함수와 동일한 키와 연관된 값을 merge하는 reduce 함수를 지정합니다.
논문 리뷰: The Google File System (GFS)
paper
저자들은 2003년에 대규모 분산 데이터 집약적 애플리케이션을 위한 확장 가능한 분산 파일 시스템인 Goole File System을 설계하고 구현했습니다. 분산 파일 시스템의 가장 중요하면서 시초가 되는 논문이기에 리뷰해보았습니다.
논문 리뷰: Unsupervised Model Drift Estimation with Batch Normalization Statistics
papermlops
저자들은 label이 없는 test 데이터에 대한 배치 정규화 층의 특성을 이용하여 model drift estimation 방법을 제안합니다. 또한 input 데이터의 샘플링 오류를 해결하기 위해 각 표현 계층에 행렬 분해를 채택했습니다.
논문 리뷰: Scalable Detection of Concept Drifts on Data Streams with Parallel Adaptive Windowing
paper
Adaptive Windowing (ADWIN)은 윈도우 기반 드리프트 감지 기법입니다. 하지만, 이 기법은 메모리 사용량이 많이 요구되는 단점이 있습니다. 이 논문은 병렬화를 통해 극복하려고 했습니다.
논문 리뷰: Fast Hoeffding Drift Detection Method for Evolving Data Streams (FHDDM)
papermlops
FHDDM은 sliding window와 hoeffding을 이용하여 계산량을 줄이고 concept drift를 더 잘 detect하는 기법입니다.
논문 리뷰: Characterizing signal propagation to close the performance gap in unnormalized resnets (NF-ResNet)
paper
배치 정규화는 SOTA 이미지 분류기에서 대다수 사용하고 있었습니다. NF-Resnet은 배치 정규화의 단점들을 명시하고 이를 대체해 당시 SOTA인 EfficientNet과 경쟁을 이뤘습니다.
논문 리뷰: Aggregated Residual Transformations for Deep Neural Networks (ResNeXt)
paper
ResNeXt는 ResNet 성능을 한 단계 향상시켜 ILSVRC 2016 대회에서 2등을 차지한 모델입니다.
논문 리뷰: Squeeze-and-Excitation Networks (SENet)
paper
SENet은 Squeeze와 Excitation이라는 연산작업으로 정보의 압축하고 재조정하여 ILSVRC 2017에서 우승합니다.
논문 리뷰: High-Performance Large-Scale Image Recognition Without Normalization (NFNet)
paper
NFNet은 imagenet 데이터셋에서 배치 정규화없이 ResNet을 학습시켰습니다. 그 결과, imagenet에서 SOTA를 갱신한 모델이 되었습니다.
논문 리뷰: Deep Residual Learning for Image Recognition (ResNet)
paper
그 유명한 ResNet은 152층까지 네트워크를 쌓아올리는 데 성공하며 ILSVRC 2015 classification competition에서 우승하게 됩니다. 그리고 처음으로 3.57%의 top5 에러율을 달성했습니다.
논문 리뷰: Learning under Concept Drift: an Overview
paper
컨셉 드리프트는 시간이 지남에 따라 예기치 않은 방식으로 변경되는 것을 의미합니다. 서베이 논문 형식으로 작성되었고, 이것을 리뷰해보았습니다.
논문 리뷰: A Data Quality-Driven View of MLOps
paper
이 논문은 데이터 품질의 다양한 측면이 ML development 단계를 통해 어떻게 전파되는지를 고민했습니다. 이에 대한 요약 및 리뷰입니다.
tips
macOS(M1) Hadoop·Spark 단일 노드 설치: JDK·SSH·환경변수·데몬
tipshadoop
M1 macOS에서 JDK 확인→SSH 무암호 설정→Hadoop/HDFS 포맷→Spark 실행까지 단일 노드 개발 환경 구성 절차
Windows10 정밀 터치패드: 드라이버 적용·제스처 커스터마이징·단축키 활용
tips
정밀 터치패드 지원 여부 확인 후 드라이버 설치, 제스처/감도 옵션 활성화, 크롬·창 전환·개발 작업 효율을 높이는 핵심 단축키 정리
Windows10·Ubuntu Docker 엔진/데스크톱 설치: 저장소 등록·권한·검증
tipsdocker
Ubuntu apt 저장소 구성→엔진 설치·도커 그룹 권한·hello-world 실행, Windows는 Docker Desktop·WSL2 통합까지 비교 정리
Ubuntu 22.04 설정: 테마 커스터마이징 & 필수 패키지 설치 체크리스트
tips
우분투를 여러 번 포맷하면서 다시금 정리할 필요성을 느꼈습니다. 제가 쓰는 환경에 대해 처음부터 끝까지 모든 것을 다루겠습니다.
Docker HDP(Hortonworks) 샌드박스: 설치·포트·서비스 기동 가이드
tips
Docker 기반 HDP 샌드박스 이미지 다운로드부터 메모리/포트 설정, Ambari로 HDFS·YARN·Hive 서비스 기동 확인 단계별 정리
Windows10 WSL2: Ubuntu 설치·업그레이드·기본 설정 완전 가이드
tips
Windows10에서 WSL2 활성화→커널 업데이트→Ubuntu 설치 후 사용자·패키지·파일시스템·GPU 연동(옵션)까지 초기 설정 절차
Ubuntu 20.04: NVIDIA Driver·CUDA·cuDNN·PyTorch 설치 전체 가이드
tips
Ubuntu 20.04에서 NVIDIA 드라이버→CUDA 11.x→cuDNN→PyTorch까지 버전 호환 문제 없이 설치·검증하는 절차와 오류 예방 체크리스트
Windows10: TensorFlow·PyTorch GPU 환경 최신 버전 설치 전체 절차
tips
Windows10에서 Anaconda→NVIDIA Driver→CUDA 11.x→cuDNN→가상환경 순으로 TensorFlow·PyTorch GPU 세팅하고 버전 호환 검증하는 과정
VSCode 완전 초기화: 사용자 설정·캐시·확장 정리 절차
tips
느려진 VSCode를 기본 상태로 되돌리기 위해 사용자 폴더·Roaming 캐시·확장 흔적을 백업 후 제거하는 2단계 복원 가이드
Windows10 KoNLPy 설치: JPype·JAVA 버전 호환 에러 방지 절차
tips
KoNLPy 형태소 분석기를 사용하기 위해 JDK·JPype 버전 맞춤, 환경변수(JAVA_HOME) 설정과 pip 설치 오류 해결 방법 정리
Ubuntu·Windows10: Git 설치 & 기본 설정 (user.name·SSH 키)
tips
Ubuntu/WSL·Windows에서 Git 설치 후 전역 user/email, SSH 키/credential 캐시까지 초기 설정을 완료하는 실무 시작 가이드
코딩 생산성·품질 향상 VSCode 확장 12선 (테스트·디버깅·미리보기)
tips
테스트 자동화·디버깅·라이브 리로드·가독성·문법 검사 등 워크플로 속도를 올리는 VSCode 확장 12개 핵심 기능 요약
데이터·ML 생산성 향상 VSCode 확장 14선 (자동완성·분석·Git)
tips
Python·Jupyter·Git 워크플로를 가속하는 VSCode 확장 14개: 자동완성, 타입 검사, 버전관리, 협업·시각화 중심 추천
Jupyter Notebook 단축키 핵심: 셀 편집·명령·실행 속도 향상
tips
모드 전환, 셀 추가/삭제, 다중 실행·커서·코드 일괄 편집 등 생산성을 높이는 필수·고급 단축키 정리
Windows10 CUDA 11.0: GPU 인식 확인 및 기본 활용 체크
tips
Windows10에서 CUDA 11.0 설치 후 nvidia-smi·Python 확인·PyTorch/TensorFlow 테스트로 GPU 동작 점검하는 체크리스트
Windows10 PyTorch 설치: CUDA 버전 선택과 conda/pip 설치 커맨드
tips
Windows10에서 CUDA 호환표 확인 후 conda·pip 중 선택해 PyTorch 특정 버전을 설치하고 import torch로 GPU 인식 검증
Jupyter·Colab 한글 깨짐: 폰트 설정·unicode_minus 해결 코드
tips
맑은고딕 폰트 등록과 matplotlib 한글/음수 기호 깨짐을 동시에 해결하는 플랫폼별 설정 스니펫
Windows10 TensorFlow GPU: CUDA·cuDNN 버전 매칭 & 설치 검증
tips
TensorFlow GPU 실행을 위한 CUDA·cuDNN 버전 선정, 환경변수(PATH) 구성과 tf.config.list_physical_devices(‘GPU’)로 검증하는 절차
cs231n
CS231n 강의 11-2: 트랜스포머 구성 요소 & 응용
cs231n
본 글은 2022년 5월에 강의한 스탠포드 대학의 Attention and Transformers 2022년 강의를 듣고 정리한 내용입니다. attention, self-attention, transformer 등이 그 예입니다.
CS231n 강의 11-1: 어텐션 개념 & Self-Attention 구조
cs231n
본 글은 2022년 5월에 강의한 스탠포드 대학의 Attention and Transformers 2022년 강의를 듣고 정리한 내용입니다. seq2seq2, attention, image captioning, transformer 등이 그 예입니다.
CS231n 강의 10-2: LSTM 구조 & 장기 의존 해결
cs231n
본 글은 2022년 4월에 강의한 스탠포드 대학의 Recurrent Neural Networks 2022년 강의를 듣고 정리한 내용입니다. Lecture 10 RNN, LSTM 등이 그 예입니다.
CS231n 강의 9-2: 분할 기법 & 성능 향상 전략
cs231n
본 글은 2022년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2022년 강의를 듣고 정리한 Object Detection에 대한 내용입니다.
CS231n 강의 9-1: 객체 탐지 기본 개념 & 영역 제안
cs231n
본 글은 2022년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2022년 강의를 듣고 정리한 semantic segmentation에 대한 내용입니다.
CS231n 강의 10-1: RNN 구조 & 시퀀스 모델링 기초
cs231n
본 글은 2022년 4월에 강의한 스탠포드 대학의 Recurrent Neural Networks 2022년 강의를 듣고 정리한 내용입니다. Lecture 10 RNN, LSTM 등이 그 예입니다.
CS231n 강의 8-2: 정규화 기법 & 하이퍼파라미터 튜닝 전략
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture8 신경망 학습 중 규제, 하이퍼파라미터에 대해 정리했습니다.
CS231n 강의 8-1: 옵티마이저 동작 메커니즘 & 비교
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture8 신경망 학습 중 옵티마이저, 학습률에 대해 정리했습니다.
CS231n 강의 7-2: 가중치 초기화·배치정규화·전이학습 핵심
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture7 신경망 학습 중 데이터 전처리부터 전이 학습까지에 대해 정리했습니다.
CS231n 강의 7-1: 활성화 함수 특성 & 선택 기준
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture7 신경망 학습 중 활성화 함수에 대해 정리했습니다.
CS231n 강의 6: PyTorch 실습 & 학습 가속 환경
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture6 소프트웨어, 특히 pytorch에 대해 정리했습니다.
CS231n 강의 4: 신경망 구성 & 역전파 원리
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture4 신경망과 역전파 알고리즘에 대해 정리했습니다.
CS231n 강의 3-1: 손실 함수 기초 & 경사 하강 직관
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture3 손실함수에 대해 정리했습니다.
CS231n 강의 3-2: 최적화 알고리즘 비교 & 실전 팁
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture3 옵티마이저에 대해 정리했습니다.
CS231n 강의 5: CNN 구조 & 합성곱 연산 이해
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture5 합성곱 신경망에 대해 정리했습니다.
CS231n 강의 2: 이미지 분류 기본 개념 & 파이프라인
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture2 이미지 분류에 대해 정리했습니다.
R_ML
빅데이터분석기사 실기 4단원: 빅데이터 결과해석 핵심 48문제 정리
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 문제풀이 내용입니다. - 4단원. 빅데이터 결과해석
빅데이터분석기사 실기 3단원: 빅데이터 모델링 핵심 44문제 정리
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 문제풀이 내용입니다. - 3단원. 빅데이터 모델링
빅데이터분석기사 실기 2단원: 빅데이터 탐색 핵심 39문제 정리
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 문제풀이 내용입니다. - 2단원. 빅데이터 탐색
빅데이터분석기사 실기 1단원: 빅데이터 분석 기획 핵심 46문제 정리
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 문제풀이 내용입니다. - 1단원. 빅데이터 분석 기획
빅데이터분석기사 실기 제2유형: 통계·모델링 문제 풀이 전략
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 문제풀이 내용입니다.
빅데이터분석기사 실기 제1유형: 21문제 핵심 풀이 & 실수 포인트
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 문제풀이 내용입니다. - 1~21번
2021년 2회 빅데이터분석기사 실기 기출: 복원 & 핵심 해설
R_ML
2021년 제 3회 빅데이터분석기사 실기를 위한 기출문제풀이 내용입니다.
빅데이터분석기사 실기 작업형 6: 앙상블·연관분석·클러스터링 확장
R_ML
본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.
빅데이터분석기사 실기 작업형 5: 의사결정나무~나이브베이즈 분류 전략
R_ML
본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.
빅데이터분석기사 실기 작업형 4: PCA~로지스틱 회귀 모델링 흐름
R_ML
본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.
빅데이터분석기사 실기 작업형 3: 데이터 정제·변환 실무 테크닉
R_ML
본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.
빅데이터분석기사 실기 작업형 2: 데이터 수집·전처리 실습 패턴
R_ML
본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.
빅데이터분석기사 실기 작업형 1: R 기본 문법 핵심 기초 다지기
R_ML
본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.
error
에러 해결: Graphviz ExecutableNotFound - 설치 & PATH 설정
error
Graphviz ExecutableNotFound 발생 시 패키지 설치, PATH 등록, platform 별 확인 방법
에러 해결: TensorFlow2 ‘tf.gradients not supported’ → GradientTape 대체
error
TensorFlow2에서 tf.gradients 제거로 인한 오류 발생 시 GradientTape 기반 재작성 가이드
에러 해결: 리눅스 Python 가상환경 생성(venv) 오류 & 권한 해결
error
Linux에서 venv 생성 실패(권한/누락 패키지) 발생 시 의존 패키지 설치 및 권한 정비
에러 해결: zip/unzip 명령 사용 및 압축 해제 실패 시 점검 포인트
error
CLI에서 zip/unzip 사용 중 권한·경로·인코딩 문제 발생 시 점검 및 해결 절차
에러 해결: R 패키지 설치 Permission denied 권한 문제 해결
error
R 패키지 설치 시 Permission denied 오류 원인(라이브러리 경로/권한)과 수정 전략
에러 해결: TensorFlow ‘Your input ran out of data’ 경고 원인 & 해결
error
TensorFlow 학습 중 Your input ran out of data 경고 발생 조건과 데이터 제너레이터 수정법
에러 해결: ModuleNotFoundError ‘tensorflow.keras’ 원인 & 설치 방법
error
tensorflow.keras 모듈 로드 실패 시 환경 충돌/버전 문제 진단 및 패키지 재설치 절차
에러 해결: Keras ImportError ‘cannot import get_config’ 원인 & 해결
error
Keras get_config 임포트 실패의 버전/네임스페이스 원인과 모듈 재정렬 및 업그레이드 방법
에러 해결: NotImplementedError - Tensor를 NumPy로 변환 실패 시 대처
error
Tensor -> NumPy 변환 시 NotImplementedError 발생 원인(그래프 모드/디바이스)과 안전한 변환 방법
에러 해결: Conda NonMatchingChecksumError 패키지 검증 실패 조치
error
Conda NonMatchingChecksumError 발생 시 캐시 정리·미러 변경·채널 재구성 절차
에러 해결: Jupyter ‘Kernel died’ & AttributeError 발생 원인과 조치
error
Jupyter Notebook 실행 중 Kernel died와 SelectIOLoop AttributeError 발생 시 재설치 및 ipykernel 초기화 대응 요약
SQL
MySQL 패턴매칭 LIKE·정규식
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 윈도우 프레임 활용
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 날짜 함수·CTE
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 조건문 IF·CASE
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 집합 연산자·JOIN
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 서브쿼리·IN 활용
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 윈도우 함수 LAG·LEAD
SQL
실무 적용 및 SQL 코테를 위한 자료입니다.
MySQL 기초 문법 한눈에
SQL
SQLD, 정보처리기사 실기 작업형 대비 또는 실무 적용을 위한 기본 내용입니다.
MySQL 테이블 생성·삭제
SQL
SQLD, 정보처리기사 실기 작업형 대비 또는 실무 적용을 위한 심화 내용입니다.
python
Effective Python 5장: 클래스·인터페이스 설계 패턴 & 유지보수성
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 클래스, 인터페이스, 제너릭, 믹스인, collections
Effective Python 4장: 컴프리헨션·제너레이터 활용과 메모리 효율
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 컴프리헨션, 대입식, 제너레이터, 이터레이션, yield, yield from, throw, itertools
Effective Python 3장: 함수 설계 원칙 & 가독성 향상 기법
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. try, exception, 언패킹, 타입 애너테이션, 클로저, 위치 인자, args, kwargs, 데코레이터
Effective Python 2장: 리스트·딕셔너리 활용 패턴 & 성능 팁
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 시퀀스, 슬라이싱, 스트라이드, 언패킹, key, 딕셔너리, in, get, defaultdict, missing
Effective Python 1장: 파이썬다운 사고방식 & 코드 스타일 원칙
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. PEP 8 style, f-문자열, 도우미 함수, 대입, enumerate, zip, 반복문, 대입식…
Python Pandas: 데이터 선택·정제·집계·조인 & Titanic 실전 예제
python
Titanic 예제로 Series/DataFrame 구조, 인덱싱·정제·GroupBy·피벗·조인·집계 패턴과 자주 하는 실수 방지 TIP
Python Seaborn: 분포·범주·관계·행렬 플롯 선택 & 테마 활용
python
분포/범주/관계/행렬 플롯 선택 기준과 팔레트·FacetGrid·스타일 설정으로 탐색형 데이터 시각화 흐름 구축
Python Matplotlib: Figure·Axes 구조와 축·범례·스타일 실전 튜닝
python
Figure/Axes 개념 이해 후 기본 플롯, 축/범례/폰트/레이아웃 조정 및 겹침·회전·한글 폰트 문제 해결 패턴
keras
케라스 8장: 생성 모델 기초 - LSTM 생성·오토인코더·스타일 전이
keras
텍스트 시퀀스 샘플링, 잠재 공간 압축(오토인코더), 합성 스타일 트랜스퍼 파이프라인 핵심 단계 요약
케라스 7장: 함수형 API·다중 입출력·콜백·모니터링 전략
keras
Sequential 한계 극복하는 DAG 모델 구성, 조기 종료·체크포인트·TensorBoard로 실험 가시화/안정화
케라스 6장: 임베딩→RNN/LSTM 시퀀스 모델링 핵심 흐름
keras
텍스트 벡터화, 임베딩 학습, 순환 구조(LSTM) 장점과 시퀀스 분류/생성 기본 패턴 정리
케라스 5장: CNN 합성곱·풀링 계층과 데이터 증강 실전
keras
패딩·스트라이드·필터로 특징 계층화, overfitting 완화를 위한 증강(ImageDataGenerator) 전략 정리
케라스 4장: 일반화 vs 과적합·정규화 기법 비교
keras
훈련/검증 분리 의미, 편향·분산 균형, 드롭아웃·가중치 규제·데이터 증강 적용 포인트
케라스 3장: 첫 분류 모델 구축 - 데이터 전처리→훈련→평가
keras
입력 텐서 준비, 모델 정의(층 스택), 손실·옵티마이저 선택, 훈련·검증 루프와 과적합 신호 확인 절차
케라스 2장: 텐서 구조·브로드캐스팅·자동미분 작동 원리
keras
텐서 차원/형상, 연산 그래프와 자동미분 흐름, 가중치 업데이트 수학을 직관 위주로 해부
케라스 1장: 딥러닝 정의·역사·활용 영역 빠른 개관
keras
AI→ML→DL 계층 관계, 대표 활용 분야, 데이터·표현 학습 핵심 개념을 구조도로 정리해 방향 감 잡기
llm
LLM: MCP(Model Context Protocol) - 멀티툴 확장 구조 이해 및 활용
llm
N×M 통합 지옥을 끝내고 에이전트·도구 연결을 표준화하는 MCP의 핵심 개념, 아키텍처, 생태계, 보안까지 한 번 정리해본다.
LLM: RAG 성능 향상 청킹 전략 - 분할 기준·길이·오버랩 튜닝
llm
청킹(Chunking)이란 AI가 방대한 문서의 내용을 정확하고 효율적으로 검색할 수 있도록 의미 있는 작은 단위로 분할하는 핵심 과정이다.
LLM: GraphRAG with Neo4j - 지식 그래프 확장 검색 설계
llm
기존 RAG의 한계를 넘어선 GraphRAG를 Neo4j로 구현하는 방법, 단계별로 따라 해본다.
LLM: RAG 아키텍처 핵심 컴포넌트 & 설계 패턴
llm
검색 증강 생성(Retrieval-Augmented Generation, RAG)은 생성형 언어 모델의 능력을 외부의 검증 가능한 지식 소스와 연결하여 강화하는 아키텍처 패턴이다. 이 접근법은 전적으로 사전 훈련된 데이터에만 의존하는 모델의 내재적 한계를 해결하기 위해 고안되었다.
LLM: LangGraph 구조·동작 원리 & 실전 워크플로 예제
llm
LangGraph는 기존 LangChain의 한계를 뛰어넘어 복잡한 AI 워크플로우를 그래프 구조로 설계하고 구현할 수 있게 해주는 혁신적인 프레임워크입니다.
LLM: 모델 경량화 총정리 - 양자화·프루닝·지식증류 핵심 비교
llm
프루닝(Pruning), 양자화(Quantization), 지식 증류(Knowledge Distillation), 리랭킹(Reranking), 파라미터 공유(Parameter Sharing) 등
LLM: 벡터DB 선택 가이드 - 구조·검색전략·운영 체크리스트
llm
벡터 데이터베이스의 개념, 특징, 주요 종류(Pinecone, Milvus, Weaviate 등) 비교 및 사용 사례별 선택 가이드를 제공합니다. AI 및 RAG 아키텍처의 핵심 기술을 알아보세요.
code
PyTorch Lightning + Weights & Biases: MNIST 실험 템플릿 자동화
code
Lightning Module·Trainer 구조로 학습 루프/로깅 추상화하고 W&B 연동으로 실험 추적·메트릭 시각화 자동화하는 워크플로
ResNeXt50 Scratch: Cardinality(그룹) 확장으로 성능/파라미터 균형
code
Split-Transform-Merge·grouped conv(cardinality) 설계를 ResNet과 비교 구현하며 파라미터 증가 없이 표현력 높이는 원리 분석
ResNet152 Scratch 구현: Bottleneck 블록 설계·스킵연결·깊이 확장
code
Bottleneck 구조 채널 압축·확장, identity/다운샘플 경로와 layer 스택 구성을 직접 코드로 구현해 깊은 네트워크 학습 안정 원리 이해
LeNet 기본 CNN: 역사적 구조 이해 & CIFAR10 증강(PyTorch) 실습
code
LeNet-5 계층(Conv·Subsampling·FC) 흐름을 CIFAR10에 적용하며 증강·학습 루프·역전파 과정을 PyTorch로 단계 구현
ResNet50 전이학습: 사전학습 가중치 재구성 & FashionMNIST 미세조정
code
ResNet 잔차 블록 개념과 layer 동결·부분 해제·맞춤 Linear 헤드 교체·학습률 전략으로 소규모 FashionMNIST를 효율 미세조정
AlexNet 구조 분석 & PyTorch 구현: LRN·Dropout·Data Augmentation
code
ImageNet 우승 모델 AlexNet의 LRN·드롭아웃·데이터 증식 아이디어를 Fashion/CIFAR 예제로 PyTorch로 모듈별 분해 구현
web
REST API 쉽게 이해하기: 기본 개념부터 좋은 설계까지
web
REST API가 무엇인지, 왜 중요한지 비개발자도 이해할 수 있도록 쉽게 설명한다. 좋은 API를 만들기 위한 핵심 원칙과 설계 방법을 알아본다.
FastAPI 프로덕션 가이드: 핵심 원리부터 배포, 운영까지
web
FastAPI의 핵심 구성요소와 제어 흐름을 이해하고, Pydantic을 활용한 데이터 유효성 검사, 비동기 처리, 스트리밍, 보안, 버전 관리, 캐싱, 문서화 등 프로덕션급 API 개발 및 운영 전략을 정리한다.
Bootstrap 활용: 그리드·컴포넌트·반응형 레이아웃 실전
web
본 글은 패스트캠퍼스의 한 번에 끝내는 파이썬 웹 개발 초격차 패키지 강의를 개인 실습하여 정리했습니다. 문법 및 github 예제로 실습
CSS 기초: 선택자·박스모델·레이아웃 핵심 속성 정리
web
본 글은 패스트캠퍼스의 한 번에 끝내는 파이썬 웹 개발 초격차 패키지 강의를 개인 실습하여 정리했습니다.
HTML 기초: 구조·시맨틱 태그 & 필수 패턴 이해
web
본 글은 패스트캠퍼스의 한 번에 끝내는 파이썬 웹 개발 초격차 패키지 강의를 개인 실습하여 정리했습니다.
hands_on
핸즈온 머신러닝 14장: CNN 기반 컴퓨터 비전 핵심 개념 & 실전 팁
hands_on
part 2 신경망과 딥러닝 부분을 개인공부를 목적으로 내용 요약 및 정리한 글입니다. - 합성곱 신경망을 사용한 컴퓨터 비전
핸즈온 머신러닝 13장: 대용량 데이터 적재·전처리 파이프라인 구축
hands_on
part 2 신경망과 딥러닝 부분을 개인공부를 목적으로 내용 요약 및 정리한 글입니다. - 텐서플로에서 데이터 적재와 전처리하기
핸즈온 머신러닝 12장: 텐서플로 사용자 정의 모델·레이어·훈련 루프 구현
hands_on
part 2 신경망과 딥러닝 부분을 개인공부를 목적으로 내용 요약 및 정리한 글입니다. - 텐서플로를 사용한 사용자 정의 모델과 훈련
핸즈온 머신러닝 11장: 심층 신경망 훈련 – 최적화와 규제 핵심 기법
hands_on
part 2 신경망과 딥러닝 부분을 개인공부를 목적으로 내용 요약 및 정리한 글입니다. - 심층 신경망 훈련하기
핸즈온 머신러닝 10장: 케라스 기본 신경망 구성 & 첫 모델 훈련
hands_on
part 2 신경망과 딥러닝 부분을 개인공부를 목적으로 내용 요약 및 정리한 글입니다. - 케라스를 사용한 인공 신경망 소개
survey_a
사회조사분석사 2급 필기 3-2: 사회통계 추론·가설검정 핵심
survey_a
Chapter3_3. 통계적 추정 - 추정 개요, 점추정, 구간추정, Chapter3_4. 가설검정 - 검정통계량, Chapter3_5. 통계분석 - 교차분석, 분산분석, 상관분석, 회귀분석
사회조사분석사 2급 필기 3-1: 사회통계 기초(변수·척도·분포)
survey_a
Chapter3_1. 기술통계 - 대푯값, 산포도, 비대칭도, Chapter3_2. 확률과 확률분포 - 확률 및 확률변수, 확률분포
사회조사분석사 2급 필기 2: 조사방법론 품질·오류 관리
survey_a
Chapter1_2. 자료수집방법 - 자료수집방법의 종류, Chapter1_3. 질문지 설계 및 조사관리 - 질문지의 설계, 자료의 정리
사회조사분석사 2급 필기 1-2: 조사방법론 설계·표본 추출
survey_a
Chapter1_2. 자료수집방법 - 자료수집방법의 종류, Chapter1_3. 질문지 설계 및 조사관리 - 질문지의 설계, 자료의 정리
사회조사분석사 2급 필기 1-1: 조사방법론 기초 개념 핵심정리
survey_a
Chapter1_1. 사회과학적 방법 - 총설, 조사연구, 조사연구의 설계, 연구의 요소
docker
Docker Compose, Ingress, PV, Managed Kubernetes: 프로덕션 로드맵
docker
멀티 컨테이너 정의(Docker Compose) → L7 트래픽 게이트웨이(Ingress) → 상태 데이터 영속성(PV/PVC/StorageClass) → 관리형 쿠버네티스(EKS/GKE/AKS) 선택까지 필수 개념과 실전 예제를 단계별로 정리한다.
Docker & Kubernetes 핵심 개념 정리
docker
개발 환경 불일치 문제를 해결하는 컨테이너 기술부터 대규모 배포를 자동화하는 쿠버네티스까지, 현대 개발의 핵심 3요소를 쉽고 명확하게 설명한다.
Windows10·Ubuntu Docker 엔진/데스크톱 설치: 저장소 등록·권한·검증
tipsdocker
Ubuntu apt 저장소 구성→엔진 설치·도커 그룹 권한·hello-world 실행, Windows는 Docker Desktop·WSL2 통합까지 비교 정리
Docker 컨테이너 핵심 명령어 정리
docker
윈도우 프롬프트, 리눅스 터미널 등에서 사용되는 도커 명령어, 옵션들을 정리해보았습니다. pull, run, start, stop, rm
Docker 파이썬 가상환경 이미지 배포 가이드
docker
도커는 특정 프로그램의 배포 및 관리를 단순하게 해주는 오픈소스 플랫폼입니다. 이번 글에서는 도커를 이용해 간단하게 파이썬 가상환경 이미지를 배포해봅니다.
git
Git 변경 되돌리기: amend·reset·revert 안전 활용 가이드
git
실수 복구 관점으로 정리한 amend·reset·revert 차이와 안전한 롤백 전략, 워킹 디렉터리/스테이징 영역 다루기
Git 기초: add·commit·push 흐름 & 필수 명령 이해
git
Git 기본 워크플로우(add→commit→push)와 자주 쓰는 필수 명령의 의미·사용 패턴을 단계별로 정리한 입문 가이드
Git 원격 협업: clone·pull·push·.gitignore 실전 패턴
git
원격 저장소 연결부터 clone/pull/push 흐름과 .gitignore 구성 전략까지 협업 필수 명령 사용 패턴 정리
Git 브랜치 전략: branch·checkout·merge 흐름 & 충돌 최소화
git
브랜치 생성·분기·병합(Merge) 전략과 충돌 최소화 워크플로우(branch/checkout/merge) 실전 베스트 프랙티스
mlops
논문 리뷰: Unsupervised Model Drift Estimation with Batch Normalization Statistics
papermlops
저자들은 label이 없는 test 데이터에 대한 배치 정규화 층의 특성을 이용하여 model drift estimation 방법을 제안합니다. 또한 input 데이터의 샘플링 오류를 해결하기 위해 각 표현 계층에 행렬 분해를 채택했습니다.
논문 리뷰: Fast Hoeffding Drift Detection Method for Evolving Data Streams (FHDDM)
papermlops
FHDDM은 sliding window와 hoeffding을 이용하여 계산량을 줄이고 concept drift를 더 잘 detect하는 기법입니다.
MLOps: 통계적 한계/경계 부등식 - Hoeffding·Markov·Chebyshev·Bernstein 활용
mlops
Concept Drift Detection에 대한 기법들을 공부하면서 자연스레 나온 부등식들을 정리해보았습니다.
MLOps: Concept Drift 탐지 전략 - 통계·모델 기반 방법 비교
mlops
Concept Drift는 시간이 지남에 따라 데이터의 통계적인 특성이 변하는 것을 말합니다. 이에 학습된 모델은 자연스레 성능이 떨어지기 때문에 drift를 잘 감지해야 합니다. 감지하는 방법들이 무엇이 있는지 살펴봅니다.
git_blog
Jekyll 블로그: Mathjax로 수식 표현하기
git_blog
Mathjax란 MathML, LaTeX 및 ASCIIMathML 마크 업을 사용하여 웹 브라우저에 수학 표기법을 표시하는 크로스 브라우저 JavaScript 라이브러리이다. 웹 사이트에서 수학식 표시가 가능하다.
Jekyll 블로그: Jupyter Notebook 파일 업로드
git_blog
주피터 노트북 파일을 한번에 업로드하여 블로그 글에 보여주기
Jekyll 블로그: 포스트 작성법
git_blog
YAML을 이용하여 글의 제목, 날짜, 카테고리, 태그, 레이아웃 등을 정의해봅니다.
DS
분산 시스템 3장: 프로세스 모델·스레드·가상화와 통신 기초
DS
Distributed Systems Third edition by Maarten van Steen, Andrew S. Tanenbaum - cha3. Processes 3.1, 3.2, 3.3, 3.4
분산 시스템 2장: 아키텍처 패턴과 투명성 설계 전략
DS
Distributed Systems Third edition by Maarten van Steen, Andrew S. Tanenbaum - cha2. Architectures 2.1, 2.2, 2.3, 2.4
분산 시스템 1장: 개요와 실패·지연·확장성 핵심 개념
DS
Distributed Systems Third edition by Maarten van Steen, Andrew S. Tanenbaum - cha1. Introduction 1.1, 1.2, 1.3, 1.4
md
Markdown 변환: Jupyter(.ipynb) → .md 워크플로 & 팁
md
ipynb 파일이 존재하는 폴더로 갑니다. 해당 폴더에 마우스 커서를 대고 shift + 오른쪽버튼을 누릅니다. 여기에 PowerShell 창 열기를 클릭합니다.
Markdown 문법: 핵심 치트시트 & 실전 활용 가이드
md
헤딩·목록·강조·표·코드블록·각주·수식(MathJax)·토글·이미지/영상·색상/스타일 활용까지 자주 쓰는 Markdown + 최소 HTML 패턴 정리
java
Java OOP 핵심: 클래스·상속·다형성·캡슐화 개념 정리
java
OOP는 문제를 여러 개의 객체 단위로 나눠 작업하는 방식으로, 객체들이 서로 유기적으로 상호작용하는 프로그래밍 이론입니다. 상속, 다형성, 추상화, 캡슐화를 다뤘습니다.
Java 기초: 변수·제어문·클래스 구조 필수 문법
java
java, 자바, 구조, 변수, 자료형, 제어문, 객체, 클래스, 상속, 오버라이딩, 오버로딩, 인터페이스, 다향성
diapp
데이터 중심 애플리케이션 설계 2장: 데이터 모델 & 질의 언어 패러다임 비교
diapp
Designing Data-Intensive Applications by Martin Kleppmann
데이터 중심 애플리케이션 설계 1장: 신뢰성·확장성·유지보수성 핵심 축
diapp
Designing Data-Intensive Applications by Martin Kleppmann
hadoop
macOS(M1) Hadoop·Spark 단일 노드 설치: JDK·SSH·환경변수·데몬
tipshadoop
M1 macOS에서 JDK 확인→SSH 무암호 설정→Hadoop/HDFS 포맷→Spark 실행까지 단일 노드 개발 환경 구성 절차
Hadoop YARN: 리소스 관리 아키텍처 & 스케줄링 기초
hadoop
[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.
linux
Linux 기초: 셸·디렉터리·프로세스·네트워크 핵심 명령
linux
생활 코딩 강의 내용을 요약 및 정리한 글입니다. - 기초문법, IO Redirection, shell, shell script