정현석

개인 저장공간입니다.
Since 2021.10

Categories

spark

[Spark] 클러스터에서 스파크 실행하기

spark

5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 클러스터에서 스파크 실행 방법에 대해 알아봅니다.

[Spark] GraphFrame을 활용한 그래프 분석 및 알고리즘

spark

6 분 소요

Spark: The Definitive Guide 30장 Graph Analytics를 바탕으로 스파크 GraphFrame 라이브러리의 핵심을 다룬다. 정점(Vertex)과 에지(Edge) 기반의 그래프 생성 및 기본 DataFrame 쿼리, 서브그래프 추출, Cypher 표현식을...

[Spark] 저수준 API: 분산형 공유 변수

spark

3 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 분산형 공유 변수에 대해 알아봅니다.

[Spark] 저수준 API: RDD 이해하기

spark

5 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 RDD에 대해 알아봅니다.

[Spark] 조인(join) 표현식, 타입 정리

spark

4 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 조인에 대해 알아봅니다.

[Spark] 정형 API 기본 연산에 대해 알아보기

spark

2 분 소요

Spark The Definitive Guide 책을 중심으로 스파크를 요약 및 정리해보았습니다. spark 예제를 통해 정형 API인 DataFrame, SQL, Dataset의 기본 연산을 자세히 알아봅니다.

[Spark] 빅데이터와 아파치 스파크란

spark

6 분 소요

[Spark The Definitive Guide] 책을 중심으로 스파크를 요약 및 정리해보았습니다. 스파크(spark)는 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합입니다. 최근 머신러닝에도 활발히 사용되고 있습니다.

맨 위로 이동 ↑

OS

[Operating System Concepts 10th] 10. Virtual Memory 리뷰

OS

13 분 소요

프로세스 전체를 메모리에 올리지 않고도 실행을 가능하게 하는 가상 메모리의 원리와 이점을 살펴보고, 요구 페이징 기법과 쓰기 시 복사(Copy-on-Write)의 동작 메커니즘을 알아본다. 아울러 물리 프레임이 부족할 때 발생하는 페이지 교체 알고리즘(FIFO, OPT, LRU 등...

[Operating System Concepts 10th] 9. Main Memory 리뷰

OS

17 분 소요

Operating System Concepts 10th 9장 메인 메모리(Main Memory)를 다룬다. 주소 바인딩, MMU, 연속 메모리 할당과 외부 단편화 문제를 살펴보고, 이를 극복하기 위한 페이징 기법, TLB 캐시, 다양한 페이지 테이블 구조 및 스와핑까지 메모리 관리...

[Operating System Concepts 10th] 8. Deadlocks 리뷰

OS

11 분 소요

Operating System Concepts 10th 8장 Deadlocks를 정리한 학습 노트다. 교착 상태가 성립하는 4가지 필요조건(상호 배제·점유하며 대기·비선점·순환 대기)과 자원 할당 그래프를 먼저 살펴보고, 예방·회피·탐지·복구라는 네 갈래 처리 방법과 은행원 알고리...

[Operating System Concepts 10th] 7. Synchronization Examples 리뷰

OS

5 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 7. Synchronization Examples

[Operating System Concepts 10th] 6. Synchronization Tools 리뷰

OS

11 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 6. Synchronization Tools

[Operating System Concepts 10th] 5. CPU Scheduling 리뷰

OS

15 분 소요

Operating System Concepts 10th 5장 CPU Scheduling을 정리한 글입니다. 단일 코어 환경의 기본 스케줄링 개념과 FCFS, SJF, RR, 멀티레벨 피드백 큐 등 주요 스케줄링 알고리즘부터 현대 운영체제의 핵심인 커널 스레드 스케줄링 및 멀티 코어...

[Operating System Concepts 10th] 4. Threads & Concurrency 리뷰

OS

9 분 소요

본 글은 Operating System Concepts 10th (운영체제) 책을 보며 내용을 개인 공부에 목적으로 정리했습니다. 책 내용들을 최대한 이해하기 위해 거의 모든 내용을 담고 있습니다. 4. Threads & Concurrency

[Operating System Concepts 10th] 3. Processes 리뷰

OS

16 분 소요

운영체제의 핵심 작업 단위인 프로세스의 개념, 메모리 구조(텍스트·데이터·힙·스택), 프로세스 제어 블록(PCB)과 상태 전이부터 CPU 스케줄링 및 문맥 교환, fork/exec 기반의 프로세스 생성과 종료, 그리고 공유 메모리·메시지 전달·소켓·RPC로 이어지는 프로세스 간 통...

[Operating System Concepts 10th] 1. Introduction 리뷰

OS

19 분 소요

Operating System Concepts 10th의 1장 Introduction을 바탕으로 운영체제의 정의와 컴퓨터 시스템 구조부터 자원 관리, 가상화, 커널 자료구조, 다양한 컴퓨팅 환경까지 1장의 전반적인 핵심 내용을 단일 포스트로 집대성하여 정리한다.

운영체제(OS) - Disk Management & Scheduling (10)

OS

4 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - File System Implementations (9)

OS

6 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - Virtual Memory (8)

OS

7 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - Memory Management (7)

OS

9 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - Deadlocks (6)

OS

5 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - Process Synchronization (5)

OS

5 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - CPU Scheduling (4)

OS

5 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - Process & Process Management (3)

OS

7 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - System Structure & Program Execution (2)

OS

5 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

운영체제(OS) - 운영체제란 무엇인가 (1)

OS

4 분 소요

본 글은 (KOCW) 운영체제, 이화여자대학교 반효경 교수님의 강의를 듣고 개인 공부에 목적으로 내용을 요약 및 정리했습니다. 또한 주니온 박사님의 운영체제 공룡책 강의를 듣고 내용을 보충했습니다.

맨 위로 이동 ↑

paper

[논문 리뷰] Annotating Columns with Pre-trained Language Models

paper

6 분 소요

DODUO는 테이블의 전체를 입력으로 받아 테이블의 여러 컬럼 정보들을 이용하여 컬럼 유형과 컬럼 관계 예측을 출력하는 트랜스포머 기반 멀티태스크 학습 아키텍처입니다. 본 논문을 리뷰해보았습니다.

[논문 리뷰] GraphX: Graph Processing in a Distributed Dataflow Framework

paper

14 분 소요

GraphX는 그래프 처리를 할 때 기존 맵리듀스 같은 분산 데이터 프레임의 한계를 능가하기 위해 개발되었습니다. 즉 GraphX는 그래프와 그래프 병렬 계산을 위한 스파크의 새로운 구성 요소이며, 이에 대한 논문을 정리해보았습니다.

[논문 리뷰] Kafka: a Distributed Messaging System for Log Processing

paper

9 분 소요

카프카는 발행 구독 모델을 구현한 분산 메시징 시스템으로, 실시간 데이터 피드를 관리하기 위해 통일된 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것을 목표로 합니다. 이에 기본이 되는 논문을 리뷰해보았습니다.

[논문 리뷰] MapReduce: Simplified Data Processing on Large Clusters

paper

11 분 소요

맵리듀스는 2004년 구글에서 발표한 빅데이터를 처리하고 생성하기 위한 프로그래밍 모델입니다. 키,값을 처리하여 중간 키,값 쌍 집합을 생성하는 map 함수와 동일한 키와 연관된 값을 merge하는 reduce 함수를 지정합니다.

[논문 리뷰] The Google File System (GFS)

paper

18 분 소요

저자들은 2003년에 대규모 분산 데이터 집약적 애플리케이션을 위한 확장 가능한 분산 파일 시스템인 Google File System을 설계하고 구현했습니다. 분산 파일 시스템의 가장 중요하면서 시초가 되는 논문이기에 리뷰해보았습니다.

[논문 리뷰] Deep Residual Learning for Image Recognition

paper

6 분 소요

그 유명한 ResNet은 152층까지 네트워크를 쌓아올리는 데 성공하며 ILSVRC 2015 classification competition에서 우승하게 됩니다. 그리고 처음으로 3.57%의 top5 에러율을 달성했습니다.

[논문 리뷰] A Data Quality-Driven View of MLOps

paper

8 분 소요

이 논문은 데이터 품질의 다양한 측면이 ML development 단계를 통해 어떻게 전파되는지를 고민했습니다. 이에 대한 요약 및 리뷰입니다.

맨 위로 이동 ↑

llm

자가 개선 에이전트 루프 설계: 5단계 아키텍처와 리워드 해킹 방어

llm

13 분 소요

자가 개선(self-improving) 루프는 사람 라벨 없이 프로덕션 트레이스를 학습 신호로 되돌리는 구조다. 롤아웃·스코어·필터·트레인·디플로이의 5단계 아키텍처, 복합 리워드 설계, PII·동의 게이트, 리워드 해킹 탐지와 방어, 조직 차원의 도입 판단 기준을 운영자 시점에서...

MCP 토큰 최적화 4가지 기법: 점진적 발견부터 코드 실행 호출까지

llm

10 분 소요

MCP 서버를 늘릴수록 사용자 입력 없이 소비되는 도구 정의 토큰이 컨텍스트를 잠식한다. 업프론트 로딩 비용을 정량화하고, 점진적 발견·툴 압축 프록시·코드 실행형 호출·프롬프트 캐시 정합성이라는 네 가지 기법을 게이트웨이 레벨 통합과 토큰 예산 관리 관점에서 재구성한다.

추론 라우팅과 요청 캐스케이딩: 2-Tier 게이트웨이와 시맨틱 캐싱

llm

16 분 소요

모든 요청을 같은 모델로 보내면 비용은 선형으로 늘고 지연은 최악값에 맞춰진다. 2-Tier 게이트웨이(L1 Ingress / L2 LLM API Gateway) 구조, 게이트웨이 솔루션 비교, 난이도 기반 요청 캐스케이딩, 시맨틱 캐싱, 그리고 라우팅 품질을 어떻게 관측하는지까지...

커스텀 모델 서빙 파이프라인: LoRA 학습부터 평가·롤아웃까지

llm

12 분 소요

오픈 웨이트 모델을 직접 서빙하려면 데이터 수집, QLoRA 학습, 평가 게이트, Multi-LoRA 배포, 카나리 승격, 롤백까지 하나의 루프로 묶어야 한다. 모델·GPU·배포 모드 선택 기준, S3→NVMe 캐시, PP 멀티노드 교착 같은 실패 사례, 평가 임계값·레지스트리 운...

MCP 앱스(MCP Apps)와 제너레이티브 UI: 에이전트 응답을 인터랙티브 화면으로

llm

13 분 소요

에이전트의 텍스트 응답만으로는 전달되지 않는 구조·조작·확인의 손실을 짚고, MCP 앱스 확장이 서버의 UI 리소스를 호스트의 샌드박스 iframe에서 렌더링하는 구조, 선언적 UI와 개방형 UI의 트레이드오프, 유스케이스별 설계 가이드와 보안 경계, 사내 도구 전환 판단 기준을 ...

맨 위로 이동 ↑

tips

윈도우10 노트북 정밀터치패드 제스처 사용법

tips

1 분 소요

윈도우10이 설치된 노트북에서 터치패드를 잘 사용하면 마우스가 없어도 된다는 것을 깨달았습니다. 터치패드 사용법 및 여러 가지 환경에서 단축키를 정리해보았습니다.

vscode 설정 셋팅 초기화하는 방법

tips

2 분 소요

vsocde를 하도 지웠다 설치를 반복해서 글로 남긴다. 2가지 단계만 거치면 초기화가 가능하다. (단순 vscode를 삭제한다 해도 local pc에 설정들이 남아있다.)

윈도우10 환경에서 konlpy 설치하는 방법

tips

1 분 소요

KoNLPy는 한국어 정보처리를 위한 파이썬 패키지입니다. NLP (자연어 처리)를 할 때 쓰이지만 운영체제가 윈도우같은 경우는 설치 버전을 좀 맞춰야 합니다.

Ubuntu, Windows10에서 Git 설치하기

tips

1 분 소요

깃은 컴퓨터 파일의 변경사항을 추적하고 여러 명의 사용자들 간에 해당 파일들의 작업을 조율하기 위한 분산 버전 관리 시스템이다.

맨 위로 이동 ↑

R_ML

빅데이터분석기사(R) - 제1유형 21문제 풀이

R_ML

6 분 소요

빅데이터분석기사 실기 제1유형(작업형 1) 대비를 위한 R 기반 21개 실전 기출·연습 문제 풀이 모음입니다. 결측치 처리, 이상값 탐지, 데이터 집계 및 필터링 등 핵심 전처리 기법을 단계별 R 코드로 정리합니다.

빅데이터분석기사 실기 작업형(1) - R 기본 문법

R_ML

8 분 소요

본 글은 빅데이터분석기사 실기 작업형에 대비하여 요약 및 실습한 것을 작성한 글입니다. 기출문제의 데이터는 https://github.com/ingu627/BigDataAnalysis에 데이터 셋을 남겨놨습니다.

맨 위로 이동 ↑

k8s

쿠버네티스 보안: RBAC·Admission·시크릿과 이미지 공급망

k8s

9 분 소요

보안은 기능 하나가 아니라 코드가 실행되기까지의 모든 계층에 걸친 통제다. 4C 모델을 뼈대로 인증·인가(RBAC), 어드미션 정책, 워크로드 격리, 시크릿 외부화, 이미지 공급망과 런타임 탐지까지 설계→구현→검증 순서로 정리한다.

쿠버네티스 스토리지와 데이터: Volume·PV/PVC·CSI와 StatefulSet DB 운영

k8s

11 분 소요

컨테이너의 임시 레이어를 넘어 데이터의 수명을 파드·노드·클러스터 중 어디에 묶을지 결정하는 문제를 다룬다. Volume 종류와 PV/PVC/StorageClass, CSI 드라이버와 스냅샷, StatefulSet 기반 데이터베이스 운영, 백업·DR, 성능 특성, 데이터 유실 함정...

쿠버네티스 네트워킹: Service·Ingress·CNI·NetworkPolicy

k8s

11 분 소요

쿠버네티스의 평탄한 IP-per-Pod 모델 위에서 Service가 안정적인 가상 IP를 얹고 Ingress/Gateway API가 L7 진입점을 만들며 CNI가 패킷 전달과 NetworkPolicy 집행을 맡는 구조를 정리한다. 계층 경계와 MTU·conntrack 함정, 트러블...

맨 위로 이동 ↑

error

[에러 해결 방법] cmd로 압축 해제하기 (zip, unzip)

error

최대 1 분 소요

명령 프롬프트(cmd)에서 unzip을 실행하면 에러가 발생한다. 이 글은 zip과 unzip이 윈도우의 기본 명령어가 아님을 짚고, 파일을 내려받아 설치해 압축을 해제하는 방법을 정리한다.

맨 위로 이동 ↑

cs231n

[CS231n] 강의11 Attention and Transformers 리뷰

cs231n

9 분 소요

스탠포드 CS231n 11강 Attention and Transformers 강의를 바탕으로 Seq2Seq 모델의 병목 현상과 어텐션 메커니즘의 등장 배경을 정리하고, Query·Key·Value 기반 Self-Attention, Multi-Head Attention, Positi...

[CS231n] 강의10 Long Short Term Memory 리뷰

cs231n

2 분 소요

본 글은 2022년 4월에 강의한 스탠포드 대학의 Recurrent Neural Networks 2022년 강의를 듣고 정리한 내용입니다. Lecture 10 RNN, LSTM 등이 그 예입니다.

[CS231n] 강의10 Recurrent Neural Networks 리뷰

cs231n

4 분 소요

본 글은 2022년 4월에 강의한 스탠포드 대학의 Recurrent Neural Networks 2022년 강의를 듣고 정리한 내용입니다. Lecture 10 RNN, LSTM 등이 그 예입니다.

[CS231n] 강의9. Object Detection and Image Segmentation 리뷰

cs231n

7 분 소요

스탠포드 대학의 CS231n 강의를 바탕으로 이미지 내 픽셀 단위 분류를 수행하는 Semantic Segmentation과 물체의 위치 탐지 및 분류를 아우르는 Object Detection의 핵심 원리를 정리합니다. FCN, Downsampling/Upsampling 구조부터 R...

[CS231n] 강의6. Hardware and Software with Pytorch 리뷰

cs231n

5 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture6 소프트웨어, 특히 pytorch에 대해 정리했습니다.

[CS231n] 강의5. Convolutional Neural Networks 리뷰

cs231n

4 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture5 합성곱 신경망에 대해 정리했습니다.

[CS231n] 강의4. Neural Networks and Backpropagation 리뷰

cs231n

2 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture4 신경망과 역전파 알고리즘에 대해 정리했습니다.

[CS231n] 강의3. Loss Functions and Optimization 리뷰

cs231n

7 분 소요

스탠포드 CS231n 3강에서는 이미지 분류 모델의 예측 성능을 정량화하는 손실 함수(Multiclass SVM loss, Softmax loss)와 과적합을 방지하는 정규화 기법을 다룹니다. 나아가 최적의 가중치를 탐색하기 위한 수치적/해석적 경사(Gradient) 계산 원리와 ...

[CS231n] 강의2. Image Classification 리뷰

cs231n

5 분 소요

본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture2 이미지 분류에 대해 정리했습니다.

맨 위로 이동 ↑

azure

부하 테스트로 검증하는 오토스케일링: Azure Load Testing과 p95 SLO

azure

9 분 소요

2편에서 정한 concurrentRequests 10이라는 값이 실제로 맞는지, Azure Load Testing으로 사설망 내부에 부하를 넣어 검증한다. 스케일 임계값 도달과 maxReplicas 도달이라는 두 변곡점을 p95 지연 곡선으로 읽고, 수용량과 병목을 도출하는 과정을...

시크릿 거버넌스: Key Vault와 Managed Identity로 자격증명 노출면 없애기

azure

9 분 소요

앞선 편에서 튜닝한 PostgreSQL·Redis 커넥션 정보는 결국 어딘가에서 애플리케이션으로 주입된다. 자격증명이 이미지·환경 변수·파이프라인 로그로 새는 경로를 막고, Key Vault와 Managed Identity로 값을 애플리케이션 코드에서 지우는 구조를 정리한다. 주입...

맨 위로 이동 ↑

SQL

맨 위로 이동 ↑

python

[Effective Python] 3장 함수 리뷰

python

5 분 소요

파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. try, exception, 언패킹, 타입 애너테이션, 클로저, 위치 인자, args, kwargs, 데코레이터

파이썬 pandas 라이브러리에 대한 모든 것

python

40 분 소요

판다스 문법 + 타이타닉(titanic) 예제 실습, index, dtype, size, shape, unique, count, mean, value_counts, head, tail, drop, update, axis, join, merge, dataframe, group ...

맨 위로 이동 ↑

keras

[케라스(keras) 이해] 6장. 텍스트와 시퀀스를 위한 딥러닝

keras

9 분 소요

케라스 창시자에게 배우는 딥러닝 6장 요약 정리. 텍스트와 시퀀스 데이터를 다루기 위한 원-핫 인코딩과 단어 임베딩(GloVe), SimpleRNN·LSTM·GRU의 기본 원리를 살펴본다. 나아가 기온 예측 실습을 통해 순환 드롭아웃, 스태킹, 양방향 순환 층 등 순환 신경망의 고...

[케라스(keras) 이해] 5장. 컴퓨터 비전을 위한 딥러닝

keras

13 분 소요

케라스 창시자에게 배우는 딥러닝 5장을 바탕으로 합성곱 신경망(CNN)의 핵심 원리부터 소규모 데이터셋 구축, ImageDataGenerator를 활용한 데이터 증식 및 규제 기법을 다룬다. 나아가 ImageNet 사전 훈련 모델(VGG16) 기반 특성 추출과 미세 조정을 통해 고...

[케라스(keras) 이해] 3장. 신경망 시작하기

keras

14 분 소요

케라스 창시자에게 배우는 딥러닝 3장을 바탕으로 신경망의 핵심 구성 요소(층, 네트워크, 손실 함수, 옵티마이저)부터 케라스 프레임워크의 개발 워크플로를 살펴보고, 이진 분류(IMDB), 다중 분류(로이터 뉴스), 회귀(보스턴 주택 가격) 세 가지 대표적인 실전 머신러닝 문제 해결...

맨 위로 이동 ↑

agent

맨 위로 이동 ↑

code

Pytorch 기반 ResNet 전이 학습 구현해보기

code

2 분 소요

ResNet은 원래 ImageNet 경진대회를 위해 디자인되었습니다. 하지만 본 코드는 Fashion MNIST에 맞추기 위해 input과 output 층을 바꿨습니다, Method: Pytorch

맨 위로 이동 ↑

cloud

SRE와 신뢰성: SLO·에러 버짓·인시던트·카오스 엔지니어링

cloud

10 분 소요

신뢰성을 사람의 헌신이 아니라 측정 가능한 목표(SLO)와 에러 버짓으로 관리하는 SRE 실무를 정리한다. SLI/SLO 설계와 멀티윈도우 소진 경보, 토일 제거, 온콜·인시던트 대응과 비난 없는 포스트모템, 카오스 엔지니어링·부하 테스트·점진적 배포까지 다룬다.

클라우드 아키텍처 패턴과 재해 복구(DR): RTO/RPO 설계

cloud

10 분 소요

모놀리식과 마이크로서비스의 트레이드오프부터 12-factor, 이벤트 드리븐, CQRS·사가·아웃박스, 멀티테넌시, 고가용성, 재해 복구 4전략까지 아키텍처 결정의 축을 한 흐름으로 정리한다. 모든 판단의 기준은 실패 반경을 줄이고 RTO/RPO를 얼마에 사들일 것인가다.

클라우드 비용 최적화(FinOps): 단위 경제학과 예약 전략

cloud

8 분 소요

FinOps의 Inform·Optimize·Operate 순환과 태깅·쇼백으로 비용을 보이게 만들고, RI·Compute SP·CUD·스팟 커버리지 전략과 VPA·Karpenter 기반 쿠버네티스 right-sizing, egress·NAT 스토리지 함정, 단위 경제성 리뷰 루틴까...

클라우드 보안과 거버넌스: 조직·계정 경계와 정책 자동화

cloud

10 분 소요

클라우드 보안은 경계 방어가 아니라 신원·권한·데이터·감사 로그를 코드로 관리하는 문제다. 공동 책임 모델과 IAM 평가 로직, 멀티 계정 전략, 네트워크·데이터 보안, 컴플라이언스·탐지·사고 대응까지 AWS·Azure·GCP 공통 관점으로 정리한다.

IaC와 GitOps: Terraform·Helm·Argo CD·CI/CD

cloud

10 분 소요

인프라를 코드로 정의하고(IaC) 그 코드를 단일 진실 공급원으로 삼아 클러스터 상태를 지속적으로 수렴시키는(GitOps) 흐름을 정리한다. Terraform의 state·plan·apply, Helm/Kustomize 선택 기준, Argo CD·Flux의 드리프트 감지, CI/C...

클라우드 기초: 리전·VPC·IAM·컴퓨팅·스토리지·관리형 DB

cloud

12 분 소요

클라우드는 결국 무엇을 어디에 배치하고, 누가 무엇에 접근하며, 어디까지 장애를 견딜 것인가라는 세 질문으로 수렴한다. 서비스 모델과 공동 책임, 리전·AZ 가용성 설계, VPC 네트워크 경계, 컴퓨팅·스토리지·관리형 DB 선택, IAM 역할 수임까지 하나의 결정 사슬로 정리한다.

맨 위로 이동 ↑

web

Bootstrap(부트스트랩) 기초 실습

web

2 분 소요

본 글은 패스트캠퍼스의 한 번에 끝내는 파이썬 웹 개발 초격차 패키지 강의를 개인 실습하여 정리했습니다. 문법 및 github 예제로 실습

CSS 기초 총정리

web

3 분 소요

본 글은 패스트캠퍼스의 한 번에 끝내는 파이썬 웹 개발 초격차 패키지 강의를 개인 실습하여 정리했습니다.

HTML 기초 총정리

web

4 분 소요

본 글은 패스트캠퍼스의 한 번에 끝내는 파이썬 웹 개발 초격차 패키지 강의를 개인 실습하여 정리했습니다.

맨 위로 이동 ↑

hands_on

[핸즈온 머신러닝] 14장. 합성곱 신경망을 사용한 컴퓨터 비전

hands_on

9 분 소요

핸즈온 머신러닝 2판 14장 ‘합성곱 신경망을 사용한 컴퓨터 비전’을 정리한 글입니다. 시각 피질의 원리에서 출발하여 합성곱 층, 제로 패딩, 스트라이드, 풀링 연산의 메커니즘을 살펴보고, LeNet-5, AlexNet, GoogLeNet, VGGNet, ResNet, Xcepti...

[핸즈온 머신러닝] 11장. 심층 신경망 훈련하기

hands_on

16 분 소요

심층 신경망 훈련 시 마주하는 그레이디언트 소실·폭주 문제와 He 초기화, 배치 정규화, 전이 학습부터 고속 옵티마이저와 드롭아웃 등 규제 기법까지 실전 최적화 가이드라인을 정리합니다.

[핸즈온 머신러닝] 10장. 케라스를 사용한 인공 신경망 소개

hands_on

14 분 소요

생물학적 뉴런과 퍼셉트론 이론부터 역전파 알고리즘, 그리고 케라스(Keras)의 시퀀셜·함수형·서브클래싱 API를 활용한 심층 신경망 구현 및 하이퍼파라미터 튜닝까지 인공 신경망의 전반적인 개념과 실습을 정리합니다.

맨 위로 이동 ↑

git_blog

Google Analytics - UA/GA4의 차이

git_blog

1 분 소요

Git Blog에 구글 애널리틱스를 설정할 때, tracking_id를 UA-XXX로 해야 할지 G-XXX로 해야 할지 너무나 헷갈렸습니다. 나름 정리해서 헷갈림을 해소하려고 글을 남깁니다.

[Mathjax] Github Pages에서 수식 문법 사용하기

git_blog

1 분 소요

Mathjax란 MathML, LaTeX 및 ASCIIMathML 마크 업을 사용하여 웹 브라우저에 수학 표기법을 표시하는 크로스 브라우저 JavaScript 라이브러리이다. 웹 사이트에서 수학식 표시가 가능하다.

맨 위로 이동 ↑

mlops

Concept Drift Detection Method 정리

mlops

5 분 소요

Concept Drift는 시간이 지남에 따라 데이터의 통계적인 특성이 변하는 것을 말합니다. 이에 학습된 모델은 자연스레 성능이 떨어지기 때문에 drift를 잘 감지해야 합니다. 감지하는 방법들이 무엇이 있는지 살펴봅니다.

맨 위로 이동 ↑

DS

맨 위로 이동 ↑

survey_a

사회조사분석사 2급 필기, 필답형 정리 - 1. 조사방법론

survey_a

25 분 소요

사회조사분석사 2급 필기 및 필답형 대비를 위해 조사방법론의 핵심 이론인 사회과학적 탐구 방법, 연구 설계와 가설 검증, 다양한 1·2차 자료수집방법, 그리고 질문지 작성 절차와 사전조사 원칙을 종합적으로 정리한다.

맨 위로 이동 ↑

docker

맨 위로 이동 ↑

md

마크다운(markdown)문법, 사용법에 대한 거의 모든 것

md

6 분 소요

MarkDown (md), 목차 만들기, 크기 지정, 글꼴, 줄바꿈, 띄어쓰기(enter), 글자 색깔, 인용문, 문자 박스(notice), 문자 정렬, 구분선, check box,목록, 코드 블럭, 표 (table), 접기/펼치기 (토글바), 각주, 미주, 유튜브 동영상 넣기, ...

맨 위로 이동 ↑

java

자바(java) 문법 정리

java

9 분 소요

java, 자바, 구조, 변수, 자료형, 제어문, 객체, 클래스, 상속, 오버라이딩, 오버로딩, 인터페이스, 다향성

맨 위로 이동 ↑

diapp

맨 위로 이동 ↑

hadoop

[Hadoop] 아파치 얀(YARN)에 대한 기초

hadoop

4 분 소요

[Hadoop The Definitive Guide] 책을 중심으로 하둡의 얀(YARN)을 요약 및 정리해보았습니다. Apache YARN은 하둡의 클러스터 자원 관리 시스템입니다.

맨 위로 이동 ↑

git

맨 위로 이동 ↑

linux

맨 위로 이동 ↑