[논문 리뷰] The Google File System (GFS)
paper
저자들은 2003년에 대규모 분산 데이터 집약적 애플리케이션을 위한 확장 가능한 분산 파일 시스템인 Google File System을 설계하고 구현했습니다. 분산 파일 시스템의 가장 중요하면서 시초가 되는 논문이기에 리뷰해보았습니다.
최근 포스트
도커(docker) 환경 내 Hortonworks Data Platform(HDP) 설치하기
tips
Hortonworks Data Platform(HDP)는 분산 스토리지 및 대규모 멀티 소스 데이터 세트 처리를 위한 오픈소스 프레임워크입니다. 도커 내 hdp를 설치해봅시다.
[논문 리뷰] Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection
papermlops
저자들은 label이 없는 test 데이터에 대한 배치 정규화 층의 특성을 이용하여 model drift estimation 방법을 제안합니다. 또한 input 데이터의 샘플링 오류를 해결하기 위해 각 표현 계층에 행렬 분해를 채택했습니다.
[Effective Python] 4장 컴프리헨션과 제너레이터 리뷰
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. 컴프리헨션, 대입식, 제너레이터, 이터레이션, yield, yield from, throw, itertools
도커(docker)를 이용해 파이썬 가상환경 구축을 위한 이미지 배포하기
docker
도커는 특정 프로그램의 배포 및 관리를 단순하게 해주는 오픈소스 플랫폼입니다. 이번 글에서는 도커를 이용해 간단하게 파이썬 가상환경 이미지를 배포해봅니다.
윈도우10에서 리눅스(Linux) 설치하기 (Ubuntu on WSL2)
tips
AWS에서 가상의 환경을 작업하던 중, 내 PC에서 구동해 보았으면 싶어서 설치를 진행해 보았습니다. 윈도우10 환경에서 wsl2를 설치해봅니다.
Ubuntu 20.04에서 nvidia driver, cuda, cudnn, pytorch 설치의 모든 것
tips
ubuntu 20.04, nvidia driver 495, cuda 11.3, cudnn 8.2.1, pytorch 버전을 설치하는 방법입니다.
Pytorch Lightning + Wandb을 활용하여 mnist 예제 살펴보기
code
PyTorch Lightning은 PyTorch 코드를 구성하고 분산 훈련 및 16-비트 정밀도와 같은 고급 기능을 쉽게 추가할 수 있는 래퍼입니다.