[논문 리뷰] Characterizing signal propagation to close the performance gap in unnormalized resnets
paper
배치 정규화는 SOTA 이미지 분류기에서 대다수 사용하고 있었습니다. NF-Resnet은 배치 정규화의 단점들을 명시하고 이를 대체해 당시 SOTA인 EfficientNet과 경쟁을 이뤘습니다.
최근 포스트
[Effective Python] 1장 파이썬답게 생각하기 리뷰
python
파이썬 코딩의 기술 개정 2판 책에 대한 내용입니다. PEP 8 style, f-문자열, 도우미 함수, 대입, enumerate, zip, 반복문, 대입식…
[논문 리뷰] Aggregated Residual Transformations for Deep Neural Networks
paper
ResNeXt는 ResNet 성능을 한 단계 향상시켜 ILSVRC 2016 대회에서 2등을 차지한 모델입니다.
Pytorch 기반 ResNeXt 구조 처음부터 구현해보기
code
ResNet에 이어 ResNeXt의 구조를 직접 구현해보았습니다. cardinality를 이용하여 split-transform-merge 기법이 핵심입니다.
[CS231n] 강의8. Training Neural Networks (Optimizer, Regularization, Hyperparameter) 리뷰
cs231n
스탠포드 대학의 CS231n Lecture 8 강의를 바탕으로 신경망 학습 과정을 심층 정리합니다. SGD의 한계를 극복하는 고급 옵티마이저(Momentum, AdaGrad, RMSProp, Adam)와 학습률 스케줄링부터 오버피팅을 방지하는 다양한 규제 기법(Dropout, Da...
[CS231n] 강의7. Training Neural Networks (Activation Function, Weight Initialization, Batch Normalization, Transfer Learning) 리뷰
cs231n
스탠포드 CS231n 7강 신경망 학습(Training Neural Networks)의 핵심 원리인 활성화 함수(Sigmoid, ReLU, ELU 등), 데이터 전처리, 가중치 초기화(Xavier, He) 기법, 배치 정규화(Batch Normalization) 및 전이 학습(Tr...
[CS231n] 강의6. Hardware and Software with Pytorch 리뷰
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture6 소프트웨어, 특히 pytorch에 대해 정리했습니다.
[CS231n] 강의5. Convolutional Neural Networks 리뷰
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture5 합성곱 신경망에 대해 정리했습니다.