[논문 리뷰] Aggregated Residual Transformations for Deep Neural Networks
paper
ResNeXt는 ResNet 성능을 한 단계 향상시켜 ILSVRC 2016 대회에서 2등을 차지한 모델입니다.
ingu627.github.io
최근 포스트
Pytorch 기반 ResNeXt 구조 처음부터 구현해보기
code
ResNet에 이어 ResNeXt의 구조를 직접 구현해보았습니다. cardinality를 이용하여 split-transform-merge 기법이 핵심입니다.
[CS231n] 강의8. Training Neural Networks (Optimizer, Regularization, Hyperparameter) 리뷰
cs231n
스탠포드 대학의 CS231n Lecture 8 강의를 바탕으로 신경망 학습 과정을 심층 정리합니다. SGD의 한계를 극복하는 고급 옵티마이저(Momentum, AdaGrad, RMSProp, Adam)와 학습률 스케줄링부터 오버피팅을 방지하는 다양한 규제 기법(Dropout, Da...
[CS231n] 강의7. Training Neural Networks (Activation Function, Weight Initialization, Batch Normalization, Transfer Learning) 리뷰
cs231n
스탠포드 CS231n 7강 신경망 학습(Training Neural Networks)의 핵심 원리인 활성화 함수(Sigmoid, ReLU, ELU 등), 데이터 전처리, 가중치 초기화(Xavier, He) 기법, 배치 정규화(Batch Normalization) 및 전이 학습(Tr...
[CS231n] 강의6. Hardware and Software with Pytorch 리뷰
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture6 소프트웨어, 특히 pytorch에 대해 정리했습니다.
[CS231n] 강의5. Convolutional Neural Networks 리뷰
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture5 합성곱 신경망에 대해 정리했습니다.
[CS231n] 강의4. Neural Networks and Backpropagation 리뷰
cs231n
본 글은 2021년 4월에 강의한 스탠포드 대학의 Convolutional Neural Networks for Visual Recognition 2021년 강의를 듣고 정리한 내용입니다. Lecture4 신경망과 역전파 알고리즘에 대해 정리했습니다.
[CS231n] 강의3. Loss Functions and Optimization 리뷰
cs231n
스탠포드 CS231n 3강에서는 이미지 분류 모델의 예측 성능을 정량화하는 손실 함수(Multiclass SVM loss, Softmax loss)와 과적합을 방지하는 정규화 기법을 다룹니다. 나아가 최적의 가중치를 탐색하기 위한 수치적/해석적 경사(Gradient) 계산 원리와 ...