[논문 리뷰] Characterizing signal propagation to close the performance gap in unnormalized resnets

“Characterizing Signal Propagation to Close the Performance Gap in Unnormalized ResNets” 논문을 개인 공부 및 리뷰를 위해 정리한 글이다.

배치 정규화(Batch Normalization)는 현대 딥러닝 비전 모델의 표준 구성 요소로 자리 잡았으나, 미니배치 의존성과 학습-추론 간 불일치라는 구조적 한계를 안고 있다. 본 논문은 정규화 계층 없이도 신호 전파(signal propagation) 특성을 정밀하게 보존함으로써, 배치 정규화 기반의 ResNet과 대등한 성능을 내는 Normalizer-Free ResNet(NF-ResNet) 구조와 핵심 기법들을 제시한다.

논문 순서

1. Batch Normalization Biases Residual Blocks towards the Identity Function in Deep Networks, De and Smith, NeurIPS 2020
2. Characterizing Signal Propagation to Close the Performance Gap in Unnormalized ResNets, Brock et al., ICLR 2021
3. High Performance Large-Scale Image Recognition without Normalization, Brock et al., ICML 2021

논문 링크 : https://arxiv.org/abs/2101.08692

1. Introduction

배치 정규화(Batch Normalization)는 딥러닝 컴퓨터 비전 모델의 핵심 구성 요소로 자리 잡았으며, 다수의 주요 이미지 분류 모델에서 널리 활용되어 왔다. 그러나 배치 단위 통계량에 의존하는 특성 탓에 여러 시스템적 제약과 부작용 또한 동반한다.

• 배치 정규화(Batch Normalization): 평균과 분산을 조정하는 과정이 독립적인 전처리가 아니라 신경망 내 레이어로 포함되어, 학습 중 미니배치별 평균과 분산을 직접 정규화하는 기법이다 ¹.
  • 각 레이어마다 정규화 계층을 두어 내부 공변량 변화를 줄이고 변형된 분포가 전파되지 않도록 제어한다.
  • 학습 가능한 파라미터인 감마(Scale; $\gamma$)와 베타(Shift; $\beta$) 변환을 거쳐 표현력 손실 없이 비선형 활성화 특성을 유지하도록 돕는다.

이미지 출처 ²

배치 정규화가 제공하는 최적화 상의 이점과 이에 수반되는 한계점(Pros and Cons)을 비교하면 다음과 같다.

Pros

배치 정규화는 손실 곡면을 평탄화하고 깊은 신경망의 학습 안정성을 향상시킨다.

1. 손실 곡면 평탄화: 손실 랜드스케이프(loss landscape)를 보다 완만하게 형성하여 더 큰 학습률(learning rate)로도 안정적인 수렴을 가능하게 한다. 미니배치 통계량 추정치에서 유입되는 확률적 노이즈는 유효한 암묵적 정규화(implicit regularization) 효과를 제공한다.

   Loss Landscape 이미지 출처 ³

2. 안정적인 신호 전파: 항등 스킵 연결(identity skip connection)을 갖는 깊은 잔차 네트워크(deep residual network)에서 초기화(initialization) 시점의 안정적인 신호 전파(signal propagation)를 보장하여, 100층 이상의 초심층 ResNet 구조도 그래디언트 소실/폭발 없이 학습할 수 있도록 이끈다.

배치 정규화의 강력한 최적화 이점 이면에는 배치 크기 제약이라는 중대한 대가가 따른다.

Cons

미니배치 크기에 종속적인 연산 구조는 분산 학습 및 실시간 서빙 환경에서 병목으로 작용한다.

1. 배치 크기 종속성 및 학습-추론 불일치: 디바이스(device)당 배치 크기가 너무 작거나 클 때 통계량 추정 오차로 인해 성능이 크게 저하된다. 또한 학습 시에는 미니배치 통계량을, 추론 시에는 이동 평균 통계량을 사용하므로 training과 inference 동작 간에 구조적 불일치(discrepancy)가 발생한다.

   • 추론 시간(inference time): 기계 학습 모델이 서빙 환경에서 새로운 입력 데이터를 받아 최종 예측을 생성하기까지 소요되는 지연 시간이다 ⁴.

   이미지 출처 ⁵

2. 메모리 오버헤드: 순전파 시 계산된 채널별 배치 통계량을 역전파 시 그래디언트 계산을 위해 메모리에 유지해야 하므로 추가적인 메모리 소비가 발생한다.

3. 하드웨어 간 재현성 저하: 배치 정규화의 통계 집계 방식은 분산 학습 환경의 동기화 방식과 장치별 부동소수점 정밀도에 민감하여 다른 하드웨어 플랫폼에서 모델을 동일하게 재현(replication)하기 어렵다.

   Contribution

본 연구의 핵심 목표는 정규화 레이어(normalization layers) 없이도 깊은 ResNet을 안정적으로 학습시켜, 기존 배치 정규화 기반 모델에 필적하는 테스트 정확도를 달성하는 구조적 해법을 찾는 것이다.

논문의 주요 기여는 다음과 같이 요약된다.

1. 신호 전파 플롯(Signal Propagation Plots, SPP) 제안: 심층 잔차 네트워크의 순전파 초기화 시점에서 신호 전파 양상을 단계별로 정밀 진단할 수 있는 시각화 분석 도구를 도입한다.
2. Unnormalized ResNet의 고장 모드 규명: ReLU 및 Swish 활성화 함수와 가우시안 가중치를 사용할 때 비선형 함수의 양수 평균 특성으로 인해 네트워크가 깊어질수록 채널별 활성화 제곱 평균이 기하급수적으로 폭증하는 고장(failure) 메커니즘을 규명한다.
3. Scaled Weight Standardization 제안: 초기화 단계에서 평균 이동(mean shift)을 억제하고 신호 분산을 일정하게 보존하는 가중치 표준화 기법을 도입하여 비정규화 심층망의 수렴 안정성을 확보한다.

참고: Gaussian Distribution은 평균과 분산으로 정의되는 정규 분포(Normal Distribution)를 의미한다.

정규화 계층 자체를 제거하려는 시도 외에도 배치 종속성을 회피하기 위한 대안적 기법들이 꾸준히 제안되어 왔다.

Alternate normalizers

비정규화 네트워크의 학습을 돕기 위해 잔차 분기(residual branch) 끝에 0으로 초기화된 학습 가능한 스칼라(learnable scalar)를 두는 방식(예: Fixup)이 대표적인 시도 중 하나였다.

동시에 배치 정규화의 한계를 완화하고자 은닉 활성화의 서로 다른 차원에 작용하는 다양한 대안 정규화 기법이 탐색되었다.

• 주요 대안 정규화 방식: LayerNorm(Ba et al., 2016), InstanceNorm(Ulyanov et al., 2016), GroupNorm(Wu & He, 2018) 등이 제안되었다.
• 한계점: 이들은 배치 크기 종속성을 제거하여 초소형 배치 환경에서 안정적으로 동작하지만, 추론 단계에서 통계량을 다시 계산해야 하므로 지연 시간 및 연산 비용 증가라는 새로운 제약을 낳는다.

2. Signal Propagation Plots

신경망이 깊어질수록 층별 신호의 분산과 평균이 어떻게 거동하는지 추적하는 작업은 비정규화 모델 설계의 출발점이 된다.

• Signal propagation: 입력 신호가 다층 신경망의 레이어를 통과하며 순전파 및 역전파되는 신호 전달 과정 전반을 의미한다 ⁶.
• 무작위 가우시안 입력(random Gaussian inputs)이나 실제 훈련 샘플을 조건화하여 깊이별 은닉 활성화(hidden activations)의 통계치를 추적하면 신호의 폭발이나 소실을 즉각 파악할 수 있다.
• 이것이 저자들이 신호 전파 플롯(Signal Propagation Plots, SPPs)을 설계하여 모델 분석에 도입한 이유이다.

SPP는 심층망 내부의 신호 거동을 세 가지 핵심 지표로 진단한다.

• Average Channel Squared Mean: 배치 및 공간 축($NHW$)에 걸친 평균의 제곱을 구한 뒤 채널 축($C$)에 대해 평균을 산출한다. 이상적인 신호 전파 조건에서는 각 채널의 평균 활성화가 0에 가깝게 유지되어야 한다.
• Average Channel Variance: $NHW$ 축에 걸쳐 채널별 분산을 구한 후 $C$ 축에 대해 평균을 계산한다. 깊이에 따른 신호 폭발(explosion)이나 신호 감쇠(attenuation) 여부를 직관적으로 보여준다.
• Residual Average Channel Variance: 잔차 분기(residual branch) 내부 레이어들의 활성화 분산을 추적하여, 해당 분기들이 초기화 시점에서 신호 분산을 적절히 보존하도록 초기화되었는지를 검증한다.

  3. Normalizer-Free Resnets (NF-RESNETS)

SPP 분석을 통해 정상적인 배치 정규화 네트워크의 수학적 거동을 면밀히 분석하고, 정규화 레이어 없이도 동일한 신호 스케일링 효과를 재현하는 설계를 유도한다.

표준적인 초기화 상태에서 배치 정규화는 각 잔차 블록으로 들어오는 입력을 입력 신호의 표준편차에 비례하는 비율로 다운스케일링(downscaling)한다. 반면 각 잔차 블록의 분기는 신호 분산을 거의 일정한 수준만큼 증가시키는 역할을 수행한다.

배치 통계량 계산 없이 이러한 역동성을 수학적으로 모방하기 위해, 저자들은 다음과 같은 형태의 잔차 블록 구조를 채택한다.

\[x_{l+1} = x_l + \alpha f_l(x_l / \beta_l)\]

• $x_l$: $l$번째 잔차 블록에 대한 입력 텐서이다.
• $f_l(\cdot)$: $l$번째 잔차 가지(residual branch)가 계산하는 비선형 변환이다.
  • 함수 $f_l(\cdot)$는 초기화 시 분산 보존(variance preserving) 특성을 만족하도록 매개변수화된다: $\text{Var}(f_l(z)) = \text{Var}(z)$.
  • 이 엄밀한 분산 제약을 통해 신경망 전체 깊이에 따른 신호 성장률을 해석적으로 정밀 추정할 수 있다.
• $\beta_l$: $\beta_l = \sqrt{\text{Var}(x_l)}$로 정의되는 고정된 스칼라 값이다.
  • 초기화 시 은닉 활성화 $x_l$의 기댓값 기준 경험적 표준편차이다.
  • 잔차 분기 함수 $f_l(\cdot)$로 전달되는 입력 텐서의 분산을 단위 분산($\text{Var}(x_l / \beta_l) = 1$)으로 정규화한다.
• $\alpha$: 블록 간 분산 증가율을 정밀하게 제어하는 고정 스칼라 하이퍼파라미터이다.

이때 기대 분산은 $\text{Var}(x_l) = \text{Var}(x_{l-1}) + \alpha^2$ 관계식을 따르며, 초기 입력 $x_0$에 대해 $\text{Var}(x_0) = 1$ 및 $\beta_0 = 1$로 시작하여 각 블록 $l$의 $\beta_l = \sqrt{\text{Var}(x_l)}$를 분석적으로 확정할 수 있다.

기존 정규화 ResNet에서는 정규화 입력을 받는 다운샘플링 숏컷(shortcut convolution) 덕분에 각 전이 레이어(transition layer)마다 신호 분산이 리셋된다. NF-ResNet은 전이 레이어의 숏컷 컨볼루션 입력 역시 $(x_l / \beta_l)$로 스케일링하여 이 리셋(reset) 거동을 자연스럽게 모방한다.

결국 정규화 레이어를 제거하고 분산 스케일 팩터 $\beta_l$과 결합 계수 $\alpha$만으로 신호 폭발을 엄밀히 억제한 구조가 바로 Normalizer-Free ResNet(NF-ResNet)이다.

4.1 ReLU Activations Induce Mean Shifts

분산 제약만으로는 비선형 활성화 함수가 유발하는 체계적인 통계 왜곡을 완전히 방지하기 어렵다.

위 그래프에서 초록색 선은 He 초기화 기반의 가우시안 가중치로 구성된 기본 NF-ResNet의 전파 양상을 나타낸다.

• 평균 이동(Mean Shift) 발생: 제곱 채널 평균(Avg Squared Channel Mean)이 네트워크 깊이에 비례하여 급격히 증가하며, 평균 채널 분산 수치를 크게 상회하는 수준에 이른다.
  • 이는 서로 다른 입력 샘플에 대한 은닉 활성화 값들 사이에 강한 양의 상관관계가 형성되는 ‘평균 이동(mean shift)’ 현상을 의미한다.
• 원인 분석: ReLU나 Swish 같은 비선형 활성화 함수의 평균 출력이 항상 양수($\mathbb{E}[g(x)] > 0$)이기 때문에 발생한다. 실제로 ReLU를 제거하면 제곱 채널 평균은 깊이에 상관없이 0 근처를 유지하고 분산도 1 주위에서 안정적으로 수렴한다.

결론적으로 He 초기화 가중치만 적용한 순수 NF-ResNet은 깊이가 깊어질수록 심각한 훈련 불안정성에 직면하게 된다.

4.2 Scaled Weight Standardization

비선형 활성화 함수에 기인한 평균 이동 현상을 원천 차단하고 잔차 가지 $f_l(\cdot)$의 분산 보존성을 확립하기 위해 Scaled Weight Standardization(Scaled WS) 기법을 제안한다.

\[\hat W_{i,j} = \gamma \cdot \frac{W_{i,j} - \mu_{W_{i,\cdot}}}{\sigma_{W_{i,\cdot}} \sqrt{N}}\]

• $W$: 가우시안 정규분포로 초기화된 원본 합성곱 가중치 행렬이다.
• $\mu_{W_{i,\cdot}}$, $\sigma_{W_{i,\cdot}}$: 컨볼루션 필터의 팬인(fan-in, $N$) 축에 걸쳐 계산된 가중치 평균과 표준편차이다.
• $\gamma$: 활성화 함수 $g(x)$의 비선형 스케일에 맞춰 분산을 단위 분산으로 보정하는 고정 상수 이득(fixed gain)이다.

Scaled WS를 적용한 합성곱 연산 출력 $z = \hat W g(x)$는 수학적으로 $\mathbb{E}(z_i) = 0$ 및 $\text{Var}(z_i) = 1$을 만족하여, 층이 깊어져도 평균 이동이 발생하지 않는다.

Scaled WS 기법이 제공하는 시스템적 강점은 다음과 같다.

• 연산 효율성: 가중치 파라미터 수에 비례하여 동작하므로 은닉 활성화 텐서 크기에 의존하지 않아 계산 오버헤드가 매우 낮다.
• 추론 무비용: 추론 시점에는 사전에 표준화된 고정 가중치 $\hat W$를 합성곱에 직접 사용하므로 추가 런타임 지연이 전혀 없다.
• 독립성과 재현성: 미니배치 샘플 간 상호 종속성 및 학습-테스트 간 통계량 불일치가 전혀 발생하지 않으며, 분산 학습 환경에서도 별도의 동기화 연산이 필요하지 않다.

섹션 4.1의 그래프가 실증하듯, Scaled WS를 결합함으로써 초기화 시점의 은닉 활성화 제곱 평균 폭증 문제를 근본적으로 해소할 수 있다.

Summary of NF-ResNet

NF-ResNet의 핵심 알고리즘 및 구조 설계는 세 가지 축으로 요약된다.

1. 신호 분산 누적 추적 및 다운스케일링: 기대 신호 분산 $\beta_l^2$를 단계별로 전파한다. 각 잔차 블록을 거칠 때마다 $\beta_l^2$는 $\alpha^2$만큼 증가하며($\beta_0 = 1$), 각 잔차 분기의 입력은 사전에 계산된 스칼라 $\beta_l$로 나뉘어 단위 분산으로 다운스케일링된다.
2. 전이 블록 리셋 모방: 전이 블록(transition block)의 스킵 경로에 위치한 컨볼루션 입력 역시 $\beta_l$로 다운스케일링하고, 전이 블록 통과 직후 다음 블록의 기준 분산을 $\beta_{l+1} = \sqrt{1 + \alpha^2}$로 재설정한다.
3. Scaled WS 전면 적용: 네트워크의 모든 컨볼루션 레이어에 활성화 함수 $g(x)$ 맞춤형 이득 계수 $\gamma$를 반영한 Scaled Weight Standardization을 적용하여 채널별 평균 이동을 방지한다.

   5. Experiments

설계된 NF-ResNet이 기존 정규화 모델 대비 실제 대규모 이미지 인식 태스크에서 동등 이상의 성능을 달성하는지 실험적으로 검증한다.

ILSVRC 2012(ImageNet) 데이터셋에서 표준 90 에포크, 배치 크기 1024, Nesterov 모멘텀 SGD(학습률 0.0에서 0.4로 5 에포크 웜업 후 코사인 감쇠) 환경으로 5개 랜덤 시드에 걸쳐 측정한 결과, NF-ResNet 변형들은 배치 정규화 기반 ResNet과 동등하거나 근접한 수준의 Top-1 검증 정확도를 기록한다 ⁷.

• ResNet-50: FixUp 75.9 ± 0.3%, SkipInit 75.8 ± 0.2%, BN-ResNet 76.4 ± 0.1%, NF-ResNet 76.8 ± 0.1%
• ResNet-101: FixUp 77.6 ± 0.3%, SkipInit 77.3 ± 0.2%, BN-ResNet 78.1 ± 0.1%, NF-ResNet 78.4 ± 0.1%
• ResNet-152: FixUp 78.4 ± 0.3%, SkipInit 78.0 ± 0.1%, BN-ResNet 78.8 ± 0.1%, NF-ResNet 79.1 ± 0.1%
• ResNet-200: FixUp 78.7 ± 0.3%, SkipInit 78.2 ± 0.1%, BN-ResNet 79.2 ± 0.1%, NF-ResNet 79.6 ± 0.1%
• ResNet-288: BN-ResNet 79.5 ± 0.1%, NF-ResNet 79.5 ± 0.1%

배치 정규화의 본질적인 취약점은 장치당 배치 크기가 극도로 작아질 때 통계 추정 왜곡으로 인해 급격한 성능 하락을 겪는다는 점이다.

ResNet-50 아키텍처에서 디바이스당 배치 크기(batch size per device)를 줄여가며 평가한 결과, BN-ResNet은 배치 크기 1024에서 70.9 ± 0.1%이던 정확도가 배치 크기 8에서 65.7 ± 0.2%, 배치 크기 4에서는 55.7 ± 0.3%로 15.2%p 하락한다. 반면 NF-ResNet은 배치 크기 1024(69.9 ± 0.1%), 배치 크기 8(69.6 ± 0.1%), 배치 크기 4(69.9 ± 0.1%)에 걸쳐 성능 저하 없이 일관된 정확도를 유지한다 ⁷.

아울러 다양한 연산량(FLOP budget) 제약 조건하에서 ImageNet 벤치마크를 수행한 결과, NF-ResNet은 당시 주요 기준 모델이었던 EfficientNet 시리즈와 견줄 수 있는 정확도-연산 효율 곡선을 나타낸다 ⁷.

6. 한계 및 트레이드오프

NF-ResNet은 정규화 계층 없이 심층망을 최적화할 수 있음을 입증했으나 실제 구현 및 배포 시 다음과 같은 제약이 따른다.

1. 명시적 정규화 의존성: 배치 정규화의 미니배치 통계 노이즈가 제공하던 암묵적 정규화(implicit regularization) 효과가 배제되므로, 추가 정규화 없이는 훈련 정확도만 높고 테스트 정확도가 떨어지는 일반화 격차(generalization gap)가 발생한다. 따라서 Stochastic Depth(drop rate 0.1)와 최종 계층 드롭아웃(rate 0.25)을 반드시 병용해야 한다 ⁷.
2. 초심층 모델의 훈련 붕괴 위험: ResNet-288과 같은 극심층 아키텍처에서는 표준 학습률(0.4) 환경에서 훈련 붕괴(training collapse)가 간헐적으로 발생하며(5개 시드 중 2회 붕괴 보고), 훈련 안정화를 위한 추가 기법(학습률 감쇄 또는 적응형 그래디언트 클리핑 AGC)이 요구된다 ⁷.
3. 신규 블록 설계 시 스케일링 계수 재유도: Squeeze-and-Excitation(SE)이나 비표준 활성화 함수 등 새로운 연산자를 아키텍처에 삽입할 때마다 신호 전파 보존 조건($\text{Var}(f_l(z))=\text{Var}(z)$, $\mathbb{E}[z]=0$)을 만족하도록 분산 계수($\alpha, \beta$)와 스케일 이득 계수($\gamma$)를 해석적으로 재계산해야 한다.

핵심 요약 및 시사점

• 배치 정규화의 한계 극복: 배치 크기 의존성, 훈련-추론 불일치, 하드웨어 간 재현성 저하라는 배치 정규화의 핵심 병목을 정규화 레이어 완전 제거 방식으로 해결했다.
• 수학적 분산 보존 설계: 잔차 스케일 팩터 $\beta_l$과 결합 계수 $\alpha$를 활용해 잔차 분기의 분산을 분석적으로 제어함으로써 심층망의 신호 전파 안정성을 확립했다.
• Scaled Weight Standardization: 비선형 활성화 함수가 유발하는 평균 이동(mean shift)을 가중치 차원에서 정규화하여 훈련 안정성을 끌어올렸으며, 추론 비용이 전혀 없는 효율성을 달성했다.
• 경쟁력 있는 정확도 및 견고성: 극소 미니배치 환경에서도 성능 저하 없이 안정적으로 동작하며, ImageNet 상에서 EfficientNet과 경쟁 가능한 분류 성능을 입증했다.

정규화 계층이 신경망 학습의 불가결한 요소라는 통념을 깨고, 정교한 신호 전파 제어만으로도 초심층 네트워크를 성공적으로 최적화할 수 있음을 입증한 연구이다.

references

1. Ioffe, S., & Szegedy, C. (2015). “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”, ICML 2015 (arXiv:1502.03167). ↩

2. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift - PMLR ↩

3. Li, H., Xu, Z., Taylor, G., Studer, C., & Goldstein, T. (2018). “Visualizing the Loss Landscape of Neural Nets”, NeurIPS 2018 (arXiv:1712.09913). ↩

4. Deep Learning Performance Guide: Inference Latency and Throughput - NVIDIA Developer ↩

5. Inference: The Next Step in GPU-Accelerated Deep Learning - NVIDIA Technical Blog ↩

6. Schoenholz, S. S., Gilmer, J., Ganguli, S., & Sohl-Dickstein, J. (2017). “Deep Information Propagation”, ICLR 2017 (arXiv:1611.01232). ↩

7. Brock, A., De, S., Smith, S. L., & Simonyan, K. (2021). “Characterizing Signal Propagation to Close the Performance Gap in Unnormalized ResNets”, ICLR 2021 (arXiv:2101.08692). ↩ ↩² ↩³ ↩⁴ ↩⁵