[논문 리뷰] Squeeze-and-Excitation Networks
“Squeeze-and-Excitation Networks” 논문을 개인 공부 및 리뷰를 위해 정리한 글이다.
기존 컨볼루션 신경망(CNN)은 합성곱 커널을 통해 국부 공간(local spatial)과 채널 정보를 암묵적으로 융합하지만, 채널 간의 상호의존성을 명시적으로 고려하지 못하는 한계가 있었다. 저자들은 이러한 정보 병목을 해소하기 위해 전역 공간 정보를 요약하는 Squeeze와 채널 간 상호 관계를 비선형적으로 학습하는 Excitation 메커니즘을 제안한다. 이를 통해 핵심 특징은 강조하고 불필요한 노이즈는 억제하는 특성 재보정(Feature Recalibration)을 경량 모듈 형태로 구현하였다.
1. Introduction
CNN의 핵심 연산인 컨볼루션은 국부 수용 영역(local receptive field) 내부의 공간 및 채널 정보를 결합하여 계층적인 표현을 구축한다. 그러나 채널 간 중요도를 차별화하는 메커니즘이 부족하여 모든 채널을 동일한 가중치로 다루는 비효율이 존재했다.
- 컨볼루션 신경망(CNN)의 표현 방식: 입력 채널을 따라 국부 공간 연결 패턴(local spatial connectivity pattern)을 표현하기 위해 일련의 필터를 학습하며, 국부 수용 영역 내에서 공간 및 채널별 정보를 통합한다.
- 계층적 특징 구축: 비선형 활성화 함수와 다운샘플링(downsampling) 레이어를 교차 배치하여 수용 영역을 점진적으로 넓히고, 강력한 이미지 표현력을 지닌 계층적 패턴을 형성한다.
- 학습 메커니즘의 임베딩(Embedding): 최근 연구들은 추가적인 지도 신호 없이도 의미 있는 공간 상관관계를 포착하기 위해 저차원 잠재 공간으로의 변환 메커니즘을 네트워크에 통합하고 있다. 1
결국 공간 정보에만 머무르던 주의 집중을 채널 차원으로 확장하는 것이 핵심이다.
이러한 배경에서 본 논문은 Squeeze-and-Excitation (SE) block을 도입하여 채널 간의 상호의존성을 명시적으로 모델링하고자 한다.
- 핵심 목표: 컨볼루션 특징의 채널 간 상호의존성을 명시적으로 모델링하여 네트워크의 표현력을 극대화한다.
-
특성 재보정(Feature Recalibration): 전역 정보(global information)를 활용해 유용한 특징 맵은 선택적으로 강조하고, 불필요한 특징은 억제하여 채널별 반응을 동적으로 보정한다.
- 국부 수용 영역의 한계: CNN의 각 컨볼루션 필터는 특징 맵의 국부 영역(local)만을 탐색하므로, 수용 영역 밖의 문맥 정보는 직접적으로 활용하지 못한다.
- 수용장(Receptive Field): 출력 레이어의 특정 뉴런 하나에 영향을 미치는 입력 공간의 영역 크기를 의미한다. 2
- 비선형성 및 특징 압축: 활성화 함수를 통해 비선형 관계를 학습하고 풀링(pooling) 연산으로 공간 크기를 줄여 점진적으로 더 넓은 수용 영역의 특징을 종합한다. 3
- (Fig. 1)은 SE block의 구조를 말한다.
- $F_{tr}:X\to U$
- $X\in \mathbb{R}^{H^{‘} \times W^{‘} \times C^{‘}}$
- $U\in \mathbb{R}^{H \times W \times C}$
- Squeeze 연산: 공간 차원 $H\times W$에 걸친 특징 맵을 집계하여 전역 통계량인 채널 설명자(channel descriptor)를 생성한다. 즉, 공간 정보를 압축하여 각 채널을 대표하는 핵심 요약값만을 추출한다.
- 전역 맥락 전파: 채널 설명자는 전역 수용 영역의 요약 정보를 저차원 표현으로 임베딩하여, 얕은 레이어에서도 전역적인 맥락을 반영할 수 있도록 돕는다.
- Excitation 연산: 채널별 요약값을 입력받아 학습 가능한 비선형 게이팅을 거쳐 채널 간 의존성을 계산하고 각 채널의 반응 크기(excitation)를 제어한다.
- 재보정 특징 맵 생성: 산출된 채널 가중치를 원래 특징 맵 $U$에 채널별로 곱해 재보정된 출력을 생성하고, 이를 다음 레이어로 직접 전달한다.
작은 파라미터 추가만으로 전역 맥락을 채널마다 동적으로 입혀준다.
2. Related Work
신경망의 표현력을 높이기 위한 기존 시도들은 주로 깊이(depth)와 폭(width)의 확장, 정규화 기법의 발전에 집중되어 왔다.
- 네트워크 깊이 확장: VGGNet과 Inception 모델은 계층의 깊이를 단계적으로 늘리며 표현력을 비약적으로 끌어올렸다.
- 안정적인 학습 메커니즘: 배치 정규화(Batch Normalization; BN)는 각 층의 입력을 정규화하여 그래디언트 전파를 안정화하고 학습 속도를 개선했다.
- 잔차 연결(Residual Connection): ResNet은 항등 매핑(identity mapping) 기반의 스킵 연결을 통해 극도로 깊은 신경망에서도 기울기 소실 없이 안정적으로 학습할 수 있음을 증명했다.
- 게이팅 메커니즘: Highway Networks는 게이팅 메커니즘을 도입하여 숏컷 연결을 동적으로 제어하는 구조를 선보였다.
구조적 확장을 넘어 전역 정보 기반의 동적 채널 제어가 필요해졌다.
기존 아키텍처들이 고정된 구조적 개선에 집중했다면, 본 연구의 명시적 동적 모델(explicit dynamic model)은 전역 정보를 바탕으로 채널 간 비선형 의존성을 동적으로 학습하여 네트워크의 표현 효율을 극대화한다.
3. Squeeze-and-Excitation Blocks
SE 블록은 기존의 표준 CNN 아키텍처 어디에나 손쉽게 삽입할 수 있는 범용 빌딩 블록이다.
- $F_{tr}:X\to U$, $X\in \mathbb{R}^{H^{‘} \times W^{‘} \times C^{‘}}$, $U\in \mathbb{R}^{H \times W \times C}$
- $F_{tr}$ : 컨볼루션 연산 레이어
- $V=[v_1,v_2,…,v_c]$ : 학습된 필터 커널의 집합 ($v_c$는 $c$번째 필터의 파라미터)
- $U=[u_1,u_2,…,u_c]$ : $F_{tr}$의 출력 특징 맵
- $u_c=v_c*X= \sum_{s=1}^{C^{‘}}v_c^sx^s$ ($$는 컨볼루션 연산)
컨볼루션 연산의 출력은 모든 입력 채널에 대한 합성곱의 합산으로 도출되므로, 채널 간의 상호작용은 필터 가중치 $V_c$에 암묵적으로(implicitly) 녹아들게 된다. 하지만 이러한 채널 종속성은 필터가 포착하는 국부 공간 상관관계와 복잡하게 얽혀 있어 순수한 채널별 중요도를 분리해내지 못한다.
따라서 SE 블록은 채널 상호의존성을 명시적으로 분리하여 모델링하며, 특징 맵이 다음 변환으로 전달되기 전에 Squeeze와 Excitation 두 단계를 거쳐 채널 반응을 명시적으로 재보정한다.
3.1. Squeeze: Global Information Embedding
국부 수용 영역에 갇혀 있는 개별 컨볼루션 유닛에 전역적인 공간 맥락을 주입하는 압축 단계이다.
학습된 각 필터는 국부 수용 영역(local receptive field) 내에서만 작동하므로, 변환 출력 $U$의 각 유닛은 해당 영역 외부의 전역적인 문맥 정보를 활용할 수 없다. 이 문제를 해결하기 위해 공간 차원을 압축하여 전역 공간 정보(global spatial information)를 담은 채널 설명자(channel descriptor)를 추출한다.
- 글로벌 평균 풀링(GAP): 공간 차원 $H\times W$ 전체에 대해 평균 풀링(Global Average Pooling)을 적용하여 각 채널의 전역 통계량을 생성한다.
공간 차원을 1x1로 압축하여 채널별 전역 통계량을 완성한다.
3.2. Excitation: Adaptive Recalibration
Squeeze 단계에서 얻은 전역 채널 통계량을 바탕으로, 채널 간의 비선형 의존성을 포착하여 채널별 적응적 가중치를 산출하는 단계이다.
채널별 의존성을 온전히 포착하기 위해 게이팅 함수는 다음 두 가지 핵심 기준을 충족해야 한다:
- 비선형 상호작용 학습: 채널 간의 복잡하고 유연한 비선형 관계를 충분히 모델링할 수 있어야 한다.
- 다중 채널 강조(Non-mutually-exclusive): 원-핫(one-hot) 형태가 아니라 여러 채널이 동시에 활성화될 수 있도록 독립적인 스케일링이 가능해야 한다.
이러한 조건을 만족하기 위해 2개의 완전 연결 계층(Fully-Connected Layer)과 시그모이드(Sigmoid) 활성화를 조합한 병목(Bottleneck) 구조를 적용한다:
\[s=F_{ex}(z,W)=\sigma(g(z,W))=\sigma(W_2\delta(W_1z))\]- $\delta$ : ReLU 활성화 함수
- $W_1\in \mathbb{R}^{\frac{C}{r}\times C}$ : 채널 차원을 축소 비율 $r$만큼 압축하는 첫 번째 완전 연결 계층
- $W_2\in \mathbb{R}^{C\times \frac{C}{r}}$ : 차원을 원래 채널 수 $C$로 복원하는 두 번째 완전 연결 계층
이미지 출처4
- 블록의 최종 출력은 활성화와 함께 변환 출력 $U$의 크기를 조정하여 얻는다.
- $\tilde x_c = F_{scale}(u_c,s_c)=s_c\cdot u_c$
- $\tilde X = [\tilde x_1, \tilde x_2,…,\tilde x_c]$
- $F_{scale}(u_c,s_c)$ : $u_c\in \mathbb{R}^{H\times W}$와 스칼라 $s_c$간 채널별 곱셈
- $\tilde x_c = F_{scale}(u_c,s_c)=s_c\cdot u_c$
3.3. Examples: SE-Inception and SE-ResNet
SE 블록은 Inception 블록이나 ResNet의 잔차 블록 등 기존 아키텍처의 기본 단위 뒤에 독립적으로 결합되어 계산 부담을 최소화하면서 성능을 향상시킨다.
기존 백본 어디에 붙여도 채널 재보정 효과가 즉각 발휘된다.
4. Model and Computational Complexity
SE 블록은 추가 연산 비용을 제한하도록 설계되었다. 차원 축소 비율 $r$(보통 $r=16$)을 둔 2층 FC 병목 구조 덕분에 모델 전체 파라미터 증가는 약 10% 미만, 연산량(FLOPs) 증가는 1% 미만으로 억제되면서도 유의미한 성능 향상을 달성한다(ResNet-50의 3.86 GFLOPs 대비 SE-ResNet-50은 3.87 GFLOPs로 약 0.26% 증가하며, 8× NVIDIA Titan X GPU 기준 미니배치 256의 순전파·역전파 시간은 190ms에서 209ms로 측정된다).
5. Implementation
SE 블록을 통합한 SENet은 ResNet, ResNeXt 등의 기존 백본 구조에 결합되어 다양한 벤치마크에서 기준 모델 대비 오차율을 낮추며 성능을 개선했다(ImageNet 검증 세트 224×224 단일 크롭 기준, ResNet-50의 Top-1 오차율은 24.80%에서 23.29%로 1.51%p 감소, Top-5 오차율은 7.48%에서 6.62%로 0.86%p 감소).
6. 핵심 요약 및 시사점
SENet은 표준 컨볼루션이 간과했던 채널 간 상호의존성을 명시적인 연산으로 다룸으로써 CNN 아키텍처 설계에 중요한 통찰을 제시했다:
- 채널 주의 집중(Channel Attention)의 표준화: 공간적 연산에 치중되어 있던 기존 CNN 연구에 채널별 중요도를 적응적으로 재조정하는 새로운 설계 축을 제시했다.
- Squeeze & Excitation의 간결한 구조: GAP를 통한 전역 맥락 압축과 2층 FC 기반 게이팅을 결합하여 가볍고 유연한 연산 파이프라인을 구축했다.
- 우수한 범용성과 결합 편의성: VGGNet, Inception, ResNet, ResNeXt 등 다양한 백본에 최소한의 계산 비용(FLOPs 1% 미만 증가)으로 플러그 앤 플레이 결합이 가능하다.
- 실증적 우수성: 경량 모듈 추가만으로 ILSVRC 2017 이미지 분류 대회에서 탑-5 에러율 2.251%(앙상블 기준, 단일 SENet-154는 4.47%)를 기록하며 1위를 차지하여 아키텍처의 효용성을 검증했다.
댓글남기기