정현석

개인 저장공간입니다.
Since 2021.10

7 분 소요

image

“Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection” 논문을 개인 공부 및 리뷰를 위해 정리한 글이다. 논문 출처는 arXiv:2107.001911이다.

머신러닝 모델을 프로덕션 환경에 배포한 후, 입력 데이터의 분포나 정답 레이블과의 관계가 달라지면 모델 성능이 급격히 저하되는 데이터셋 시프트(Dataset Shift) 문제가 빈번하게 발생한다. 이 논문은 레이블이 전혀 없는 테스트 데이터 환경에서도 신경망 내부 배치 정규화(Batch Normalization, BN) 계층의 통계량을 활용하여 모델 드리프트(Model Drift)를 효과적으로 추정하는 비지도 MDE(Model Drift Estimation) 기법을 제안한다. 또한 테스트 입력의 작은 표본 크기에서 비롯되는 샘플링 오차를 완화하기 위해 저차원 표현 계층에 행렬 분해(Low-Rank Approximation)를 결합하여 드리프트 감지와 최적 모델 선택(Model Selection) 문제를 단순하면서도 강건하게 해결한다.

배치 정규화로 모델 드리프트를 잡아라: 비지도 방식의 데이터셋 변화 감지와 모델 선택

실제 서빙 환경에서는 레이블이 즉각적으로 주어지지 않으므로 데이터 분포의 변화를 사전에 감지하고 최적 모델을 다시 선택하는 체계가 필수적이다.

  • 데이터셋 시프트(Dataset Shift): 배포 후 서빙 데이터가 변하면 모델 예측 정확도가 급락하는 병목이 발생한다.
  • 비지도 추정의 필요성: 레이블이 없는 테스트 데이터 스트림에서 신경망 자체의 내부 상태를 관찰해 성능 저하를 감지해야 한다.
  • 배치 정규화(BN) 통계량 활용: 학습 시 축적된 러닝 통계량과 테스트 입력의 통계량을 비교하여 모델 드리프트를 직접 수치화한다.
  • 저차원 근사 결합: 샘플 수가 적을 때 발생하는 통계적 오차를 줄이기 위해 특이값 분해(SVD) 기반 저차원 근사를 적용한다.
  • MLOps 실용성: 복잡한 사후 확률 계산 없이도 모델 드리프트 감지, 장애 복구, Model Zoo 내 최적 모델 선별을 실시간으로 수행한다.

신경망 내부의 기본 통계량만으로 외부 데이터 변화를 포착한다.

왜 이 논문이 중요한가? (Introduction)

실제 환경의 머신러닝 시스템은 데이터가 시간에 따라 끊임없이 변화하는 비정상(Non-stationary) 환경에 노출되어 있다.

훈련 데이터와 테스트 데이터의 분포가 불일치하는 데이터셋 시프트(Dataset Shift)가 발생하면, 기존에 우수했던 모델도 현업에서는 심각한 오작동을 일으킨다. 예를 들어 맑은 날 이미지로 학습한 비전 모델에 비나 눈이 내리는 악천후 이미지가 유입되면 예측 성능이 급락한다. 실시간 스트림 데이터에 일일이 정답 레이블을 달아 정확도를 계산하는 것은 비용과 시간 면에서 불가능하므로, 레이블이 주어지지 않은 상태에서 모델 성능 저하를 추정하는 비지도 드리프트 진단 기법이 절실히 요구된다.

전이 학습(Transfer Learning)23 관점에서의 모델 선택 과제:

  • 기존 자산의 재활용: 사전 학습된 대규모 모델 풀(Model Zoo)에서 타겟 도메인과 가장 잘 맞는 모델을 선택해 미세 조정(fine-tuning)하는 방식이 널리 쓰인다.
  • 전이 가능성(Transferability) 평가 비용: 다양한 후보 모델 중 타겟 작업에 최적인 모델을 찾기 위해 베이지안 추론(Bayesian Inference)이나 전수 훈련을 거치는 것은 큰 계산 비용을 유발한다.

본 논문의 핵심 아이디어: 배치 정규화(BN) 계층 통계량의 재발견

배치 정규화 계층은 훈련 단계에서 데이터의 평균과 분산을 지수 이동 평균(EMA)으로 지속적으로 축적해둔다. 이 축적된 소스 통계량과 실시간 테스트 데이터의 배치 통계량을 계층별로 비교하면, 별도의 추가 학습이나 레이블 없이도 모델이 체감하는 드리프트 강도를 즉시 측정할 수 있다.

논문의 핵심 기여:

  • 비지도 모델 드리프트 추정(MDE): 레이블이 없는 테스트 입력만으로 소스와 타겟 사이의 모델 드리프트를 정량화하는 MDE 프레임워크를 제안한다.
  • 공변량 및 개념 시프트 대응: 입력 분포가 흔들리는 공변량 시프트(Covariate Shift)뿐 아니라 정답 규칙이 흔들리는 개념 시프트(Concept Shift) 환경 모두에서 효과성을 입증했다.
  • 모델 선택 및 드리프트 자동 복구: 축적된 통계량 비교 점수를 바탕으로 전이 학습 모델 선택과 장애 모델 교체를 효율적으로 완수한다.

이미지 출처4

  • 우도(가능도, likelihood): 어떤 특정한 값을 관측할 때, 이 관측치가 어떠한 확률분포에서 나왔는가에 관한 값 5
  • 베이지안 추론(bayesian inference): 사전 분포(prior probability)에 대해서 알고, 데이터에 대한 적절한 가정을 알 수 있다면 사후분포(posterior probability)를 알 수 있다.

훈련하는 동안 지수평균 이동과 함께 데이터의 통계를 축적하고 각 표현 계층의 입력을 테스트할 때 통계치에 의해 정규화하는 배치 정규화(BN)의 동작에 영감을 받아, BN 레이어에서 학습가능한 파라미터와 평가를 실행하여 타겟 데이터셋으로부터 model drift를 측정한다.

배치 정규화는 정규화 도구를 넘어 최적의 드리프트 센서가 된다.

데이터셋 시프트 감지와 전이 가능성 추정은 신뢰할 수 있는 머신러닝 시스템 구축을 위한 핵심 연구 주제이다.

Dataset Shift 감지

데이터셋 시프트(Dataset Shift)는 훈련과 테스트 환경 간에 입력 $x$와 출력 $y$의 결합 확률 분포(Joint Probability) $P(x, y)$가 달라지는 현상을 의미한다6.

  • Covariate Shift: 레이블 조건부 확률 $P(y x)$는 유지되지만 입력 데이터 분포 $P(x)$만 달라지는 경우다. 예를 들어 낮 시간대 사진으로 학습한 자율주행 모델에 야간 주행 데이터가 입력되는 상황이다.
  • Concept Shift: 입력 분포 $P(x)$는 유사하더라도 입력과 레이블 간의 관계인 사후 확률 $P(y x)$가 변하는 경우다. 동일한 상품 구매 행동이라도 거시 경제 상황에 따라 구매 여부 기준이 바뀌는 형태가 대표적이다.

공변량 시프트에 비해 개념 시프트는 정답 레이블이 주어지지 않으면 기존 입력 모니터링 방식으로는 포착하기 극히 어렵다는 난제가 존재한다.

모델 선택(Model Selection)

타겟 도메인 데이터가 주어졌을 때, 사전 학습된 모델 풀에서 귀납적 편향(Inductive Bias)7이 타겟 작업과 가장 부합하는 최적 모델을 골라내는 작업이다. 모델을 타겟 데이터에 직접 재훈련하지 않고도 사전 성능을 가늠하는 전이 가능성(Transferability) 추정이 핵심적이다8.

기존 전이 가능성 평가 방식:

  • RSA (Representational Similarity Analysis): 중간 표현 계층의 특징 유사도를 기반으로 모델 간 적합도를 비교한다.
  • LEEP (Log Expected Empirical Prediction): 사전 학습 모델의 의사 레이블(Pseudo-label)과 타겟 레이블 간의 경험적 조건부 교차 엔트로피를 계산한다.
  • FSA (Feature Sparsity Analysis): 비지도 환경에서 특징 표현의 희소성 및 다양성을 분석하여 후보군을 좁힌다.

기존 접근법들은 타겟 레이블을 일부 요구하거나 계산 복잡도가 높았던 반면, 본 연구는 신경망 내부에 이미 보존된 BN 러닝 통계량과 순방향 추론 통계량을 직접 비교함으로써 추가적인 레이블 획득이나 역전파 계산 없이 연산 오버헤드를 경감했다.

복잡한 계산 대신 이미 존재하는 통계량의 불일치를 읽어낸다.

모델 드리프트 추정 방법 (Model Drift Estimation)

본 논문은 배치 정규화 계층의 내부 파라미터를 활용해 계층별 드리프트 점수를 계산하고 이를 전체 네트워크로 통합하는 구조를 취한다.

배치 정규화(Batch Normalization)의 동작 원리

배치 정규화(BN)910는 미니배치 단위로 입력의 평균을 0, 분산을 1로 맞추어 내부 공변량 변화를 완화하고 학습 안정성을 높이는 기법이다1112.

훈련 단계에서는 각 미니배치의 평균과 분산을 계산하는 동시에 전체 데이터셋의 통계량을 대표하도록 지수 이동 평균(EMA)13을 사용해 러닝 평균 $\mu$와 러닝 분산 $\sigma^2$을 지속적으로 갱신한다. 추론 단계에서는 미니배치 계산치 대신 이 누적된 소스 통계치를 사용해 입력을 정규화하고 학습된 파라미터 $\gamma, \beta$로 아핀 변환을 수행한다.

\[y = \gamma \frac{x - \mu}{\sigma} + \beta\]

EMA는 최신 미니배치에 더 높은 가중치를 부여하면서도 이전 학습 이력을 반영하여 전체 소스 도메인의 통계적 특성을 정밀하게 보존한다.

BN 통계 기반 드리프트 점수 (Model Drift Score)

신경망 계층에 보존된 러닝 통계량 $(\mu, \sigma)$는 소스 훈련 데이터의 분포를 대표한다. 타겟 데이터셋이 주어졌을 때 각 계층을 통과시키며 타겟 데이터의 경험적 평균 $\bar{\mu}$와 분산 $\bar{\sigma}$를 측정하면 두 분포 간의 어긋남을 감지할 수 있다.

저자들은 가우시안 가정 하에서 두 분포 사이의 Wasserstein 거리14 근사를 바탕으로 계층 $l$의 정규화된 드리프트 점수 $d^{(l)}$를 다음과 같이 정의한다:

\[d^{(l)} = \frac{1}{NC} \sum \frac{(\bar{\mu} - \mu)^2 + (\bar{\sigma} - \sigma)^2}{\sigma^2}\]

여기서 $N$과 $C$는 배치 및 채널 차원을 나타내며, 전체 신경망의 통합 모델 드리프트 점수 $D$는 모든 $L$개 계층의 평균으로 산출된다:

\[D = \frac{1}{L} \sum d^{(l)}\]

통계량의 편차가 클수록 소스 도메인에서 학습된 표현이 타겟 도메인에서 무너지고 있음을 뜻한다.

저차원 근사(Low-Rank Approximation)를 통한 표본 오차 보정

타겟 데이터의 스트리밍 배치 크기가 제한적이거나 고차원 특징 공간에서 표본 오차가 발생할 경우, 경험적 통계량 $(\bar{\mu}, \bar{\sigma})$가 왜곡될 위험이 있다. 특히 BN 계층의 아핀 변환(스케일 파라미터 $\gamma$ 곱셈 및 편향 $\beta$ 덧셈)은 이러한 표본 노이즈를 증폭시켜 드리프트 측정 오차를 키울 수 있다.

저자들은 특징 텐서 $x^{(l)} \in \mathbb{R}^{C \times H \times W}$를 2차원 행렬 $\tilde{x}^{(l)} \in \mathbb{R}^{C \times HW}$로 변환한 뒤 절삭 특이값 분해(Truncated SVD)를 적용하는 저차원 근사(Low-Rank Approximation)를 도입했다:

\(\tilde{x}^{(l)} = U D V^T\) \(\hat{x}^{(l)} = U \hat{D} V^T\)

여기서 직교 행렬 $U \in \mathbb{R}^{C \times C}$와 $V \in \mathbb{R}^{HW \times HW}$는 각각 출력 및 입력 공간의 특이 벡터를 나타내며, 대각 행렬 $\hat{D} = \text{Diag}([\sigma_1, \dots, \sigma_{R_{tr}\min(C, HW)}, 0, \dots, 0])$는 절삭 비율 $R_{tr}$에 따라 상위 특이값만 보존한다. 이를 통해 핵심적인 불변 부분공간(Invariant Subspace)을 유지하면서 고주파 표본 잡음을 제거하여, 소규모 타겟 표본 환경에서도 신뢰도 높은 드리프트 점수를 산출할 수 있다.

실험 결과 (Experimental Results)

다양한 도메인 시프트 시나리오와 모델 아키텍처를 대상으로 MDE의 유효성을 검증했다.

Dataset Shift 환경에서의 성능 분석

  • 실험 설정: ImageNet 사전 학습 ResNet-18을 CIFAR-100에 미세 조정(배치 크기 128, Adam 옵티마이저, 초기 학습률 0.001, 35 에포크에서 10배 감쇄, 총 50 에포크)한 모델을 기준으로 평가를 수행했다.
  • Covariate Shift 대응성: 기하 변형(회전), 조도 변화, 가우시안 노이즈 주입, 영역 소거(CutOut) 등 4종의 왜곡을 단계적으로 적용했다. 정확도가 기준 대비 10% 하락할 때 회전 변형에서는 MDE 드리프트 점수가 33배 증가한 반면, 무작위 영역 소거에서는 2배 미만 증가했다. 이는 MDE 점수가 단순 노이즈보다 표현 계층의 공간적 변형에 민감하게 반응함을 보여준다.
  • Concept Shift 감지력: CIFAR-100 슈퍼클래스 계층 구조를 활용해 훈련 시 등장하지 않은 미등장 클래스를 테스트 단계에 주입하는 중첩 테스트(Overlapping Test)를 수행했다. 정답 레이블이 주어지지 않은 상태에서도 드리프트 점수와 실제 성능 격차 사이에 강한 선형적 상관관계가 성립함을 확인했다.

모델 선택 및 자동 복구 성능

  • Concept Shift 복구 (Table 1): 20개 전문 모델(Experts) 풀을 대상으로 클래스 중첩 수 $c \in {25, 50, 75}$ 환경에서 모델 선택 성능을 평가했다.
    • $c=25$ (심한 개념 시프트): MDE-SVD는 top-3 정확도 0.4530, top-1 에러 0.0687을 기록하여 비지도 기준선인 FSA(top-3 0.3683, top-1 에러 0.0836) 및 무작위 선택(top-3 0.1500, top-1 에러 0.1312) 대비 성능을 개선했다.
    • $c=50$: MDE-SVD는 top-3 정확도 0.3298, top-1 에러 0.0505를 기록했다(FSA: top-3 0.3102, top-1 에러 0.0578).
    • $c=75$ (연속 주기 간 중첩 확률 $(75/100)^2 = 0.5625$): MDE-SVD는 top-1 에러율 0.0292(2.92%), top-3 정확도 0.2571, top-5 정확도 0.4221을 달성했다. 이는 FSA(top-1 에러 0.0363) 및 무작위 선택(top-1 에러 0.0422) 대비 에러율을 낮춘 결과이며, 최적 선택 대비 정확도 손실은 약 2.9% 수준에 머물렀다.
  • Model Zoo 최적 모델 선택: ImageNet, CIFAR-100, VisDA-2020 6개 도메인(Real, Sketch, Infograph, Clipart, Painting, Quickdraw) 총 8개 데이터셋 간 $8 \times 8 = 64$개 소스-타겟 전이 쌍을 구성해 검증했다. 타겟 데이터셋에서 1 에포크 단기 학습 후 측정한 정확도 순위와 사전 학습 모델의 MDE 드리프트 점수 순위가 높은 상관관계를 보였다.
  • 아키텍처 일반화: ResNet 및 VGG 백본 구조 전반에서 일관된 모델 선택 변별력을 확인했다.

정답 레이블이 없는 환경에서도 후보 모델의 상대적 적합도를 비지도 방식으로 판별하여 장애 발생 시 모델 교체 결정을 뒷받침하는 실용적 기준을 제공한다.

핵심 요약 및 시사점

본 논문은 실무 MLOps 환경에서 빈번하게 발생하는 데이터 시프트와 모델 선택의 난제를 경량화된 방식으로 돌파했다.

  • 비지도 MDE의 실용성: 라벨링 비용 없이 신경망 내부의 배치 정규화 통계량만으로 데이터셋 시프트를 실시간으로 탐지한다.
  • 공변량과 개념 시프트의 동시 포착: 입력 왜곡뿐 아니라 사후 확률 변화로 인한 성능 저하까지 선형적 상관성으로 예측해낸다.
  • 저차원 근사로 표본 한계 극복: SVD 기반 저차원 근사를 통해 소량의 테스트 샘플 환경에서도 통계적 강건성을 확보했다.
  • 서빙 인프라의 자동 치유(Self-Healing): Model Zoo에서 최적 모델을 신속하게 선별하고 교체함으로써 MLOps 파이프라인의 자율 운영 기반을 마련했다.

한계 및 트레이드오프 (Limitations & Trade-offs)

  • 저차원 근사 절삭 비율($R_{tr}$)의 민감도-안정성 트레이드오프: SVD 기반 저차원 근사는 소규모 표본의 통계적 오차를 걸러내어 작은 성능 격차 구간에서 드리프트 감지 기울기를 가파르게 만들어 민감도를 높인다. 그러나 절삭 비율을 50% 수준으로 과도하게 설정하면 핵심 표현 정보를 담은 불변 부분공간(Invariant Subspace)까지 훼손되어 드리프트 점수의 변동폭(Fluctuation)이 커지고 안정성이 저하된다.
  • 배치 정규화(BN) 계층 의존성: 훈련 과정에서 지수 이동 평균(EMA)으로 모집단 평균과 분산을 지속적으로 누적·보존하는 BN 계층의 고유 특성을 전제로 한다. 따라서 Layer Normalization이나 Group Normalization을 기본으로 사용하는 Vision Transformer(ViT) 계열이나 Normalization-Free 네트워크 등 러닝 통계량을 별도로 저장하지 않는 구조에는 직접 적용할 수 없으며 별도의 통계 수집 메커니즘이 필요하다.
  • 소스 도메인 러닝 통계량의 정확도 전제: MDE는 모델 내부에 보존된 러닝 통계량이 소스 도메인의 실제 모집단 분포를 충실히 대변한다는 전제에 의존한다. 학습 수렴이 불완전하거나 EMA 모멘텀($\alpha$)이 부적절하게 설정된 경우 소스 기준선 자체가 편향되어 드리프트 추정 신뢰도가 왜곡될 수 있다.

마무리

본 논문은 딥러닝 내부 메커니즘으로 친숙한 배치 정규화(BN) 계층을 데이터셋 변화 감지와 모델 선택을 위한 지능형 센서로 재해석했다. 복잡한 베이지안 추론이나 고비용 재훈련 없이도 신경망의 기존 파라미터를 그대로 활용해 비지도 방식으로 드리프트를 정밀하게 추정할 수 있다는 점이 돋보인다.

데이터와 환경이 쉼 없이 변하는 현대 MLOps 생태계에서, 저비용으로 높은 신뢰성을 보장하는 MDE 기법은 신속한 모델 교체와 자동 복구 시스템을 구현하는 데 실질적인 해법을 제공한다.

References

  1. Wonju Lee et al. “Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection.” arXiv preprint arXiv:2107.00191 (2021). ↩

  2. Transfer Learning(전이 학습) - choice ↩

  3. 전이학습(transfer learning) 재밌고 쉽게 이해하기 - bskyvision ↩

  4. 머신러닝 이론 - 나이브 베이즈 분류(Naive Bayes Classification) 1부 (조건부 확률과 베이즈 정리) - rickman2 ↩

  5. [기초통계] 확률(Probability) vs 우도(가능도,Likelihood) - Dlearner ↩

  6. 결합분포 - 위키백과 ↩

  7. Inductive Bias란 무엇일까? ↩

  8. Tan, Yang, Yang Li, and Shao-Lun Huang. “Practical Transferability Estimation for Image Classification Tasks.” arXiv preprint arXiv:2106.10479 (2021). ↩

  9. 배치 정규화(Batch Normalization) - JINSOL KIM ↩

  10. [DL] 배치 정규화(Batch Normalization) - 우노 ↩

  11. Normalization 방법 ↩

  12. Meta-learning 세팅에서의 normalization - Yuho Jeong ↩

  13. 이동평균법(EMA) 개념 - jake123 ↩

  14. [딥러닝]Wasserstein distance 에 관하여 - Margritte ↩

댓글남기기

참고