[논문 리뷰] Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection

“Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection” 논문을 개인 공부 및 리뷰를 위해 쓴 글입니다.
논문 출처 : https://arxiv.org/abs/2107.00191

배치 정규화로 모델 드리프트를 잡아라: 비지도 방식의 데이터셋 변화 감지와 모델 선택

• 머신러닝 모델을 실제로 배포한 후, 데이터가 변하면 성능이 뚝 떨어지는 ‘dataset shift’ 문제가 발생한다.
• 이 논문은 라벨이 없는 테스트 데이터에서 배치 정규화(BN) 층의 통계를 활용해 모델 드리프트를 추정하는 방법을 제안한다.
  • 추가로, 입력 데이터의 샘플링 오류를 줄이기 위해 행렬 분해를 사용한다.
• 복잡한 개념을 비유와 예시로 쉽게 풀어 설명하겠다.
• 이 기술은 MLOps에서 모델 선택과 변화 감지에 유용하다.

왜 이 논문이 중요한가? (Introduction)

• 실제 머신러닝 모델은 훈련 데이터와 테스트 데이터의 분포가 다를 때( dataset shift ) 성능이 급락한다.
  • 예: 훈련 때는 맑은 날 사진으로 학습했는데, 테스트 때는 비 오는 날 사진이 들어오면 모델이 헷갈린다.
• 데이터는 자주 변하는 ‘non-stationary’ 환경에서 오기 때문에, 사람이 매번 라벨을 달아 확인하기 어렵다.
• 그래서 라벨 없이(비지도) 모델 드리프트를 측정하는 게 필요하다.

• 전이 학습(Transfer Learning) 관점에서:
• 기존 모델을 재활용해 새 작업에 맞게 조정한다.
• 비유: 이미 잘 달리는 자동차(기존 모델)를 개조해 산길 주행에 맞추는 거다.
• model zoo(모델 저장소)에서 가장 적합한 모델을 골라 미세 조정(fine-tuning)하면 효율적이다. \
• 하지만 베이지안 추론처럼 복잡한 방법은 계산 비용이 크다.

• 이 논문의 아이디어: BN 층의 통계를 활용.
• BN은 훈련 중 데이터 평균/분산을 축적해 정규화한다.

• 이 통계를 테스트 데이터와 비교해 드리프트를 측정한다.

• 기여:
  • 라벨 없이 모델 드리프트를 추정하는 MDE(Model Drift Estimation).
  • covariate/concept shift 에서 효과 입증.
  • 모델 선택과 변화 복구에 적용.

  
  이미지 출처¹

  • 우도(가능도, likelihood): 어떤 특정한 값을 관측할 때, 이 관측치가 어떠한 확률분포에서 나왔는가에 관한 값 ²
  • 베이지안 추론(bayesian inference): 사전 분포(prior probability)에 대해서 알고, 데이터에 대한 적절한 가정을 알 수 있다면 사후분포(posterior probability)를 알 수 있다.
• 훈련하는 동안 지수평균 이동과 함께 데이터의 통계를 축적하고 각 표현 계층의 입력을 테스트할 때 통계치에 의해 정규화하는 배치 정규화(BN)의 동작에 영감을 받아, BN 레이어에서 학습가능한 파라미터와 평가를 실행하여 타겟 데이터셋으로부터 model drift를 측정한다.

관련 연구 (Related Work)

• Dataset Shift 감지
• Dataset shift: 훈련과 테스트의 입력/출력 결합 확률(joint probability)이 다름.
  • 비유: 훈련 때는 ‘사과=빨강’ 확률 높았는데, 테스트 때는 ‘사과=초록’이 많아짐.
• Covariate shift: 입력 분포만 다름(출력 규칙은 같음).
  • 예: 훈련 사진은 낮, 테스트는 밤.
• Concept shift: 출력 규칙이 다름(입력 분포는 같음).
  • 예: 같은 입력인데 라벨 기준이 바뀜.
• Concept shift는 라벨 없으면 감지 어려움.

• 모델 선택(Model Selection)
• 가장 맞는 모델 고르기: inductive bias(모델의 가정)가 타겟과 비슷한 걸 선택.
• 전이 가능성(transferability) 추정: 훈련 없이 성능 예측.
• 기존 방법:
  • 도메인 유사성 측정.
  • RSA: 특징 유사도 비교.
  • LEEP: 수도 레이블과 교차 엔트로피.
  • FSA: 비지도 특징 희소성 분석.
• 이 논문은 BN 통계로 간단히 해결.

모델 드리프트 추정 방법 (Model Drift Estimation)

• 배치 정규화(BN)란? (Batch Normalization)
  • BN은 미니배치 입력을 평균 0, 분산 1로 정규화해 학습을 안정화한다.
  • 비유: 학생들(입력) 키를 평균 키로 맞춰서 비교 쉽게 함.
  • 훈련 중: 미니배치 평균/분산 계산, 지수 이동 평균(EMA)으로 전체 통계 축적.
  • 테스트: 이 통계로 입력 정규화.
  • 수식: $y = \gamma \frac{x - \mu}{\sigma} + \beta$ (γ, β 학습 가능).
  • EMA: 최근 데이터에 가중치 주되, 과거도 조금 반영.

• BN 통계 기반 드리프트 점수 (Model Drift Score)
  • 드리프트: 소스(훈련)와 타겟(테스트) 분포 차이.
  • BN의 실행 추정치(μ, σ)가 소스 통계를 담고 있으므로, 타겟 데이터와 비교.
  • 계층 l의 드리프트 점수:
    • $d^{(l)} = \frac{1}{NC} \sum \frac{(\bar{\mu} - \mu)^2 + (\bar{\sigma} - \sigma)^2}{\sigma^2}$
    • (Wasserstein 거리로 근사).
• 전체: 모든 계층 평균 $D = \frac{1}{L} \sum d^{(l)}$.
• 비유: 소스 ‘평균 키’와 타겟 ‘평균 키’ 차이를 측정.

• 낮은 순위 근사(Low-Rank Approximation)
  • 입력 차원 줄여 샘플링 오류 줄임.
  • SVD(특이값 분해)로 주요 부분 보존.
  • 비유: 사진 압축처럼 핵심만 남기고 노이즈 제거.

실험 결과 (Experimental Results)

• Dataset Shift 에서 성능 분석
  • Covariate shift: 방해(blur 등) 증가 시 드리프트 점수 올라감, 성능 하락 예측.
  • Concept shift: 클래스 중복 조정 실험, 드리프트 점수와 에러 선형 관계.
• 모델 선택 성능
  • Concept shift 복구: 변화 시 최소 드리프트 모델 선택, 자동 복구.
  • Model zoo 선택: 64쌍 실험, 드리프트 점수와 정확도 상관 높음.
  • 다른 아키텍처(VGG, ResNet 등)에서도 일관.

마무리

• 이 논문은 BN 통계를 활용한 MDE로 라벨 없이 드리프트를 추정한다.
• covariate/concept shift 감지와 모델 선택에 효과적이다.
• MLOps에서 실시간 변화 대응에 유용할 것이다.
• 복잡한 데이터 변화 시대에 꼭 필요한 기술이다.

References

1. 머신러닝 이론 - 나이브 베이즈 분류(Naive Bayes Classification) 1부 (조건부 확률과 베이즈 정리) - rickman2 ↩

2. [기초통계] 확률(Probability) vs 우도(가능도,Likelihood) - Dlearner ↩