사회조사분석사 2급 필기, 필답형 정리 - 3. 사회통계

2022-01-17 18 분 소요

본 글은 사회조사분석사 2급. 한권으로 끝내기(2020) 책의 내용을 자격증 취득을 위해 요약 및 정리한 내용입니다. 사회조사분석사 2급 자격증을 20년 8월에 취득했기 때문에 21년 문제는 업데이트하지 못했습니다. (2012 ~ 2020년 기출문제들은 모두 포함되어 있습니다.) 그럼에도 불구하고 그때 기억을 살려 최대한 정리하고 공유하도록 해보겠습니다. 중요도(==빈출도)는 별표로 표시했습니다.(1개 ~ 3개) 오타나 오류는 알려주시길 바라며, 도움이 되길 바랍니다.

혹시 해당 글을 pdf로 받고 싶으신 분은 이메일과 함께 댓글로 남겨주세요~

3_1. 기술통계

대푯값

대푯값 : 분포의 중심위치를 나타내는 측정치

대푯값의 구분

계산적인 대푯값 : 산술평균, 기하평균, 조화평균, 평방평균 등
위치적인 대푯값 : 중위수, 최빈수, 사분위수, 백분위수

계산적인 대푯값(추상적인 대푯값) ($\star$)

대푯값에 있어서 그중 평균은 이상치에 영향을 많이 받는다.

산술평균 ($\star\star\star$)
- n개의 수가 있을 때, 이들의 합을 개수로 나눈 값
- 산술평균$(\bar x) = \frac {1}{n}\sum_{} x_i=\frac {x_1+x_2+…+x_n}{n}$) ($\star\star\star$)
기하평균
- 변화율이나 비율의 평균을 구할 때 이용하는 수치
- 가중산술평균 = $\frac {\sum_{} f_ix_i}{\sum_{} f_i}$
- 기하평균(G) = $\sqrt[n]{x_1\times x_2\times … \times x_n}$ (단, n은 변수의 개수)
조화평균
- N개의 양수에 대하여 그 역수들을 산술평균한 것의 역수
- 추상적인 대푯값으로 극단적인 값의 영향을 받으며, 시간적으로 계속하여 변하는 변량, 속도 등에 사용하는 대푯값으로 역수를 갖는 변량 외에는 거의 사용하지 않는다.
- 조화평균(H) = $\frac {n}{\sum_{} \frac{1}{x_i}} = \frac {1}{\frac{1}{n}(\frac{1}{x_1}+\frac{1}{x_2}+…+\frac{1}{x_n})}$

위치적인 대푯값(구체적인 대푯값)

중위수 ($\star\star\star$)(중앙값, 중앙치)
- 중앙에 위치한 수치 ($M_e$)
- N이 홀수일 경우 중위수는 $\frac{n+1}{2}$번째의 값이 되고, n이 짝수일 경우 중위수는 $\frac{n}{2}$번째의 값과 $\frac{n}{2}+1$번째의 값의 평균값이 된다.
- 극단적인 값의 영향을 받지 않으며, 중위수에 대한 편차의 절대치의 합은 다른 어떤 수에 대한 편차의 절대치의 합보다 작다.
- 분포모양이 비대칭인 경우에는 중앙값이 산술평균이나 최빈수보다 자료의 대표성을 높일 수 있다.
- 분포모양이 대칭일 경우에는 중앙값과 산술평균은 일치한다.(중앙값과 산술평균이 일치한다고 해서 분포모양이 반드시 대칭인 것은 아니다.)
최빈수(최빈값)
- 변량 X의 측정값 중에서 출현도수가 가장 많은 값 ($M_o$)
- 극단적인 이상점에 영향을 받지 않는다.
- 경우에 따라 하나도 없거나 두 개 이상 존재할 수도 있다.
- 명목수준의 측정에서 사용하는 통계기법
사분위수
- 변량 X의 n개의 측정값을 작은 것부터 크기순으로 배열하였을 때 전체 측정값을 4등분하는 위치에 오는 값
  - 줄기와 잎 그림 : 데이터를 줄기와 잎으로 나누어 대략적인 분포를 확인하는 기법. 일반적으로 자료의 일의 단위를 잎으로, 십의 자리 이상을 줄기로 구분한다.
  - 상자그림(상자와 수염그림) : 자료로부터 얻어낸 통계량인 다섯 수치요약을 이용하여 그린다.
  - 이상값은 *로 표시한다. 분포의 모양, 중심 위치, 이상치 등 자료의 특성을 파악할 수 있다.

산술평균, 중위수, 최빈수의 관계(그래프) ($\star$)

산포도

산포도(분산도) : f(x)의 m주위에서 흩어져 있는 정도
산포도가 클수록 그 분포의 흩어진 폭이 넓고, 산포도가 작을수록 분포의 흩어진 폭은 좁다.

산포도의 종류 ($\star\star$)

절대적인 분포의 산포도 : 범위, 사분위수 범위, 평균편차, 사분편차, 분산•표준편차
상대적인 분포의 산포도 : 변이계수(변동계수), 사분위편차계수, 평균편차계수

절대적인 분포의 산포도

범위 ($\star$) : 자료의 관측치 가운데 가장 큰 최댓값과 최솟값의 차이
- 범위(R) = 자료의 최댓값 - 자료의 최솟값
사분위수 범위($IQR$) ($\star$) : 제3사분위수($Q_3$)와 제1사분위수($Q_1$)의 차이
평균편차 : 관측치들의 평균값으로부터 떨어져 있는 거리
사분편차 : 제3사분위수에서 제1사분위를 뺀 값(사분위수 범위)의 1/2값
분산과 표준편차 ($\star\star$)
- 분산 : 편차의 제곱의 합을 자료의 수로 나눈 값
- 분산과 표준편차의 관계
  - $표준편차(\sigma) = \sqrt{분산}$
  - $\sigma^2 = \frac{\sum_{} (X_i-\mu)^2}{N} = \frac{1}{N}\sum_{} X_i^2 - \mu^2$ (모분산의 분산)
  - $s^2 = \frac{\sum_{} (X_i-\bar X)^2}{n-1}=\frac{\sum_{} X_i^2 - n\bar X^2}{n-1}$ (표본의 분산)
  - 분산이 0이면 모든 변량이 평균값에 집중되고 있음을 의미하며, 분산의 값이 크면 클수록 변량이 평균에서 멀리 떨어져 있다는 것을 의미한다.

상대적인 분포의 산포도

변이계수(변동계수) ($\star\star\star$)
- 표준편차를 평균으로 나눈 값 (CV)
- 변이계수 = $\frac{S}{\bar X}$
- 단위가 다른 두 집단의 산포를 비교할 때 이용한다.
- 변이계수의 값이 큰 분포보다 작은 분포가 상대적으로 평균에 더 밀집되어 있는 분포
사분위편차계수 : 사분편차를 중위수로 나눈 몫
평균편차계수 : 평균편차를 중위수 또는 산술평균으로 나눈 몫

비대칭도

왜도 : 자료분포의 모양이 어느 쪽으로 얼마만큼 기울어져 있는가
- 비대칭 정도를 나타내는 척도
- 왜도의 특징 ($\star\star\star$)
  1. 왜도가 0이면 대칭분포를 이룬다. (정규분포)
  2. 왜도가 0보다 크면 왼쪽으로 기울어진 분포이다.
  3. 왜도가 0보다 작으면 오른쪽으로 기울어진 분포이다.
  4. 왜도의 절댓값이 클수록 비대칭정도는 커진다.
- 피어슨 계수 ($\star$)
  - $S_k \simeq \frac{\bar X - M_o}{S} \simeq \frac{3(\bar X - M_e)}{S}$
    1. $S_k$가 0이면 대칭분포를 이룬다. ($M_o = \bar X$)
    2. $S_k$가 0보다 크면 왼쪽으로 기울어진 분포 ($M_o < \bar X$)
    3. $S_k$가 0보다 작으면 오른쪽으로 기울어진 분포 ($M_o > \bar X$)
    4. $-1<S_k<1$
첨도 (Kurtosis) : 분포도가 얼마나 중심에 집중되어 있는가
- 분포의 중심이 얼마나 뾰족한가
- 첨도의 특징 ($\star$)
  1. K = 3 이면 표준정규분포로 중첨이라고 한다.
  2. K > 3 이면 표준정규분포보다 정점이 높고 뾰족한 모양으로 급첨이라고 한다.
  3. K < 3 이면 표준정규분포보다 낮고 무딘 모양으로 완첨이라고 한다.

3_2. 확률과 확률분포

확률 : 사건이 일어날 가능성의 정도
- 확률은 0과 1을 포함한 그 사이의 실수
- 확률의 정리
  1. 고전적인 방법 : 어떤 실험의 가능한 결과가 모두 n가지이고, 각 결과가 나타날 가능성이 모두 동일하고, 서로 중복되지 않는다고 할 때 사상 A에 속하는 결과가 a가지이면 사건 A의 확률은 $\frac{a}{n}$로 정하는 방법
    1. 경험적 확률(상대도수에 의한 방법) : 충분히 많은 횟수의 반복 시행에서 어떤 사상의 확률로 정하는 방법. 경험적인 결과에 기초를 두어 정하는 확률

표본공간과 사상

표본공간 : 한 실험에서 나타날 수 있는 가능한 모든 결과의 집합 S.
- 즉, 시행에 의하여 일어날수 있는 가능한 모든 결과로 된 집합
사상 : 표본공간의 부분집합
- 공사상 : 표본공간의 어떤 원소도 갖고 있지 않은 사상
- 여사상 : 사상 A가 일어나지 않을 사상. 전체 확률 1에서 사상 A가 일어날 확률을 뺀 것
  - $P(A^c) = 1 - P(A)$
  - $P(A) + P(A^c)= 1$
- 배반사상 : A와 B 두 사상이 동시에 일어날 수 없는 사상
  - $A \cap B= \varnothing$
- 독립사상 : A와 B 두 사상이 서로 영향을 미치지 않으면 두 사상 A와 B는 독립
조건부 확률 ($\star\star\star$) : 한 사건이 일어날 것을 전제로 다른 사건이 일어날 확률
- 일반적으로 $P(A\mid B) \ne P(B\mid A)$
  1. B가 일어날 조건하에서 A가 일어날 확률 : $P(A\mid B) \frac{P(A \cap B)}{P(B)}$
  2. A가 일어날 조건하에서 B가 일어날 확률 : $P(B\mid A) \frac{P(B \cap A)}{P(A)}$
  3. A와 B가 상호독립일 경우 조건부 확률 : $P(A\mid B) = P(A), P(B\mid A)=P(B)$

확률의 성질과 계산 ($\star\star$)

확률의 기본성질
1. 모든 사상 A에 대하여 $0\le P(A)\le 1$이다.
2. $P(S)=1$
3. $P(\varnothing)=0$
4. $P(A\cup B) = P(A) + P(B) - P(A \cap B)$
5. $P(A\cap B)=0이면, P(A\cup B)=P(A) + P(B)$
6. $A_1, A_2, …, A_n$이 서로 배반사건이면 $P(A_i \cap A_j)=0$
7. $P(A)=1-P(A^c)$ or $P(A)+P(A^c)=1$

확률의 계산 ($\star\star$)

배타적(상호독립적) 사건 : 한 사건의 발생이 다른 사건의 발생에 전형 영향을 미치지 않는 것
배타적 X $\Rightarrow P(A \cup B)=P(A)+P(B)-P(A\cap B)$
배타적 O $\Rightarrow P(A \cup B)=P(A)+P(B)$
$P(A\cap B) = P(B)P(A\mid B)$
$P(A\cap B) = P(A)P(B\mid A)$
사건 A와 B가 독립이면 $P(A\cap B)=P(A)P(B)$

기본 확률 단어

순열 : n개의 원소로 된 집합으로부터 한 번에 x개의 원소를 선택하여 이들 간에 순서를 정하여 늘어 놓는 방법
- $_nP_x=n(n-1)(n-2)…(n-x+1)=\frac{n!}{(n-x)!}$ (단, $n\ge x$)
- $_nP_n=n!$
- $_nP_0=1$
- $0!=1$
조합 ($\star\star$) : n개의 원소로 된 집합으로부터 한 번에 x개의 원소를 순서에 관계없이 비복원으로 선택하는 방법
- $_nC_x=\frac{_nP_x}{x!}=\frac{n(n-1)(n-2)…(n-x+1)}{x!}=\frac{n!}{x!(n-x)!}$
- $_nC_n=_nC_0=1$
- $_nC_1=n$
중복조합 ($\star$) : 서로 다른 m개 중에서 중복을 허락하여 k개를 선택하는 조합의 수
확률변수 : 어떤 실험의 단순 사상들에 각각 하나의 숫자를 부여한 것
1. 이산확률변수 : 확률변수가 어떤 구간 내의 특정한 값만을 취하는 경우
2. 연속확률변수 : 어떤 구간 내의 임의의 값을 취할 경우

기댓값과 분산•표준편차 ($\star\star\star$)

기댓값 : 평균과 같은 것으로 확률변수가 취할 수 있는 각 값에 해당하는 확률을 곱하여 모두 더하는 것
- 평균적으로 기대할 수 있는 값 ($E(X)=\Sigma[x\times p(x)]$)
기댓값의 성질
- $E(a)=a$
- $E(aX)=aE(X)$
- $E(x+b)=E(x)+b$
- $E(aX+b) = aE(X)+b$
- $E(X+Y) = E(X) + E(Y)$
- $E(X-Y) = E(X) - E(Y)$
- $E(XY) = E(X)E(Y)$
분산•표준편차 : 확률변수의 산포도를 나타내는 특성치
- 분산은 확률변수가 취하는 값들이 기대치로부터 얼마나 흩어져 있는가
  - $Var(X)=E(X^2)-(E(X))^2$
- 분산의 성질
  - $Var(a)=0$
  - $Var(aX)=a^2Var(X)$
  - $Var(X+b) = Var(X)$
  - $Var(aX+b) = a^2Var(X)$
  - $Var(X\pm Y) = Var(X) + Var(Y) \pm 2Cov(X,Y)$
- 표준편차 : 분산에 양의 제곱근을 취한 것

이산확률분포

이항분포 : 확률실험에서 나타날 수 있는 기본결과가 두 가지뿐일 경우 확률실험을 몇 번 실행하여 어떤 한 가지 결과가 나오는 수를 변수값으로 부여할 때 이 변수를 이항확률변수라 한다.
- 이항확률분포 ($\star\star\star$) : 어떤 시행에서 사건 A가 일어날 확률을 p, 사건 A가 일어나지 않을 확률을 q(q=1-p)라 하고 이 시행을 독립적으로 n회 되풀이할 때, 그 중에서 x회만 A가 일어날 확률은 $_nC_xp^xq^{n-x}$이다. $\Rightarrow B(n,p)$
- $f(x)=_nC_xp^xq^{n-x}$ $, x=0,1,…,n$ $, q=1-p$

이항분포 $B(n,p)$의 특징 ($\star\star\star$)

기댓값 $E(x)=nP$
분산 $Var(x) =npq = np(1-p)$
표준편차 $\sqrt{Var(x)}=\sqrt{npq}=\sqrt{np(1-p)}$
$p$가 1/2에 가까워짐에 따라 그래프는 좌우대칭의 산 모양곡선이 된다.
$p\le 0.1$이고 $n\ge 50$일때는 포아송분포에 근사된다.
이항분포 $B(n,p)$에 n이 크면 정규분포
- $\Rightarrow$ 표본비율 $\hat p$ 근사적으로 정규분포 $N(p, \frac{pq}{n})$

이항분포의 정규근사치 ($\star$)

이항분포의 시행횟수가 많아지면 이항분포는 정규분포와 모양이 유사해진다. 즉, 시행횟수가 n이고 성공확률이 p이 이항분포는 $np\ge 5$ 또는 $n(1-p)\ge 5$일 경우 평균이 $np$이고 분산이 $np(1-p)$인 정규분포와 비슷한 모양이 된다.
시행횟수 n이 클 때에는 정규분포를 이용하여 이항확률의 근사치를 구할 수 있다.

베르누이 시행 ($\star$)

각 시행의 결과는 상호 배타적인 두 사건으로 구분된다.
- 즉, 성공 또는 실패이다.
각 시행에서 성공확률과 실패확률의 합은 1이다.
각 시행은 서로 독립적이다.
베르누이 시행을 n번 독립적으로 반복 시행하였을 때의 확률변수 x를 성공(x=1) 또는 실패(x=0)라 하면 x의 분포는 이항분포를 따른다.
$f(x)=_nC_xp^x(1-p)^{n-x}=_nC_xp^xq^{n-x}$
- $x=0, 1$
- $p$ : 한 시행에서 성공일 확률
- $q(1-p)$ : 한 시행에서 실패할 확률

포아송분포 ($\star\star$)

일반적으로 단위시간, 단위면적 또는 단위공간 내에서 발생하는 어떤 사건의 횟수를 확률변수 X라 하면, 확률변수 X는 $\lambda$를 모수로 갖는 포아송분포를 따른다고 한다.
$f(x)=\frac{e^{-\lambda}\lambda^x}{x!}$
- $x=0,1,2…$
- $e=2.71818… = \lim_{n \to \infty}(1+\frac{1}{n})^n$
- $\lambda$ = 단위시간, 단위면적 또는 단위공간 내에서 발생하는 사건의 평균값

기하분포

단 한번의 성공을 위해 실패를 거듭해야 하는 경우 기하분포를 이용한다.
성공 확률 p인 베르누이 시행을 처음으로 성공할 때까지 반복 시행할 때 그 시행횟수를 x라고 하면 첫 번째 성공을 얻을 확률의 확률함수 f(x)는 다음과 같다.
$f(x)=pq^{x-1}$, $x=1,2,3…$, $q=1-p$
1. 기댓값 $E(X)=\frac{1}{p}$
2. 분산 $Var(X)=\frac{q}{p^2}$

연속확률분포

정규분포 ($\star\star$)

가장 많이 사용되는 분포
가설검정이론의 기본
확률변수 X가 평균 $\mu$, 표준편차 $\sigma$를 갖는 정규분포를 따를 때 다음과 같이 표현한다.
- $X \sim N(\mu, \sigma^2)$

정규분포의 특징

평균과 표준편차에 의해 그 위치와 모양이 결정된다
분산이 클수록 정규분포곡선이 양옆으로 퍼지는 모양이며 꼬리 부분이 두꺼워진다.
정규분포의 평균($\mu$)에 관해서 좌우대칭이고 이 점에서 최댓값을 가진다.
첨도는 3, 왜도는 0이다.
산술평균=중위수=최빈수 ($\bar X= M_e =M_o$)
분포의 평균과 표준편차가 어떠한 값을 가지더라도 저유곡선과 X축 사이의 전체면적은 1이다.
정규분포곡선은 x축과 맞닿지 않으므로 확률변수가 취할 수 있는 값의 범위는 $\infty < X <\infty$이다.
정규분포는 자연현상이나 사회현상의 대부분, 특히 관찰대상의 수가 클수록 그 분포는 정규분포와 유사하다.
이항분포의 확률 근사치를 계산하는 데 매우 유용하다.
개별치의 확률분포가 정규분포가 아니더라도 표본평균의 분포, 특히 표본의 크기가 클수록 그 분포는 정규분포에 가까워진다.

확률밀도함수와 평균 및 표준편차와의 관계

연속성 수정 ($\star$) :정수형 변수 X에 대한 확률이 정규분포로 근사하는 과정에서 적용되는 기법
- $a\le X \le b \Rightarrow a-0.5\le X \le b+0.5$
표준정규분포 ($\star\star$) : 일반 정규분포의 개별값에 상응하는 표준값의 분포
서로 다른 두 정규분포의 성격을 비교하거나 확률을 계산하기 위해서는 표준화가 필요
표준화 : 평균이 0이고, 표준편차가 1이 되도록 만들어 주는 작업이다.
- $Z=\frac{X-\mu}{\sigma}$, $Z \sim N(0,1)$
  - $X$ : 확률변수
  - $\mu$ : 평균
  - $\sigma$ : 표준편차
  - $X \sim N(\mu, \sigma^2)$

t-분포 ($\star\star$)

자유도에 따라 그 모양이 변하며, 0을 중심으로 하는 좌우대칭형으로서 자유도가 일때는 표준정규분포에 접근한다.
- $X \sim t_{(n)}$
t-분포의 특징 ($\star\star$)
1. 평균은 0이다
2. 평균을 중심으로 좌우대칭이다.
3. 일반적으로 분산은 1보다 크나, 표본수가 커질수록 1에 접근한다.
4. 자유도는 n-1이며 자유도에 따라 다른 t-분포를 갖는다. 자유도가 클수록 중심부가 더 솟은 모양이 된다.
5. 정규분포보다 꼬리가 두꺼우며 첨도는 3보다 크다. N-1이 무한대로 접근할수록 t-분포는 정규분포로 접근한다.
6. 표본의 크기 n이 작을 때 즉, n 30일 경우에 주로 이용하며 모평균, 모평균의 차 또는 회귀계수의 추정이나 검정에 쓰인다.

F-분포

$X \sim F_{(m,n)}$
특징
1. 왼쪽으로 비스듬히기울어져 있지만 그 정도는 자유도가 증가함에 따라 대칭성에 가까워진다.
2. 항상 양의 값을 가지며 오른쪽 긴 꼬리 비대칭분포 형태를 이루고 있다.
3. 두 정규모집단에서 확률로 추출한 표본으로부터 구한 두 표본분산과 두 모분산과의 관계를 이용하여 모분산비에 대한 추론을 하는 데 사용한다.
4. 두 개의 분산은 비교, 추론하는 데 사용되는 것으로 두 집단의 분산의 동일성 검정에 사용된다.

카이제곱분포

자유도의 크기에 따라 분포의 모양이 변하고, 자유도가 커지면 대칭에가까워지며 여러 집단들사이의 독립성 검정과 적합도 검정을 하는 데 주로 사용된다.
- $Z^2$는 자유도 1인 카이제곱$(\chi^2)$ 분포를 따르며 $Z_1^2+Z_2^2+…+Z_n^2$는 자유도가 n인 카이제곱$(\chi^2)$ 분포를 따른다.
특징
1. 왼쪽으로 기울어진 연속형의 분포이다.
2. 자유도가 커질수록 $\chi^2$분포는 오른쪽으로 폭넓게 기울어지는 모양을 나타내며 정규분포를 이루게 된다.
3. 자유도가 n인 카이제곱 분포의 평균은 n이고, 분산은 2n이다.
4. 모분산 $\sigma^2$이 특정한 값을 갖는지 여부를 검정하는 데 사용되는 분포이며, 두 범주형 변수간의 독립성 검정과 적합도 검정을 하는 데 주로 사용된다.

표본분포

모집단으로부터 채택된 일정한 크기의 표본들을 대상으로 분석한 결과 나타난 통계량들의 분포

표본평균의 분포 ($\star\star\star$)

표본평균의 분포는 모집단이 정규모집단이냐 아니냐에 따라서 그 분포가 다르게 나타난다. 또한, 모집단으로부터 표본을 복원으로 추출하느냐 비복원으로 추출하느냐에 따라 표본평균의 분포에 대한 분산의 형태가 달라진다.
모집단분포가 $N(\mu, \sigma^2)$일 때 무한모집단(복원추출)에 의한 표본평균의 분포
- 모집단분포가 정규분포를 따를 때, 표본평균의 분포도 정규분포를 따른다.
- 정규모집단 $N(\mu, \sigma^2)$에서 크기 n인 표본의 표본평균 $\bar x$는 정규분포 $N(\mu, \frac{\sigma^2}{n})$를 따른다.
- 표본평균 $\bar x$을 표준화시킨 표준화 확률변수 $Z=\frac{\bar x -\mu}{\sigma/\sqrt{n}}$ 는 표준정규분포 $N(0, 1)$을 따른다.
모집단분포가 정규분포가 아닐 때 표본평균의 분포
- 모집단의 분포가 정규분포가 아닐 경우 표본평균 $\bar x$가 정규분포를 따른다고 할 수 없다. 그러나 표본의 크기가 충분히 클 때는 표본평균 $\bar x$의 분포는 정규분포로 볼 수 있다. 이것은 중심극한정리에 근거를 두고 있다.

체비세프 부등식

$P(\mid X - \mu \mid \le k\sigma) \ge 1-\frac{1}{k^2}$
특징
1. 표본의 평균으로 모평균이 속해있는 구간을 추정할 때, 구간의 길이를 조정하기 위해 유용하게 쓰인다.
2. 확률변수의 값이 평균으로부터 표준편차의 일정 상수배 이상 떨어진 확률의 상한값 또는 하한값을 제시해 준다.

앞서 기술통계와 다양한 확률분포의 기초를 정리했다면, 이제 표본 데이터를 바탕으로 모집단의 모수를 과학적으로 추정하고 검정하는 통계적 추정, 가설검정, 그리고 통계분석(교차분석, 분산분석, 회귀분석) 기법을 차례로 정리한다.

3_3. 통계적 추정

통계적 추정 : 모집단의 특정인 모수를 추측하는 통계적 분석방법
종류
1. 점추정 : 모수를 단일치로 추측하는 방법으로, 그 신뢰도를 나타낼 수 없다는 단점이 있다.
2. 구간추정 : 모수를 포함한다고 추측되는 구간을 구하는 방법.구간추정은 모수의 추정치와 신뢰도를 함께 구할 수 있다.
모분산의 추정량으로써 편차제곱합을 n으로 나눈 것보다는 (n-1)로 나눈 것을 사용하는 이유는 불편성 기준에서 편향이 더 없어 바람직하다.

바람직한 통계적 추정량의 결정기준 ($\star\star\star$)

불편성(=편의가 없다.)
- 추정량의 기대치가 추정할 모수의 실제값과 같을 때, 이 추정량은 불편성을 가졌다고 한다.
- 모수 $\theta$의 추정량을 $\hat \theta$으로 나타내면 $\hat \theta$의 기댓값이 $\theta$가 되는 성질
  - $E(\hat \theta) = \theta$이면, $\hat \theta$을 불편추정량이라 한다.
효율성(=유효성)
- 추정량 $\hat \theta$을 불편추정량이고, 그 분산이 다른 추정량 $\hat \theta_i$에 비해 최소의 분산을 갖는 성질
- $Var(\hat \theta_1)\ge Var(\hat \theta_2)$일 때 $\hat \theta_2$가 $\hat \theta_1$보다 효율성(유효성)이 크다.
일치성
- 표본의 크기(n)가 커짐에 따라 추정량 $\hat \theta$이 확률적으로 모수 $\theta$에 가깝게 수렴하는 성질
- $\lim_{n \to \infty}P(\mid \hat \theta - \theta \mid < \varepsilon)=1$
충분성
- 모수에 대하여 가능한 많은 표본정보를 내포하고 있는 추정량의 성질

점추정 : 모집단으로부터 추출된 표본을 이용하여 하나의 수치로 모수를 추정하는 것

표준오차 ($\star\star$)

통계량의 표준편차를 표준오차라 한다.
- $\frac{\sigma}{\sqrt n}$ (n은 표본의 크기, $\sigma$는 모집단의 표준편차)
표준오차는 모집단의 표준편차보다 언제나 작다.
- $\sigma$을 알 수 없는 경우 $\sigma$대신 표본표준편차인 $s=\sqrt{\frac{\Sigma(x_i-\bar x)^2}{n-1}}$을 대입
모집단의 표준편차가 클수록 표준오차는 커진다.
표본크기가 클수록 표준오차는 작아진다.
일반적으로 어떤 불편추정량이 얼마나 좋은 추정량인가를 나타내는 방법으로 그 추정량의 표준편차를 이용한다.
- 표준편차가 작은 추정량이 더 좋은 추정량
표본오차 : 모집단과 표본의 차이
표준오차 : 통계량의 분포인 표본분포의 표준편차
모평균의 점추정 : 모평균의 점추정량은 표본평균과 같다.
- 즉, 모집단 평균 $\mu$의 불편추정량은 $\bar x$이다.
모분산의 점추정 : 모분산의 점추정량은 표본분산과 같다. 즉, 모집단 분산 $\sigma^2$의 불편추정량은 $s^2$이다.
모표준편차의 점추정 : 모표준편차의 점추정량은 표본푠편차와 같다. 즉, 모집단 표준편차 $\sigma$의 추정량은 $s$이다.
모비율의 점추정 : 모비율의 점추정량은 표본비율과 같다. 즉, 모집단 비율 p의 불편추정량은 $\hat p$이다.
모비율 : 모집단 속에서 어떤 특정한 속성을 갖는 것의 비율

신뢰도

신뢰도(신뢰수준) : 신뢰수준 95%라 함은, 동일한 추정방법을 사용하여 신뢰구간을 100회 반복하여 추정한다면, 95회 정도는 동일한 결과가 나오는 것을 의미한다.
신뢰구간 ($\star$) : 일정한 구간을 제시하여 모수가 포함되었을 것이라고 제시한 구간
- 신뢰구간을 100회 반복하여 측정했을 때 95번은 그 구간 내에 모평균이 포함된다는 의미.
신뢰계수
- 오차율은 신뢰구간 내에 모집단 평균이 포함되지 않을 확률(신뢰도 = 1 – $\alpha$)

신뢰도(=1-$\alpha$)	$z_{\frac{\alpha}{2}}$
0.90(90%)	1.64
0.95(95%)	1.96
0.99(99%)	2.57

모수 $\mu$에 대한 각각의 신뢰구간

$Z_{0.05}= 1.645 \qquad \bar x \pm 1.645\frac{\sigma}{\sqrt n}$
$Z_{0.025}= 1.96 \qquad \bar x \pm 1.96\frac{\sigma}{\sqrt n}$
$Z_{0.005}= 2.575 \qquad \bar x \pm 2.57\frac{\sigma}{\sqrt n}$

표본의 크기를 구하는 공식

모평균 추정시 표본의 크기
- 추정식 양쪽에서 D(오차 한계) = $z$(신뢰계수) x $\sigma$(표준오차) 단위만큼만 벌어지는 구간을 가지려 가정한다.
  - 허용오차(최대한으로 허용하는 오차) = $z$(신뢰계수) x $\sigma$(표준오차)
- $n\ge \frac{z_{\alpha /2}^2\times \sigma^2}{D^2}$
모비율 추정시 표본의 크기 ($\star\star\star$)
- 모집단의 추정이라는 원리상 모비율을 모르고 있는 것이 일반적이다. 따라서 모비율에 대해 대체적인 값을 알고 있으면 이를 이용하도록 하고, 이것이 불가능하면 소규모의 예비조사에 의해서 대체적인 값을 추정하도록 하되, 이값마저 알 수 없다면 $\hat p = \frac{1}{2}$을 사용하여 표본의 크기를 결정하는 것이 완정성이 크다.
- $n\ge \hat p(1- \hat p)(\frac{z_{\alpha/2}}{D})^2$

표본의 크기 결정요인

신뢰도 : 일정한 오차의 범위 내로 신뢰구간을 설정하고자 할 때 신뢰도에 의해서 Z나 t가 결정되기 때문에 신뢰도를 높일수록 표본의 크기 는 커야 한다.
표준편차 : 일정한 범위 내로 신뢰구간을 설정하고자 하는 경우 모집단의 분산 또는 표준편차가 ㅋ르수록 표본의 크기는 커야 한다.
오차의 크기 : 오차를 적게 하기를 원하면 표본의 크기를 크게 해야 한다.

모평균의 100(1-α)% 신뢰구간 ($\star\star$)

모분산을 알고 있을 경우 ($\star\star$)
- $\bar x - z_{\alpha/2}\frac{\sigma}{\sqrt n}\le \mu \le \bar x + z_{\alpha/2}\frac{\sigma}{\sqrt n}$
모분산을 모르는 대표본($n\ge30$)일 경우 ($\star\star$)
- $\bar x - z_{\alpha/2}\frac{s}{\sqrt n}\le \mu \le \bar x + z_{\alpha/2}\frac{s}{\sqrt n}$
모분산을 모르는 소표본($n\le30$)일 경우 ($\star$)
- $(\bar x_1 - \bar x_2) - t_{\alpha/2}S_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$ $\le \mu_1-\mu_2$ $\le (\bar x_1 - \bar x_2) + t_{\alpha/2}S_p\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$

대응표본인 경우 모평균 차이의 100(1-α)% 신뢰구간

대표본($n\ge 30$)일 경우
- $\bar D - z_{\alpha/2}\frac{S_D}{\sqrt n}\le \mu_1 - \mu_2 \le \bar D + z_{\alpha/2}\frac{S_D}{\sqrt n}$
- 모평균의 차 $\mu_1 - \mu_2$에 대한 추정량은 $\bar D = \bar X_1 - X_2$
소표본($n<30$)일 경우
- $\bar D - t_{\alpha/2}\frac{S_D}{\sqrt n}\le \mu_1 - \mu_2 \le \bar D + t_{\alpha/2}\frac{S_D}{\sqrt n}$

모비율차이의 100(1-α)% 신뢰구간

모비율의 신뢰구간 ($\star\star$)
- $\hat p - z_{\alpha/2}\sqrt{\frac{\hat p(1- \hat p)}{n}}\le p \le \hat p + z_{\alpha/2}\sqrt{\frac{\hat p(1- \hat p)}{n}} $
두 모비율 차이의 신뢰구간
- $(\hat p_1 - \hat p_2) - z_{\alpha/2}\sqrt{\frac{\hat p_1(1- \hat p_1)}{n_1}+\frac{\hat p_2(1- \hat p_2)}{n_2}}$ $\le p_1 - p_2$ $\le (\hat p_1 - \hat p_2) + z_{\alpha/2}\sqrt{\frac{\hat p_1(1- \hat p_1)}{n_1}+\frac{\hat p_2(1- \hat p_2)}{n_2}} $

3_4. 가설검정

가설검정 : 가설을 기각할 것인가 또는 채택할 것인가를 판정
- 통계학에서는 이론과의 차이가 확률적인 오차의 범위를 넘어 오류라고 판단되어질 때 ‘가설을 기각한다‘라고 한다.
- 가설을 기각 혹은 채택하는 판단기준이 되는 것을 유의수준($\alpha$)이라 한다.
- 가설이 기각된 경우는 ‘유의하다‘라고 하다.
귀무가설 ($\star$) : 모집단의 모수에 대해서 어떤 조건을 가정하여 가설을 설정
- 귀무가설을 설정할 때는 무조건 등호(=)를 포함해야 한다.
- 아무런 차이가 없다
- 전혀 효과가 없다.
- 귀무가설의 내용이 신뢰구간에 속하면 귀무가설을 채택할 수 있다.
대립가설 ($\star$) : 귀무가설과 반대되는 가설
- 차이가 있다
- 효과가 있다
- 표본에 근거한 강력한 증거에 의해서 입증한다.
가설 : 일련의 현상을 설명하기 위하여 어떤 학설을 논리적으로 구성하는 명제
검정통계량 : 귀무가설의 채택 또는 기각 여부를 결정하는 데 사용되는 표본통계치
- 검정통계량의 관측값이 기각역에 속하면 귀무가설을 기각한다.
임계치 : 주어진 유의수준에서 귀무가설의 채택 또는 기각을 결정하는 데 기준이 되는 값
1. 임계치 > 검정통계량 : 귀무가설 채택
2. 임계치 < 검정통계량 : 귀무가설 기각
위험률 : 귀무가설이 참인데도 불구하고 이를 기각하는 확률
유의수준 : 귀무가설이 옳을 때 모집단에서 추출한 임의 표본의 함수로서 정한 어떤 통계량의 실현 값이 미리 결정한 영역(기각역)에 포함될 확률
- 1종 오류를 범할 수 있는 최대허용한계
유의확률(p- Value) ($\star\star$) : 귀무가설이 사실이라는 전제하에 검정통계량이 표본에서 계산된 값과 값거나 그 값보다 대립가설 방향을 더 극단적인 값을 가질 확률
- 귀무가설을 기각시킬 수 있는 최소의 유의수준으로 귀무가설이 사실일 확률
- p-Value가 1종오류를 범할 확률
  1. $\alpha$ > p-Value : 귀무가설 기각
  2. $\alpha$ <> p-Value : 귀무가설 채택
자유도 : 사례수. 주어진 조건 아래에서 자유롭게 변화할 수 있는 점수나 변인의 수
양측검정 : 가설검정에서 귀무가설을 기각할 영역이 양쪽에 위치하고 있는 것
- 양측검정은 모평균이 어느 가정치와 동일한지 아닌지를 조사할 경우에 사용된다. 단측검정 ($\star$) : 가설검정에서 귀무가설을 기각할 영역이 한쪽에 위치하고 있는 것
- 모수의 크기가 이론적•경험적으로 얼마 이상 혹은 얼마 이하로 예상될 경우에 사용된다.

가설검정의 오류

제1종 오류와 제2종 오류 ($\star\star\star$)

모평균에 대한 검정통계량

모분산을 알고 있을 경우 $\star$ : $z=\frac{\bar x -\mu_o}{\sigma/{\sqrt n}}$
모분산을 모르는 경우
1. 대표본($n\ge 30$)일 경우 : $z=\frac{\bar x -\mu_o}{s/{\sqrt n}}$
2. 대표본($n< 30$)일 경우 : $t=\frac{\bar x -\mu_o}{s/{\sqrt n}}$

모평균 차이에 대한 검정통계량

모분산을 알고 있을 경우 : $z=\frac{\bar x_1 - \bar x_2}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}}$
모분산을 모르는 경우
- 모분산이 알려져있지 않으나 동일한 경우 (자유도가 $n_1+n_2-2$인 t-분포 이용)
  - $t=\frac{\bar x_1 - \bar x_2}{S_p\sqrt{1/n_1+1/n_2}}$
- 합동표본분산($S_p^2$)
  - $S_p^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$
    - $S_1^2=\frac{\Sigma(X_1-\bar X_1)^2}{n_1-1}$
    - $S_2^2=\frac{\Sigma(X_2-\bar X_2)^2}{n_2-1}$
- 모분산이 알려져 있지 않고 동일하지도 않은 경우 : $z=\frac{\bar X_1 - \bar X_2}{\sqrt{\frac{S_1^2}{n_1}+ \frac{S_2^2}{n_2}}}$

대응표본의 모평균 차이에 대한 가설검정 ($\star\star$)

대응표본인 경우 : 두 집단 간의 차이 $D=\mu_1-\mu_2$에 대한 검정통계량은 자유도가 n-1인 t-분포를 이용한다.
- $t=\frac{\bar D}{S_D/\sqrt n}$
  - $S_D=\sqrt{E(D^2)-E(D)^2}$
대응표본 t검정과 독립표본 t검정 ($\star\star\star$)
- t검정 : 두 집단의 평균차이가 통계적으로 유의한가를 검증하는 분석방법
- 조사대상의 개체가 같고 반드시 짝을 이루는 경우 대응표본 t검정(쌍체비교)을 실시한다.
- 독립표본 t검정은 조사대상의 개체가 다르고 반드시 짝을 이룰 필요가 없다.

모비율/모비율 차이에 대한 검정통계량

모비율에 대한 가설검정 ($\star\star\star$) : $z=\frac{\hat p - p}{\sqrt{p(1-p)/n}}$
- 비율의 표본분포는 $np\ge 5$, $n(1-p)\ge 5$ 일때 정규분포와 비슷한 모양을 이루게 된다.
모비율 차이에 대한 가설검정 : $z=\frac{\hat p_1-\hat p_2}{\sqrt{\hat p(1- \hat p)(\frac{1}{n_1} + \frac{1}{n_2})}}$
- $\hat p$는 합동표본비율 $\frac{x_1+x_2}{n_1+n_2}$

모분산에 대한 검정통계량

모분산에 대한 가설검정 ($\star$) : $\chi^2=\frac{(n-1)S^2}{\sigma_0^2}$
모분산 $\sigma_1^2=\sigma_2^2$에 대한 가설검정
- $F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}$
  - ($H_0: \sigma_1^2=\sigma_2^2$, $H_1: \sigma_1^2>\sigma_2^2$ or $H_1: \sigma_1^2\ne \sigma_2^2$)
- $F=\frac{S_2^2/\sigma_2^2}{S_1^2/\sigma_1^2}$
  - ($H_0: \sigma_1^2=\sigma_2^2$, $H_1: \sigma_1^2<\sigma_2^2$)

3_5. 통계분석

척도와 변인에 따른 분석방법

spss

통계분석에 사용하는 검정통계량 ($\star$)

	독립변수	종속변수
t검정	질적(범주형)	양적(연속형)
교차분석	질적(범주형)	질적(범주형)
분산분석	질적(범주형)	양적(연속형)
상관분석	양적(연속형)	양적(연속형)
회귀분석	양적(연속형)	양적(연속형)

교차분석

범주형인 명목척도와 서열척도의 성격을 가진 두 변수가 가진 각 범주를 교차하여 해당 도수를 표시하는 교차분석표를 작성하여 두 변수 간의 관련성을 분석하는 기법
교사분석은 범주형인 두 변수에 대한 교차표를 작성하여 교차표의 각 셀의 관찰도수와 기대도수 간의 차이 를 검정하기 위하여 카이제곱 검정통계량을 사용한다.
카이제곱검정은 교차표에 나타난 변수 간의 유의성을 알아보는 방법

검정

독립성 검정 : 두 가지 변수 A, B 사이에 연관성이 있는지를 검정하는 것
동일성 검정 : 모집단을 주어진 변수 A에 따라 R개의 속성으로 범주화한 뒤 R개의 부분 모집단으로부터 추출한 각 표본을 C개의 범주로 주어졌을 때 이들 각 모집단의 분포가 동일한가의 여부를 판단하는 것

분석 절차

가설 설정
1. 독립성 검정
2. 동일성 검정
기대도수 구하기 ($\star$) : $E_{ij}=\frac{O_i\times O_j}{n}$
- $O_i$ : 행의 합
- $O_j$ : 열의 합
- n : 전체관측도수
검정통계량 구하기 ($\star\star$) : $\chi^2=\sum_{i=1}^r\sum_{j=1}^c \frac{(O_{ij}-E_{ij})^2}{E_{ij}} \sim \chi_{(r-1)(c-1)}^2$
- $O_{ij}$ : 관찰도수
- $E_{ij}$ : 기대도수
자유도 ($\star\star$) : r행 c열 분할표에서 카이제곱 통계량의 자유도는 (r - 1) x (c - 1)이다.

카이제곱 적합성 검정 ($\star\star$)

카이제곱 적합성 검정 : 모집단의 분포에 대한 가정이 옳은지를 실제 관측된 자료를 바탕으로 검정하는 것
- n개의 표본자료를 k개의 범주로 분류하여 각 범주에 속하는 관측도수(관찰빈도)와 귀무가설하에서 주어진 확률분포에 대해 각 범주에 속하는 기대도수(기대빈도) 간에 잘 적합되는지를 검정하는 것.
분석 절차
1. 가설 설정
2. 기대도수 구하기 : $E_i=n\pi_i$
  - $\pi_i$ : 미리 주어진 확률
3. 검정통계량 구하기 : $\chi^2=\sum_{i=1}^k \frac{(O_i-E_i)^2}{E_i} \sim \chi_{k-1}^2$
  - $O_i$ : 관찰도수
  - $E_i$ : 기대도수, i=1,2,…,k
4. 자유도 : 카이제곱 적합성 검정에서 통계량의 자유도는 k - 1 이다.

분산분석 ($\star$)

분산분석 : 세 집단 이상의 평균차이가 통계적으로 유의한가를 검정하는 분석방법. ANOVA
- cf) t검정 : 두 집단의 평균차이가 통계적으로 유의한가를 검정하는 분석방법
- 독립변수는 범주형 척도이고 종속변수는 연속형 척도이어야 한다.
- 독립변수를 요인(인자)이라고도 하며, 요인이 가지는 값을 요인수준(인자수준, 처리)이라고 한다.

분산분석을 위한 기본 가정

종속변수는 등간척도 또는 비율척도이어야 한다.
모집단의 분포는 정규분포를 이루어야 한다.
각 모집단의 분산(표준편차)은 동일해야 한다.
각 집단의 표본은 독립적이어야 한다.

분산분석의 특징 ($\star$)

세 개 이상 집단 간의 모평균을 비교함이 목적이다
검정통계량은 F-분포를 사용한다.
F값은 집단 간 분산을 집단 내 분산으로 나눈 값이다.
모수적 가설검정법이다.
집단 간 차이가 커지면 F값이 커진다.
각 집단별 자료의 수가 다를 수 있다.

분산분석의 오차항에 대한 기본 가정 ($\star\star\star$)

독립성 : 임의의 오차 $\varepsilon_{ij}와 \varepsilon_{ij}$는 서로 독립이다.
정규성 : 오차 $\varepsilon_{ij}$의 분포는 정규분포를 따른다.
등분산성 : 오차 $\varepsilon_{ij}$의 분산은 $\sigma_{\varepsilon}^2$으로 어떤 i, j에 대해서도 같다.

분산분석 종류

일원배치 분산분석 ($\star$) : 요인이 1개인 경우의 종속변수(반응변수)의 평균차이 분석에 사용
- 예를 들면, 교육수준에 따라 임금 차이를 분석하고자 할 때 사용
이원분산분석법 : 요인이 2개인 경우의 종속변수(반응변수)의 평균차이 분석에 사용한다.
- 예를 들면, 성별, 교육수준에 따라 임금 차이를 분석하고자 할 때 사용
다윈분산분석법 : 요인이 3개 이상인 경우의 종속변수(반응변수)의 평균차이 분석에 사용한다. 예를 들면 지역별, 성별, 교육 수준에 따라 임금 차이를 분석하고자 할 때 사용
구조식 ($\star$) : $y_{i,j}=\mu+a_i+\varepsilon_{ij}$
- $a_i=\mu_i-\mu$
- $\Sigma a_i=0$
- 모평균 $\mu_i$는 i번째 요인수준에서의 모평균을 나타낸다. $\varepsilon_{ij}$는 $y_{ij}$를 측정할 때 발생하는 오차를 나타나는 항
가설 설정 ($\star\star$)
- 귀무가설($H_o$) : $\mu_1=\mu_2=…=\mu_p$
- 대립가설($H_1$) : 모든 $\mu_i$가 같은 것은 아니다. (=적어도 한 쌍 이상의 평균이 다르다.)

일원배치 분산분석표 ($\star\star\star$)

변동의 분해
- p개의 요인수준을 각 r회 반복할 경우, 총변동량을 요인 간에 발생하는 변동과 잔차에 의해서 발생하는 변동으로 분해하면 $y_{ij}- \bar{\bar y}=(\bar y_i - \bar{\bar y}) + (y_{ij}-\bar y_i)$로 분해할 수 있다.
위의 식에서 양변을 제곱하여 모든 i, j에 대하여 정리하면 다음과 같다.
- $\sum_{i=1}^p\sum_{j=1}^r (y_{ij}-\bar{\bar y})^2$ = $\sum_{i=1}^p\sum_{j=1}^r (y_{i}-\bar{\bar y})^2$ $+ \sum_{i=1}^p\sum_{j=1}^r (y_{ij}-\bar y_i)^2$
  - 총제곱합(SST) = $\sum_{i=1}^p\sum_{j=1}^r (y_{ij}-\bar{\bar y})^2$
  - 처리(집단 간) 제곱합(SSR) : $\sum_{i=1}^p\sum_{j=1}^r (y_{i}-\bar{\bar y})^2$
  - 잔차(집단 내) 제곱합(SSE) : $\sum_{i=1}^p\sum_{j=1}^r (y_{ij}-\bar y_i)^2$
일원배치 분산분석표

요인	제곱합(SS)	자유도(df)	평균제곱(ms)	F
처리(집단 간)	SSR=$\sum_{i=1}^p\sum_{j=1}^r (y_{i}-\bar{\bar y})^2$	p-1	MSR=SSR/(p-1)	MSR/MSE $\sim F_{\alpha, p-1, N-1}$
잔차(집단 내)	SSE=$\sum_{i=1}^p\sum_{j=1}^r (y_{ij}-\bar y_i)^2$	N-P	MSE=SSE/(N-p)
총계	SST=$\sum_{i=1}^p\sum_{j=1}^r (y_{ij}-\bar{\bar y})^2$	N-1

$N=n_1+n_2+…+np$, 즉 총 관찰계수

상관분석

상관분석 : 하나의 변수가 다른 변수와 어느정도 접한 관련성을 갖고 변화하는 지를 알아보가 위하여 사용
상관분석의 기본 가정
1. 상관분석은 변수들 간의 선형성을 충족시켜야 한다. 즉, 두 변수 간에 정(+)의 상관이거나 부(-)의 상관의 형태로 나타난다.
2. 등분산성이 갖을 충족시켜야 한다.
3. 이상치 유무를 파악하여 제거해야 한다.
4. 변수는 등간 또는 비율척도로 구성되어야 한다. 서열척도는 순위 상관을 사용한다.
공분산 : X의 증감에 따른 Y의 증감에 대한 척도
각 확률변수들이 어떻게 퍼져있는지를 나타내는 것
(두 변수 사이의 상관성을 나타내주는 지표는 기본적으로 두 변수 간의 공분산이다.)
1. $Cov(X,Y)=\sigma_{XY}=E[(X-\mu_X)(Y- \mu_Y)]$
- X의 편차와 Y의 편차를 곱한 값의 평균
- ($\mu_X=E(X), \mu_Y=E(Y)$)
  1. $Cov(X,Y)=E(XY)-E(X)E(Y)$
  2. $Cov(X,Y)=Cov(Y,X)$
  3. $Cov(aX+b, cY+d) = acCov(X, Y)$, 단, a,b,c,d는 상수

산점도 ($\star$)

산점도 : 좌표평면상에 이차원 자료 (x, y)를 타점하여 나타낸 통계 그래프이다. 상관분석 또는 회귀분석을할 때 산점도를 그려서 변수들 간의 상 연관성(선형•비선형의 여부, 이상점 존재 여부, 자료의 군집 형태, 회귀직선의 타당성, 오차항의 등분산성•독립성 등)을 대략적으로 파악할 수 있다.

상관계수

상관계수 : 피어슨 상관계수를 간단히 지칭한 것. 대상변수들의 측정에 사용된 척도가 등간•비율척도일 때 하나의 변수와 다른 변수와의 선형 관련성을 분석하는 데 이용된다.
상관계수 공식 ($\star\star$) : 공분산을 X, Y의 표준편차로 나누어 표준화하여 구한다.
$Corr(X,Y)=\frac{Cov(X,Y)}{\sigma_X\sigma_Y}$ $\qquad \qquad = \frac{\Sigma(X_i-\mu_X)(Y_i-\mu_Y)}{\sqrt{\Sigma(X_i-\mu_X)^2}\sqrt{\Sigma(Y_i-\mu_Y)^2}}$
- $-1\le Corr\le 1$
두 변수에 대한 n개 표본이 주어졌을 때, 이들 표본에 대한 상관계수를 표본상관계수 r로 나타낸다.
$r=\frac{Cov(X,Y)}{S_xS_Y}=\frac{S_{XY}}{S_XS_Y}$ $\ =\frac{\Sigma (X_i-\bar X)(Y_i-\bar Y)}{\sqrt{\Sigma (X_i-\bar X)^2}\sqrt{\Sigma (Y_i-\bar Y)^2}}$ $\ = \frac{\Sigma {X_iY_i}-n\bar X\bar Y}{\sqrt{\Sigma X_i^2 - n\bar X^2}\sqrt{\Sigma Y_i^2 - n\bar Y^2}}$
- $-1\le r \le 1$
- $S_X$ : X의 표준편차
- $S_Y$ : Y의 표준편차
상관계수의 특징 ($\star\star\star$)

-1에서 1 사이의 값을 갖는다.
상관계수가 음의 값을 가지면 부의 상관관계가, 양의 값을 가지면 정의 상관관계가 있음을 의미한다. 또한 r값이 0에 가까울수록 상관관계가 약한 것을 의미하고 $\pm 1$에 가까울수록 강한 상관관계가 있음을 의미한다.
상관계수가 0이면 변수 간에 선형연관성이 없는 것이지 곡선의 연관성은 있을 수 있다.
두 확률변수가 서로 독립이면 상관계수는 0이다.
$Corr(X,Y)=Corr(aX+b, cY+d)$ (단, ac>0)
$Corr(X,Y)=-Corr(aX+b, cY+d)$ (단, ac<0)
임의의 상수 a, b에 대하여 Y=a +bX와 같이 X와 선형관계가 있다면, b>0일 때 상관계수는 1이고 b<0일 때 상관계수는 -1이다.

상관계수의 유의성 검정
1. 가설설정
  - 귀무가설($H_o$) : 두 변수 간에 상관관계가 없다.
  - 대립가설($H_1$) : 두 변수 간에 상관관계가 있다.
2. 검정통계량 : $t=r\frac{\sqrt{n-2}}{\sqrt{1-r^2}} \sim t_{n-2}$

회귀분석

회귀분석 : 독립변수가 종속변수에 미치는 영향력을 분석하거나, 독립변수에 따라 종속변수의 변화를 예측하기 위해서 사용하는 통계기법
- 독립변수 = 설명변수(원인변수)
- 종속변수 = 반응변수(결과변수)
단순회귀분석 : 독립변수가 1개일 때, 독립변수와 종속변수 간의 선형관계를 분석한다.
다중회귀분석 : 독립변수가 2개 이상일 때, 독립변수와 종속변수 간의 선형관계를 분석한다.

회귀분석의 사용

회귀분석은 변수들 중 하나를 종속변수로 나머지를 독립변수로 하여 변수들 간에 상관관계가 존재할 때, 독립변수가 한 단위 변화함에 따라 종속변수가 어떻게 변화하는지를 분석하는 기법이다.
- 자료의 척도는 일반적으로 등간척도, 또는 비율척도이어야 한다.
- 독립변수가 범주형 척도이면, 이를 가변수로 만들어서 이용한다.
- 종속변수가 이변량 변수이면 로지스틱 회귀분석을 한다.
회귀분석에서는 t-검정과 F-검정을 모두 사용한다. 회귀모형의 유의성 검정에서 검정통계량은 F-검정을 사용하고 회귀계수의 유의성 검정에서 검정통계량은 t-검정을 사용한다.

구조식

$y_i=\alpha+\beta x_i + \varepsilon_i$
오차항의 기본 가정 ($\star$)
1. 정규성 : 오차항 $\varepsilon_i$은 정규분포를 따른다.
2. 등분산성 : 오차항 $\varepsilon_i$의 분산은 모든 i에 대하여 같다.
3. 독립성 : 임의의 오차항 $\varepsilon_i$와 $\acute{\varepsilon_i}$는 독립이다.

최소제곱법 ($\star\star\star$)

최소제곱법 : 회귀계수의 추정방법 중에서 잔차($e_i=y_i-\hat y_i$)의 제곱합을 최소로 하는 방법
$b=\frac{S_{xy}}{S_{xx}}=\frac{\Sigma(x_i-\bar x)(y_i-\bar y)}{\Sigma (x_i-\bar x)^2}=\frac{\Sigma{x_iy_i}-n\bar x\bar y}{\Sigma (x_i -\bar x)^2} \Rightarrow$ 추정된 회귀직선은 $\hat y_i = a+ bx_i$
$a=\bar y - b\bar x= \frac{1}{n}\Sigma y_i - b\frac{1}{n}\Sigma x_i$
$b = r\frac{S_y}{S_x}=r\frac{\sqrt{\Sigma(y_i-\bar y)^2}}{\sqrt{\Sigma (x_i-\bar x)^2}}=\frac{\Sigma (x_i-\bar x)(y_i - \bar y)}{\Sigma (x_i-\bar x)^2}$
- b>0이면, r>0 이어서 양의 상관관계를 갖는다.
- b<0이면, r<0 이어서 음의 상관관계를 갖는다.
- b=0이면, r=0 이어서 상관관계가 없다.
총변동의 분해

회귀선 y의 한 관측값 $y_i$가 가지는 편차 $y_i -\bar y$를 분석하면, 이 편차를 두 가지의 다른 종류의 편차 항 $y_i-\bar y=(\hat y_i - \bar y) + (y_i - \hat y_i)$으로 나타낼 수 있다.
$\sum_{i=1}^n (y_i-\bar y)^2=$ $\sum_{i=1}^n (\hat y_i - \bar y)^2 + \sum_{i=1}^n (y_i - \hat y_i)^2$

단순회귀모형 분산분석표 ($\star$)

요인	제곱합(SS)	자유도(df)	평균제곱(ms)	F
회귀	SSR=$\sum_{i=1}^n (\hat y_i - \bar y)^2$	1	MSR=SSR/1	MSR/MSE $\sim F_{\alpha, 1, n-2}$
잔차	SSE=$\sum_{i=1}^n (y_i - \hat y_i)^2$	n-2	MSE=SSE/(n-2)
전체	SST=$\sum_{i=1}^n (y_i-\bar y)^2$	n-1

잔차의 성질 ($\star$)

$e_i=y_i-\hat y_i$

$\Sigma e_i = 0$
$\Sigma x_ie_i = 0$
$\Sigma \hat y_i^2e_i = 0$
$\Sigma y_i = \Sigma \hat y_i$

단순회귀모형의 적합성 ($\star\star\star$)

결정계수($R^2$) : 총 변동 SST 중에서 SSR이 차지하는 비중
- 회귀모형이 적합한지 확인하기 위해 사용. 회귀모형의 독립변수가 종속변수 변동의 %를 설명하고 있는지를 나타내는 지표
- $R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$
단순선형회귀에서는 상관계수(r)의 제곱이 결정계수($R^2$)이 된다.
- $R^2=r^2=(\frac{S_{xy}}{S_xS_y})^2$

결정계수의 특성 ($\star\star\star$)

$0\le R^2 \le 1$
결정계수는 설명력을 의미하는 수치
모든 측정값이 한 직선 상에 놓이면 $R^2$의 값은 1이 된다.
$R^2$은 독립변수의 수가 늘어날수록 증가하는 경향이 있다.

단순회귀계수의 유의성 검정 ($\star$)

검정통계량 : $t=\frac{b-\beta}{\sqrt{Var(b)}}=\frac{b-\beta}{\sqrt{MSE/S_{xx}}} \sim t_{n-2}$

다중회귀분석

다중회귀분석 : 독립변수의 수가 2개 이상을 포함하는 모형
구조식 : $y_i=\beta_9+\beta_1x_{1i}+\beta_2x_{2i}+…+\beta_kx_{ki}+\varepsilon_i$
- $k$ : 독립변수의 개수, i=1,2,…,n
$\Rightarrow$ 행렬로 표시하면 $Y=Xb + \varepsilon$. 회귀계수 벡터 $\beta$의 추정량은 $b=(\beta_0, \beta_1,…,\beta_k)^1$. 이때 b의 추정치는 $\hat b = (\acute XX)^{-1}\acute X Y$, 분산-공분산 행렬은 $Var(b) = (\acute XX)^{-1}\sigma^2$

다중회귀분석의 분산분석표 ($\star\star\star$)

요인	제곱합(SS)	자유도(df)	평균제곱(ms)	F
회귀	SSR=$\sum_{i=1}^n (\hat y_i - \bar y)^2$	k	MSR=SSR/k	MSR/MSE $\sim F_{\alpha, k, n-k-1}$
잔차	SSE=$\sum_{i=1}^n (y_i - \hat y_i)^2$	n-k-1	MSE=SSE/(n-k-1)
전체	SST=$\sum_{i=1}^n (y_i-\bar y)^2$	n-1

더비변수를 이용한 회귀분석 ($\star\star$)

더미변수 : 질적효과를 고려할 수 있는 독립변수
- 범주형 척도의 자료를 독립변수의 더미변수로 변환하여 회귀분석하는 것.
더미변수 선택 : k개 그룹의 질적 차이를 구분하는 경우, k-1개의 더미변수 사용

KakaoTalk Twitter Facebook LinkedIn