|
통계학 Statistics |
|||
|
{{{#!wiki style="margin:0 -10px -5px; min-height:calc(1.5em + 5px); word-break: keep-all" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-5px -1px -11px" |
<colbgcolor=#4d4d4d><colcolor=#fff> 수리통계학 | 기반 | 실해석학( 측도론) · 선형대수학 · 이산수학 |
| 확률론 | 사건 · 가능성 · 확률변수 · 확률분포( 표본분포 · 정규분포 · 이항분포 · 푸아송 분포 · 카이제곱분포 · t-분포 · z-분포 · F-분포) · 확률밀도함수 · 확률질량함수 · 조건부확률 · 조건부기댓값 · 조건부분산 · 전체 확률의 법칙 · 베이즈 정리 · 도박사의 오류 · 도박꾼의 파산 · 몬티 홀 문제 · 뷔퐁의 바늘 · 마르코프 부등식 · 체비쇼프 부등식 · 큰 수의 법칙( 무한 원숭이 정리) · 중심극한정리 · 벤포드의 법칙 | ||
| 통계량 | 평균( 산술평균 · 기하평균 · 조화평균 · 멱평균 · 대수평균) · 기댓값 · 편차( 절대편차 · 표준편차) · 분산( 공분산) · 결정계수 · 변동계수 · 상관계수 · 대푯값 · 자유도 | ||
| 추론통계학 | 가설 · 변인 · 추정량 · 점추정 · 신뢰구간 · 상관관계와 인과관계 · 실험통계학 · p-해킹 · 통계의 함정 · 그레인저 인과관계 · 신뢰도와 타당도 | ||
| 통계적 방법 | 회귀 분석 · 최소제곱법 · 분산 분석 · 주성분 분석( 요인 분석) · 시계열 분석 · 패널 분석 · 2SLS · 생존 분석 · GARCH · 비모수통계학 · 준모수통계학 · 기계학습( 군집 분석 · 분류 분석) · 위상 데이터분석 · 외삽법 · 메타분석 · 모델링( 구조방정식) | ||
| 기술통계학 · 자료 시각화 | 도표( 그림그래프 · 막대그래프 · 선 그래프 · 원 그래프 · 상자 수염 그림 · 줄기와 잎 그림 · 산포도 · 산점도 · 히스토그램 · 도수분포표) · 그래프 왜곡 · 이상점 | }}}}}}}}} | |
1. 개요
共 分 散 / covariance공분산은 두 개의 확률 변수의 선형관계를 나타내는 값이다. 한 확률 변수의 증감에 따른 다른 확률 변수의 증감의 경향에 대한 측도이다. 쉽게 말해 분산이라는 개념을 확장하여 두 개의 확률 변수의 흩어진 정도를 공분산이라고 하는 것이다.
2. 정의
두 확률변수 [math(X)], [math(Y)]의 결합확률함수가 [math(f(x,\,y))]일 때 다음을 [math(X)], [math(Y)]의 공분산이라고 한다.[math({\rm Cov}(X,\,Y)={\mathbb E}\{(X-\mu_x)(Y-\mu_y)\})]
2.1. 모공분산
모공분산은 모집단의 공분산이다. [math({\rm Cov}(X,\,Y))] 또는 [math(\sigma_{XY})]로 쓴다. [math(X)]와 [math(Y)]는 확률 변수, [math(N)]은 모집단의 표본의 개수, [math(X_i)]와 [math(Y_i)]는 각 확률 변수의 도수, [math(\mu)]는 모평균을 뜻한다.| [math(\begin{aligned}{\rm Cov}(X,\,Y)&=\sigma_{XY}\\&=\displaystyle\frac{1}{N}\sum_{i=1}^N (X_i-\mu_X)(Y_i-\mu_Y)\\&={\mathbb E}\{(X-\mu_X)(Y-\mu_Y)\}\end{aligned})] |
2.2. 표본공분산
표본공분산은 표본집단의 공분산이다. [math(S_{XY})]로 쓴다. [math(X)]와 [math(Y)]는 확률 변수, [math(n)]은 표본집단의 표본의 개수, [math(X_i)]와 [math(Y_i)]는 각 확률 변수의 도수, [math(\bar X)]와 [math(\bar Y)]는 표본평균을 뜻한다.| [math(\begin{aligned}S_{XY}&=\displaystyle\frac{1}{n-1}\sum_{i=1}^n {(X_i-\bar X)(Y_i-\bar Y)}\\&={\mathbb E}\{(X-\bar X)(Y-\bar Y)\}\end{aligned})] |
3. 성질
공분산의 정의에 따라 같은 확률 변수 두 개의 공분산이란 결국 해당 확률 변수의 분산이 된다.[math(\begin{aligned}{\rm Cov}(X,\,X)&=\sigma_{XX}\\&=\displaystyle\frac{1}{N}\sum_{i=1}^n (X_i-\mu_X)(X_i-\mu_X)\\&=\frac{1}{N}\sum_{i=1}^n (X_i-\mu_X)^2\\&={\mathbb E}[(X-\mu)^2]\\&={\rm Var}[X] \\ \\S_{XX}&=\displaystyle\frac{1}{n-1}\sum_{i=1}^n {(X_i-\bar X)(X_i-\bar X)}\\&=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar X)^2\\&={S_X}^2\end{aligned})]
또한, 공분산의 계산에서는 두 확률 변수의 편차를 곱하므로, 교환법칙에 따라 [math({\rm Cov}(X,\,Y)={\rm Cov}(Y,\,X))]이다.
공분산의 정의는 내적의 정의를 만족시킨다. 따라서 코시-슈바르츠 부등식을 적용할 수 있고 이를 통해 피어슨 상관계수를 유도할 수 있다.
4. 해석
확률 변수 [math(X)]와 [math(Y)]에 대하여 다음과 같이 해석한다.- [math({\rm Cov}(X,\,Y)>0)]이면 [math(X)]와 [math(Y)]는 양의 관계
- [math({\rm Cov}(X,\,Y)<0)]이면 [math(X)]와 [math(Y)]는 음의 관계
- [math({\rm Cov}(X,\,Y)=0)]이면 [math(X)]와 [math(Y)]는 양도 음도 아닌 관계
주의할 점은 [math({\rm Cov}(X,\,Y)=0)]을 [math(\boldsymbol X)]와 [math(\boldsymbol Y)]는 관계가 없다고 해석하면 안 된다는 것이다. [math(x^2+y^2=k^2)]([math(k)]는 상수)이 대표적인 반례이다. 만약 두 확률 변수 [math(X)]와 [math(Y)]에 대하여 이 관계가 성립하면 [math({\rm Cov}(X,\,Y)=0)]이다. 틀림없이 공분산은 0이지만, 분명히 [math(x^2+y^2=k^2)]이라는, 모종의 관계가 성립하고 있는 것이다.
5. 분산-공분산 행렬
분산-공분산 행렬이란 다음과 같이 분산과 공분산을 나타낸 행렬을 말한다.| <colbgcolor=#efefef,#555555> | [math(X)] | [math(Y)] | [math(Z)] |
| [math(X)] | [math({S_X}^2)] | [math(S_{XY})] | [math(S_{XZ})] |
| [math(Y)] | [math(S_{XY})] | [math({S_Y}^2)] | [math(S_{YZ})] |
| [math(Z)] | [math(S_{XZ})] | [math(S_{YZ})] | [math({S_Z}^2)] |
6. 공식
-
[math({\rm Cov}(X,\,Y)={\mathbb E}(XY)-{\mathbb E}(X){\mathbb E}(Y))][1]
{{{#!folding [증명]
[math((X-\mu_X)(Y-\mu_Y)=XY-\mu_XY-\mu_YX+\mu_X\mu_Y)]를 이용하면
| [math(\begin{aligned}{\rm Cov}(X,\,Y)&={\mathbb E}(XY)-{\mathbb E}(\mu_XY)-{\mathbb E}(\mu_YX)+{\mathbb E}(\mu_X\mu_Y)\\&={\mathbb E}(XY)-\mu_X{\mathbb E}(Y)-\mu_Y{\mathbb E}(X)+\mu_X\mu_Y\\&={\mathbb E}(XY)-\mu_X\mu_Y\end{aligned})] |
}}}
* [math({\rm Var}(X+Y)={\rm Var}(X)+{\rm Var}(Y)+2{\rm Cov}(X,\,Y))]
{{{#!folding [증명]
분산의 정의에 의하여 [math({\rm Var}(X+Y)={\mathbb E}[(X+Y-\mu_{X+Y})^2])]이고 [math(\mu_{X+Y}=\mu_X+\mu_Y)]이므로
| [math(\begin{aligned}{\rm Var}(X+Y)&={\mathbb E}[(X-\mu_X+Y-\mu_Y)^2]\\&={\mathbb E}[(X-\mu_X)^2+2(X-\mu_X)(Y-\mu_Y)+(Y-\mu_Y)^2]\\&={\mathbb E}[(X-\mu_X)^2]+{\mathbb E}[(Y-\mu_Y)^2]+2{\mathbb E}\{(X-\mu_X)(Y-\mu_Y)\}\\&={\rm Var}(X)+{\rm Var}(Y)+2{\rm Cov}(X,\,Y)\end{aligned})] |
}}}
-
일반화: [math({\rm Var}\left(\displaystyle\sum_{k=1}^nX_k\!\right)=\displaystyle\sum_{k=1}^n{\rm Var}(X_k)+2\sum_{i<j}{\rm Cov}(X_i,\,X_j))]
- [math(|{\rm Cov}(X,\,Y)|\leq\sqrt{{\rm Var}(X)\cdot {\rm Var}(Y)})]
6.1. 심화
- [math(X)]와 [math(Y)]가 독립이면 [math({\mathbb E}(XY)={\mathbb E}(X){\mathbb E}(Y)=\mu_X\mu_Y)]이므로
- [math({\rm Cov}(X,Y)={\mathbb E}(XY)-{\mathbb E}(X){\mathbb E}(Y)=0)][2]
- [math({\rm Var}(X+Y)={\rm Var}(X)+{\rm Var}(Y))]