En~RecentChanges › En~ResearchMethods › En~TitleIndex › En~WikiSandBox › En~WordIndex › EstimatedStandardDeviation
- See Also
Variance
Estimated value of SD ¶
우선, Expected value (기대값)와 Variance (분산)의 연산은 아래와 같이 계산될 수 있다.
X,Y are Independent variables.
|
![\begin{align*}
E[aX] = a E[X] \\
E[X+Y] = E[X] + E[Y] \\
Var[aX] = a^{\tiny{2}} Var[X] \\
Var[X+Y] = Var[X] + Var[Y]
\end{align*}](/_cache/latex/43/435a148a283dca26bb67d2b750034803.png "\begin{align*}
E[aX] = a E[X] \\
E[X+Y] = E[X] + E[Y] \\
Var[aX] = a^{\tiny{2}} Var[X] \\
Var[X+Y] = Var[X] + Var[Y]
\end{align*}")
|
이때, 한 샘플의 평균값을 
라고 하면, 평균들의 합인 
는
라고 하면, 평균들의 합인 는 
이렇게 얻은 샘플들(k 개의)의 평균인 
는,
는, 
이때,
![\begin{align*}
E[S_k] & = E[X_1 + X_2 + . . . +X_k] \\
& = E[X_1] + E[X_2] + . . . + E[X_k] \\
& = \mu + \mu + . . . + \mu = k * \mu \\
\end{align*}](/_cache/latex/e5/e5f15ad404c0004850cf4f1c1faa15e6.png "\begin{align*}
E[S_k] & = E[X_1 + X_2 + . . . +X_k] \\
& = E[X_1] + E[X_2] + . . . + E[X_k] \\
& = \mu + \mu + . . . + \mu = k * \mu \\
\end{align*}")
![\begin{align*}
Var[S_k] & = Var[X_1 + X_2 + . . . +X_k] \\
& = Var[X_1] + Var[X_2] + \dots + Var[X_k] \\
& = k * \sigma^2
\end{align*}](/_cache/latex/08/08f2b3fd7dcbba7f7bef656cc385f695.png "\begin{align*}
Var[S_k] & = Var[X_1 + X_2 + . . . +X_k] \\
& = Var[X_1] + Var[X_2] + \dots + Var[X_k] \\
& = k * \sigma^2
\end{align*}")
이다.
그렇다면, 에 관한 기대값과 분산값은:
에 관한 기대값과 분산값은: ![\begin{align*}
E[A_k] & = E[\frac{S_k}{k}] \\
& = \frac{1}{k}*E[S_k] \\
& = \frac{1}{k}*k*\mu = \mu
\end{align*}](/_cache/latex/13/13d68be62e3eb7c3bccec498986ed882.png "\begin{align*}
E[A_k] & = E[\frac{S_k}{k}] \\
& = \frac{1}{k}*E[S_k] \\
& = \frac{1}{k}*k*\mu = \mu
\end{align*}")
이고,
![\begin{align*}
Var[A_k] & = Var[\frac{S_k}{k}] \\
& = \frac{1}{k^2} Var[S_k] \\
& = \frac{1}{k^2}*k*\sigma^2 \\
& = \frac{\sigma^2}{k} \nonumber
\end{align*}](/_cache/latex/e2/e2d01d265f5ca5f83dc6cb855cd209ee.png "\begin{align*}
Var[A_k] & = Var[\frac{S_k}{k}] \\
& = \frac{1}{k^2} Var[S_k] \\
& = \frac{1}{k^2}*k*\sigma^2 \\
& = \frac{\sigma^2}{k} \nonumber
\end{align*}")
라고 할 수 있다.
한편, 분산값은
![\begin{align*}
Var[X] & = {E{(X-\mu)^2}} \\
& = E[(X^2 - 2 X \mu + \mu^2)] \\
& = E[X^2] - 2 \mu E[X] + E[\mu^2] \\
& = E[X^2] - 2 \mu E[X] + E[\mu^2], \;\; \text{because E[X]=} \mu \text{, \; E[} \mu^2 \text{] = } \mu^2, \\
& = E[X^2] - 2 \mu^2 + \mu^2 \\
& = E[X^2] - \mu^2 \;\;\; \dots \dots \dots \dots \dots [1]
\end{align*}](/_cache/latex/e5/e549c76d29e1f2fc7dfb07e5201bd7e1.png "\begin{align*}
Var[X] & = {E{(X-\mu)^2}} \\
& = E[(X^2 - 2 X \mu + \mu^2)] \\
& = E[X^2] - 2 \mu E[X] + E[\mu^2] \\
& = E[X^2] - 2 \mu E[X] + E[\mu^2], \;\; \text{because E[X]=} \mu \text{, \; E[} \mu^2 \text{] = } \mu^2, \\
& = E[X^2] - 2 \mu^2 + \mu^2 \\
& = E[X^2] - \mu^2 \;\;\; \dots \dots \dots \dots \dots [1]
\end{align*}")
라고 할때,
![$ Var[X + Y] $](/_cache/latex/fc/fc1d281d6793cb0bca73ac9bc4cf6214.png "$ Var[X + Y] $")
를 구하고자 한다면, 우선 ![\begin{align}
\displaystyle E[X] = \mu_{X} = a \\
\displaystyle E[Y] = \mu_{Y} = b
\end{align}](/_cache/latex/cf/cf8d6ee0354ffd3cc02dd131a3c7cab7.png "\begin{align}
\displaystyle E[X] = \mu_{X} = a \\
\displaystyle E[Y] = \mu_{Y} = b
\end{align}")
이라고 할 때,
![\begin{align*}
Var [X + Y] & = \displaystyle E[(X+Y)^2] - (a+b)^2 \\
& = E[(X^2 + 2XY + Y^2)] - (a^2 - 2ab - b^2) \;\cdots\;\cdots\; \cdots\; [a]
\end{align*}](/_cache/latex/b4/b4525fc9dc056b43587314d25e467519.png "\begin{align*}
Var [X + Y] & = \displaystyle E[(X+Y)^2] - (a+b)^2 \\
& = E[(X^2 + 2XY + Y^2)] - (a^2 - 2ab - b^2) \;\cdots\;\cdots\; \cdots\; [a]
\end{align*}")
그런데
![$ E[XY] = E[X] E[Y], $](/_cache/latex/3e/3e94d22b4070ec8cf76144ed0e6e8439.png "$ E[XY] = E[X] E[Y], $")
, 와 
가 서로 독립적 (independent) 이므로 ![$ E[XY] = a b $](/_cache/latex/7c/7c464f7b5d2e302b0c6497da3c016ad5.png "$ E[XY] = a b $")
이에 따라 위의 ![$ [a] $](/_cache/latex/54/54c8cec202ebffaf3ca809403654fd71.png "$ [a] $")
에서,
에서,![\begin{align*}
Var [X + Y] & = E[(X^2 + 2XY + Y^2)] - (a^2 - 2ab - b^2) \\
& = E[X^2] - a^2 + E[Y^2] - b^2 \\
& = Var[X] + Var[Y]
\end{align*}](/_cache/latex/e8/e883736b58a84df3751eb272e7755cdb.png "\begin{align*}
Var [X + Y] & = E[(X^2 + 2XY + Y^2)] - (a^2 - 2ab - b^2) \\
& = E[X^2] - a^2 + E[Y^2] - b^2 \\
& = Var[X] + Var[Y]
\end{align*}")
한편,
그리고 Sampling distribution of mean과 관련된 샘플 평균들에 대한 기대값 ![$E[\overline{X}]$](/_cache/latex/c1/c1eadb4bd12ce0b97ecef02095b70e8d.png "$E[\overline{X}]$")
과 ![$Var[\overline{X}]$](/_cache/latex/c7/c7b5aac2adcfe4622a6c3f930b532c06.png "$Var[\overline{X}]$")
는 각각
과 는 각각![\begin{align*}
E[\overline{X}] & = E[\frac{1}{n} \sum_{\tiny{i=1}}^{\tiny{n}} \overline{X_i}] \\
& = \frac{1}{n} n \mu \\
& = \mu \;\cdots\;\cdots\;\cdots\;\cdots \;[2] \\
Var[\overline{X}] & = Var[\frac{1}{n} \sum_{\tiny{i=1}}^{\tiny{n}} \overline{X_i}] \\
& = \frac{1}{n^2} n \sigma^2 \\
& = \frac{\sigma^2}{n} \;\cdots\;\cdots\;\cdots\;\cdots \;[3]
\end{align*}](/_cache/latex/ce/ce0ef98d63b9a6205d51c66847544343.png "\begin{align*}
E[\overline{X}] & = E[\frac{1}{n} \sum_{\tiny{i=1}}^{\tiny{n}} \overline{X_i}] \\
& = \frac{1}{n} n \mu \\
& = \mu \;\cdots\;\cdots\;\cdots\;\cdots \;[2] \\
Var[\overline{X}] & = Var[\frac{1}{n} \sum_{\tiny{i=1}}^{\tiny{n}} \overline{X_i}] \\
& = \frac{1}{n^2} n \sigma^2 \\
& = \frac{\sigma^2}{n} \;\cdots\;\cdots\;\cdots\;\cdots \;[3]
\end{align*}")
같은 논리로 sampling distribution of sample variance를 구한다고 하면, 그리고 이를 구할 때 n을 사용한다고 하면,
![\begin{align*}
E[s^2] & = E \left [ \frac{1}{\large n} \sum_{i=1}^n (X_i- \overline{X})^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n (X_i^2 - 2\overline{X}X_i + \overline{X}^2) \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 - \sum_{i=1}^n 2\overline{X}X_i + \sum_{i=1}^n \overline{X}^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 - 2n\overline{X}^2 +n\overline{X}^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 - n\overline{X}^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 \right ] - E \left [ \overline{X}^2 \right ] \;\cdots\;\cdots\; [4]
\end{align*}](/_cache/latex/04/044737cfedaf14105d5cac06743f93a5.png "\begin{align*}
E[s^2] & = E \left [ \frac{1}{\large n} \sum_{i=1}^n (X_i- \overline{X})^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n (X_i^2 - 2\overline{X}X_i + \overline{X}^2) \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 - \sum_{i=1}^n 2\overline{X}X_i + \sum_{i=1}^n \overline{X}^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 - 2n\overline{X}^2 +n\overline{X}^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 - n\overline{X}^2 \right ] \\
& = \frac{1}{\large n} E \left [ \sum_{i=1}^n X_i^2 \right ] - E \left [ \overline{X}^2 \right ] \;\cdots\;\cdots\; [4]
\end{align*}")
위에서
여기서 [1]에서의 결과를 적용하면,
![$ E \left [ \displaystyle \sum_{i=1}^n X_i^2 \right ] = Var[X_i] + \mu = \sigma^2 + \mu$](/_cache/latex/bb/bb666c84e7c7f5ec5525131fff314c34.png "$ E \left [ \displaystyle \sum_{i=1}^n X_i^2 \right ] = Var[X_i] + \mu = \sigma^2 + \mu$")
![$ E \left [ \displaystyle \overline{X}^2 \right ] = Var \left [\overline{X} \right ] + \mu = \frac{\sigma^2}{n} + \mu $](/_cache/latex/29/29f19e51d3c36b03e1d36ffb5f26b7b5.png "$ E \left [ \displaystyle \overline{X}^2 \right ] = Var \left [\overline{X} \right ] + \mu = \frac{\sigma^2}{n} + \mu $")
이므로 [4]의 식은![\begin{align*}
E[s^2] & = \frac{1}{n} (\sigma^2+\mu) - ( \frac{\sigma^2}{n} + \mu) \\
& = \frac{1}{n} \left [n(\sigma^2+\mu) - n(\frac{\sigma^2}{n} + \mu) \right ] \\
& = \frac{1}{n} \left [n \sigma^2 - \sigma^2 \right ] \\
& = \frac{(n-1)\sigma^2}{n} \;\cdots\;\cdots\;\cdots\; [5]
\end{align*}](/_cache/latex/8b/8be1b9a41247da9559a9978dc52b8150.png "\begin{align*}
E[s^2] & = \frac{1}{n} (\sigma^2+\mu) - ( \frac{\sigma^2}{n} + \mu) \\
& = \frac{1}{n} \left [n(\sigma^2+\mu) - n(\frac{\sigma^2}{n} + \mu) \right ] \\
& = \frac{1}{n} \left [n \sigma^2 - \sigma^2 \right ] \\
& = \frac{(n-1)\sigma^2}{n} \;\cdots\;\cdots\;\cdots\; [5]
\end{align*}")
즉 sample에서 구하는 variance로 모집단의 variance를 구하는데 오차가 보인다. 이를 모집단의 variance와 근사하게 하기 위해서
을 [5]에 곱하면,
![$ E[S^2] = \displaystyle \frac{(n-1)\sigma^2}{n} * \frac{n}{n-1} = \sigma^2 $](/_cache/latex/3a/3a9d5765ba56f147ff08bab7a3779693.png "$ E[S^2] = \displaystyle \frac{(n-1)\sigma^2}{n} * \frac{n}{n-1} = \sigma^2 $")
