6. 표준편차와 표준오차

• 표본표준편차
  • 표본표준편차는 각각의 표본값들이 표본평균으로부터 얼마나 떨어져 있는지를 나타내는 측도로, 자료를 요약한 것에 속한다.
  • 관측한 자료를 \(X_1, X_2, \cdots, X_n\)이라 할 때, 표본표준편차는 다음과 같이 계산할 수 있다.
    • \(\sqrt{\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2}\)
  • 표본표준편차가 클수록 관측한 자료들은 표본평균으로부터 멀리 산포되어있는 것이고, 표본표준편차가 작을수록 자료들이 표본평균 근처에 밀집되어있는 것이다. 이러한 표본표준편차는 단지 자료를 요약한 것에 불과하며, 표본표준편차를 계산하는 공식은 위의 식 단 하나로 주어진다.
• 표준오차
  • 통계학은 표본에 속한 제한된 정보를 사용하여 미지의 값인 모집단의 모수를 추정 및 검정하고자 하는 학문이다. 추정이란 모르는 값을 미루어 짐작하는 행위이므로, 추정에는 필연적으로 오차가 수반될 수밖에 없다. 그러므로 그 오차가 얼마나 되는지를 나타낼 개념이 필요하고, 표준오차가 바로 이 오차를 나타내는 데 사용되는 개념이다. 즉, 표준오차는 추정량의 정확도를 나타내는 측도이다. 
  • 표준오차는 추정량의 분산에 루트를 씌운 값으로 정의된다. 즉 추정량을 \(\hat{\theta}\)라고 할 때, 표본오차는 다음과 같이 계산할 수 있다.
    • \(\sqrt{Var(\hat{\theta})}\)
  • 그러므로 표준오차를 구하는 공식은, 그 표준오차의 대상이 되는 추정량이 무엇인지에 따라 달라진다.
    우리가 추정하고자 하는 미지의 모수는 여러 가지이다. 그건 모평균일 수도, 모비율일 수도, 회귀 모형의 기울기일 수도 있다. 각각의 모수는 또 여러 가지의 추정량을 가진다. 예를 들어 모평균을 추정하기 위해서는 표본평균, 표본중앙값, 표본절삭평균 등 다양한 값을 추정량으로 사용할 수 있다. 즉, 우리가 추정하고자 하는 미지의 모수가 여러 가지이며, 각각의 모수는 또 여러 가지의 추정량을 가지기 때문에, 표준오차를 구하는 공식은 수없이 많고, 모든 추정량은 자신만의 표준오차 공식을 갖는다.
    • ex1. 연속형 자료에서 모평균을 추정하기 위해 표본평균을 추정량으로 사용하는 경우
      • 모평균이 \(\mu\)이고 모분산이 \(\sigma^2\)인 모집단에서 n개의 연속형 자료인 \(X_1, X_2, \cdots, X_n\)을 관찰하여, 표본평균 \(\bar{X}\)를 사용하여 모평균 \(\mu\)를 추정할 수 있다. 이 때, 표본평균을 통한 모평균의 추정의 정확도를 나타내주는 개념이 표본평균 \(\bar{X}\)이고, 다음과 같이 계산할 수 있다.
        
        • 표본평균 \(\bar{X}\)의 표준오차 = \(\sqrt{Var(\bar{X})} = \sqrt{Var(\frac{1}{n}\sum_{i=1}^nX_i)}=\sqrt{\frac{1}{n^2}Var(\sum_{i=1}^nX_i)}=\sqrt{\frac{1}{n^2}\sum_{i=1}^n{Var(X_i)}}=\frac{\sigma}{\sqrt{n}}\)
      • 여기서 \(\sigma\)는 모표준편차로서 미지의 값이므로 표본표준편차 \(s\)로 추정하면, 표본평균 \(\bar{X}\)의 표준오차의 추정량은 다음과 같다.
        • 표본평균 \(\bar{X}\)의 표준오차의 추정량 = \(\frac{s}{\sqrt{n}}\)
      • 즉, 표본평균 \(\bar{X}\)의 표준오차는 표본평균을 사용하여 미지의 모평균 \(\mu\)를 추정할 때, 표본평균이 모평균 주위에 얼마나 넓게 산포되어있는지를 나타내는 개념인 것이다.
    • ex2. 이진형 자료에서 모비율을 추정하기 위해 표본비율을 추정량으로 사용하는 경우
      • 시행횟수가 \(n\)이고 성공확률이 \(p\)인 이항분포를 따르는 확률변수 \(X\)를 관찰한 경우, 표본비율인 \(\hat{p} = \frac{X}{n}\)을 이용하여 모비율 \(p\)를 추정할 수 있다. 이 때 이러한 추정의 정확도를 나타내주는 개념이 바로 표본비율 \(\hat{p}\)의 표준오차이고, 다음과 같이 계산할 수 있다.
        
        • 표본비율 \(\hat{p}\)의 표준오차 = \(\sqrt{\frac{p(1-p)}{n}}\)
      • 여기서 \(p\)는 모비율로서 미지의 값이므로 표본비율 \(\hat{p}\)로 추정하면, 표본비율 \(\hat{p}\)의 표준오차의 추정량은 다음과 같다.
        • 표본비율 \(\hat{p}\)의 표준오차의 추정량 = \(\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}\)
      • 즉, 표본비율 \(\hat{p}\)의 의 표준오차는 표본비율을 사용하여 미지의 모비율 \(p\)를 추정할 때, 표본비율이 모비율 주위에 얼마나 넓게 산포되어있는지를 나타내는 개념인 것이다.
    가설 검정 시 사용되는 검정통계량은 점추정치를 표준오차로 나눈 값이며, 신뢰구간은 점추정치 \(\pm\) 1.96 x 표준오차라는 점에서, 우리는 표준오차의 개념을 정확히 이해할 필요가 있다.