3. 확률변수, 모수, 상수의 구분

이렇듯 통계학은 모수를 추론하기 위하여 특정한 분포를 가지는 확률변수들로부터 통계량을 만들고 이를 이용해 모수를 추정하고 또 추정한 모수를 검정하는 학문이라는 점에서, 통계학을 공부하며 마주하는 여러 수식들에서 확률변수와 모수, 상수를 구분하는 것은 매우 중요하다.

• 회귀분석 모형을 예시로 들어보자.
  • \(Y_i = \beta_0+\beta_1X_i+\epsilon_i, \epsilon_i \stackrel{\text{iid}}\sim N(0,\sigma^2)\)
  • 이 모형의 구성요소들은 각각 확률변수, 모수, 상수 중 무엇일까?
    • 먼저 \(X_i\)는 추출한 표본의 값이므로 상수이다.
    • \(\epsilon_i\)는 \(N(0, \sigma^2)\)의 정규분포를 따르는 확률변수이고, 이러한 \(\epsilon_i\)를 포함한 선형결합으로 이루어진 \(Y_i\) 또한 확률변수이다. 이 때 \(Y_i\)는 \(N(\beta_0+\beta_1X_i, \sigma^2)\)를 따름을 알 수 있다.
    • \(\beta_0\)과 \(\beta_1\)은 이 모형에서 추론하고자 하는 값으로, 미지의 모수이다. 확률변수 \(\epsilon_i\)의 분산 \(\sigma^2\) 또한 모수이다.
    이를 정리하면 아래와 같다.

• 또 다른 예시로, 확률변수의 기댓값과 조건부 분포의 기댓값을 살펴보자.
  • \(E(X_2)\), \(E(X_2|X_1)\), \(E(X_2|x_1)\)은 각각 확률변수일까, 아니면 상수일까?
    
    • \(E(X_2) = \int_{-\infty}^{\infty}x_2f(x_2)dx_2\)는 계산하면 하나의 상수값이 나오므로, \(E(X_2)\)는 상수이다.
    • \(E(X_2|X_1)=\int_{-\infty}^{\infty}x_2f(x_2|X_1)dx_2\)로, 이를 계산하면 \(X_1\)에 대한 함수를 얻게 된다. 즉 \(E(X_2|X_1)\)은 확률변수 \(X_1\)에 대한 식이므로, \(E(X_2|X_1)\) 또한 확률변수가 된다.
    • \(E(X_2|x_1)\)는 위에서 얻은 \(X_1\)에 대한 함수식에 \(X_1=x_1\)을 대입한 값이므로 상수이다.