AI Basic/Math for AI
[Math for AI] 확률론
iamzieun
2023. 3. 13. 23:18
딥러닝에서 확률론이 필요한 이유
- 기계학습에서 사용하는 손실 함수(loss function)들의 작동 원리는 확률론을 기반으로 하고 있다
- 회귀 분석에서 사용하는 손실 함수인 l2-norm: 예측 오차의 분산을 최소화하는 방향으로 학습을 유도
- 분류 문제에서 사용하는 손실 함수인 cross-entropy: 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도
확률분포, 확률변수
- 확률변수 random variable
- 확률 실험(random experiment)의 결과 또는 결과물에 대한 숫자적 표현
- 이산확률변수와 연속확률변수
- 확률분포 probability distribution
- 확률변수가 특정한 값을 가질 확률을 나타내는 함수
Monte Carlo Method
- Sampling
- 정확한 확률값을 계산하기 어려운 확률 모델의 대략적인 확률값을 구하기 위하여 샘플을 추출하는 방법
- Monte Carlo Method
- 무작위로 추출된 난수(random number)를 이용하여 원하는 함수의 대략적인 값을 산출하는 시뮬레이션 방법
- 몬테카를로 방법에 의한 표본의 분포는 CLT에 의해 정규 분포로 수렴
- 기계학습에 사용하는 많은 데이터들은 그 확률분포를 모르는 경우가 대부분이기에, 몬테카를로 방법을 이용하여 데이터의 기댓값을 계산함
