[NLP] Sequential Model

Sequential Model

Sequence Data

• Sequence Data: 시점에 따라 달라지는 데이터
  • 과거 데이터가 현재 데이터의 처리에 있어서 도움이 되는 경우
  • 순서가 중요한 데이터
  ex. 자연어 처리. 시계열 데이터. 영상 처리. 주식
• Sequantial data는 길이가 일정하지 않음 = model에 입력될 input data의 size가 일정하지 않음→ input data의 size에 상관 없이 동작이 가능한 model을 필요로 함

2 Sequential Model

• Autoregressive model
  • 이전 n개의 data에만 dependeant하도록 만들어진 model

• Markov model (1차 Autoregressive model)
  • joint distribution을 쉽게 표현할 수 있으나, 많은 양의 data를 버리게 됨

• Latent Autoregressive model
  • latent state가 과거 정보를 요약하여 담고 있음
   

•