LSTM
-
[09.07] NLP - LSTM과 GRU네이버 부스트캠프 AI Tech 2기 2021. 9. 14. 14:40
이전 정리에서 더 진화한 Long Term Dependency를 고려한 모델들을 살펴본다. LSTM 구조 배경 : Long-Term Dependency 문제를 해결하고자 나왔다. RNN이 가진, 매 Time마다 바뀌는 hidden state를 단기기억을 담당하는 기억 소자로 본다. 이 단기 기억을 Sequence가 시간이 지나면서 보다 길게 기억할 수 있도록 나온것이다. 이전, RNN에서는 입력으로 (Xt, ht-1) 두개가 들어갔지만, LSTM에서는 (Xt, ht-1, Ct-1) 이렇게 3개가 들어간다. Ct-1 이것을 우리는 Cell State Vector라고 부르고, ht-1은 hidden state Vector를 의미한다. 그리고 output으로는 (Ct, ht) 두개를 내주게 된다. Ct 가 좀..
-