Language Model 특징
-
[09.07] NLP - Recurrent Neural Network(RNN) & Language Modeling네이버 부스트캠프 AI Tech 2기 2021. 9. 14. 14:31
RNN Model 구조 시퀀스 데이터가 입력, 출력으로 주어진 상황에서 각 timestep의 t와 이전 t-1의 모듈에서 계산한 ht-1을 입력으로 받아 현재 timestep에서 ht를 출력으로 내어주는 구조이다. 왜 RNN 인가? → 동일한 파라미터를 가지는 A(Weight)를 공유한다, 이것이 반복적으로 등장하고 매 timestep에서 사용하기 때문에 Recurrent 식으로 들어가기 때문에 RNN이라고 불린다. 현재 hidden state(ht)가 다음 step에서 입력으로 들어가야하고, 이때 다음 step에서 입력값과 같이 계산이 되어 output이 결정이 되어야한다. (output의 개수는 Task 마다 다르다.) 좀더 구체적으로 정리해보자. 처음에는 이전 hidden state Vector인 ..