RNN
-
[09.07] NLP - Recurrent Neural Network(RNN) & Language Modeling네이버 부스트캠프 AI Tech 2기 2021. 9. 14. 14:31
RNN Model 구조 시퀀스 데이터가 입력, 출력으로 주어진 상황에서 각 timestep의 t와 이전 t-1의 모듈에서 계산한 ht-1을 입력으로 받아 현재 timestep에서 ht를 출력으로 내어주는 구조이다. 왜 RNN 인가? → 동일한 파라미터를 가지는 A(Weight)를 공유한다, 이것이 반복적으로 등장하고 매 timestep에서 사용하기 때문에 Recurrent 식으로 들어가기 때문에 RNN이라고 불린다. 현재 hidden state(ht)가 다음 step에서 입력으로 들어가야하고, 이때 다음 step에서 입력값과 같이 계산이 되어 output이 결정이 되어야한다. (output의 개수는 Task 마다 다르다.) 좀더 구체적으로 정리해보자. 처음에는 이전 hidden state Vector인 ..
-
[08.05] Day4 - 'RNN 맛보기' 🍽네이버 부스트캠프 AI Tech 2기 2021. 8. 6. 22:44
RNN 첫걸음(AI Math 10강) [수업 내용] 강사 : 임성빈 교수님 모델의 설계는 그렇게 어렵지는 않지만, 왜 이렇게 설계했는 지에 대해서 생각해보고 설계해야 한다. 어떤 데이터들을 다루나? : 시퀀스 데이터(소리, 문자열, 주가 등)의 데이터들을 시퀀스 데이터로 분류한다. 즉, 시간의 흐름대로 나열된 데이터를 시퀀스 데이터라고 한다. 시퀀스 데이터는 독립동등분포(i.i.d) 가정을 위배하기 쉽다.→ 순서를 바꾸거나 과거 정보의 손실이 발생하면 데이터의 확률분포도 바뀌게 된다.(데이터의 분포가 달라지게 되어 정보가 바뀌게 된다.) 시퀀스 데이터를 다루는 방법 시퀀스의 정보를 가지고 앞으로 발생할 데이터 확률분포를 다루기 위해 조건부 확률을 이용한다. 이전 1~t-1까지의 조건부 확률을 이용한 베이..
-