Jay's Blog Jay's Blog

Seq2Seq with Attention 이 구조는 앞에 배운 여러 모델링 가운데, Many-To-Many 형태이다. 즉, 입력이 시퀀스이고 출력도 시퀀스이다. 입력을 모두 읽고 출력을 생성 혹은 예측을 하게 된다. 아래 구조에서 입력 문장을 읽어 들이는 부분을 Encoder라고 하고, 출력을 생성하는 부분을 Decoder라고 불린다. 서로 파라미터를 공유하는 것이 아니라는 것이 특징이다. Encoder 내부를 살펴보면 내부 Cell 형태는 LSTM 구조를 채용한 것을 알 수 있다. 이렇게 Encoder에서 진행된 마지막에 있는 ht 즉, hidden state vector는 Decoder 의 처음 State에 들어가는 h0 역할을 하게 된다. Decoder에 시작 토큰은 라는 토큰을 집어넣음으로 써 시..