Jay's Blog Jay's Blog

Beam Search Seq2Seq 같은 자연어 생성 모델에서 테스트 타임에서 좀 더 좋은 생성 결과를 얻을 수 있는 Beam Search라는 것이 있다. Sequence로서 전체적인 확률값을 보는 것이 아니라 현재 타임에서 가장 좋은 확률을 가지는 단어를 선택하는 Greedy Decoding 방식을 보통 따른다. 그러나 이런 Greedy Decoding 방식에서 만일 잘못된 예측을 한 경우에 뒤로 올아갈 수 없는 문제가 있다. 이를 어떻게 해결할까?? 입력되는 문장을 x라고 하고 출력되는 문장이 y라고 할때, 각각 x가 들어올때, 예측되는 첫번째 단어 y1.. y1과 x가 들어올때, 예측되는 y2단어의 확률 값을 곱하는 식으로 P(y|x) 라는 joint Probability, 동시사건에 대한 확률 분..

Seq2Seq with Attention 이 구조는 앞에 배운 여러 모델링 가운데, Many-To-Many 형태이다. 즉, 입력이 시퀀스이고 출력도 시퀀스이다. 입력을 모두 읽고 출력을 생성 혹은 예측을 하게 된다. 아래 구조에서 입력 문장을 읽어 들이는 부분을 Encoder라고 하고, 출력을 생성하는 부분을 Decoder라고 불린다. 서로 파라미터를 공유하는 것이 아니라는 것이 특징이다. Encoder 내부를 살펴보면 내부 Cell 형태는 LSTM 구조를 채용한 것을 알 수 있다. 이렇게 Encoder에서 진행된 마지막에 있는 ht 즉, hidden state vector는 Decoder 의 처음 State에 들어가는 h0 역할을 하게 된다. Decoder에 시작 토큰은 라는 토큰을 집어넣음으로 써 시..

이전 정리에서 더 진화한 Long Term Dependency를 고려한 모델들을 살펴본다. LSTM 구조 배경 : Long-Term Dependency 문제를 해결하고자 나왔다. RNN이 가진, 매 Time마다 바뀌는 hidden state를 단기기억을 담당하는 기억 소자로 본다. 이 단기 기억을 Sequence가 시간이 지나면서 보다 길게 기억할 수 있도록 나온것이다. 이전, RNN에서는 입력으로 (Xt, ht-1) 두개가 들어갔지만, LSTM에서는 (Xt, ht-1, Ct-1) 이렇게 3개가 들어간다. Ct-1 이것을 우리는 Cell State Vector라고 부르고, ht-1은 hidden state Vector를 의미한다. 그리고 output으로는 (Ct, ht) 두개를 내주게 된다. Ct 가 좀..

RNN Model 구조 시퀀스 데이터가 입력, 출력으로 주어진 상황에서 각 timestep의 t와 이전 t-1의 모듈에서 계산한 ht-1을 입력으로 받아 현재 timestep에서 ht를 출력으로 내어주는 구조이다. 왜 RNN 인가? → 동일한 파라미터를 가지는 A(Weight)를 공유한다, 이것이 반복적으로 등장하고 매 timestep에서 사용하기 때문에 Recurrent 식으로 들어가기 때문에 RNN이라고 불린다. 현재 hidden state(ht)가 다음 step에서 입력으로 들어가야하고, 이때 다음 step에서 입력값과 같이 계산이 되어 output이 결정이 되어야한다. (output의 개수는 Task 마다 다르다.) 좀더 구체적으로 정리해보자. 처음에는 이전 hidden state Vector인 ..

🗣 Introduction → NLP!! 학문 분야와 최근 발전 동향 [NLP 분야] NLU : 컴퓨터가 주어진 단어나 문장, 글을 이해하는 Understanding NLG : 자연어를 상황에 따라 적절히 생성하는 Generation 대표적인 학회 : ACL, EMNLP, NAACL 분야 Language Modeling : 현재 문장, 문단 일부로 다음 단어를 예측하는 모델 Machine Translation : 기계 번역 Question Answering : 질의 응답 Document Classification : 문서 분류 Diaglog Systems Etc. 1. Low-Level Parsing 어떠한 문장이 있을때, 각 단어들을 정보 단위로 생각할 수 있다. 여기서 이런 단어들을 토큰 이라고 부른..

1. 프로젝트 목표 및 결과 AI 프로세스를 이해하고 스스로 전체 파이프라인을 구축하면서 이해한다. 원활한 커뮤니캐이션을 위하여 팀원들의 아이디어를 추합하고 정리한다. 모델의 성능 향상을 위해서 시도해 볼만한 것들을 시도해본다. 결과 : 1등!🏅 2. 목표를 위해 노력한 것들 우선 내용을 쓰기 이전에 본인의 AI 수준에 대해서 이야기하자면, AI 프로젝트는 경험해보았지만 코드를 복사하고 붙여 넣어서 살짝 바꾸기만 하는 정도(?) 였다. 즉, 과제같은 스스로 처음부터 모든 것들을 구축하기에는 어려움이 많았고 파이프라인을 언젠간 전체적으로 이해 및 구현하고자 하는 목표가 있었다. 일주일 동안, 팀원모두 AI 파이프라인을 이해하고자 스스로 공부하는 시간을 가졌다. 나는 아무것도 없는 코드부터 시작했다. 무엇부..

Improving Language Understanding By GPT-1 Intro 자연어 처리같은 경우, 질의 응답이나,의미 유사성 파악 등등 다양한 과제가 있다. 데이터 뭉치(Corpus)는 많은데, Labeled된 데이터는 많이 부족하다는 것. 그래서 적절히 모델에 적용하기 어렵다. 그래서 Unlabeled 된 다양한 Corpus 에 대해 GPT라는 작업(Generative Pre-Training)을 수행한 후에 어떤 특정 작업에 대해 차별적인 모델을 제시함으로써 해결하려고 한다. ⇒ Unlabeled 된 데이터를 이용해 다양한 특성들을 학습할 수 있다. 그리고 이런 학습된 결과를 추가적인 Supervision(Fine-Tuning)을 통해서 성능 향상도 가능하다. (Pre-Trained Word..

SeaBorn SeaBorn 이란? : Matplotlib 라이브러리 기반 통계 시각화 라이브러리이다. 특징 통계 정보 : 구성, 분포, 관계 등등 Matplotlib이 기반이라서 커스텀 가능하다. 쉬운 문법과 깔끔한 디자인이 특징이다. 설치 (아직 1.0 version이 나오지 않아서 언제든 업데이트 가능성이 있다.) 강의는 0.11로 진행 !pip install seaborn==0.11 import seaborn as sns 다양한 API 제공 Categorical API Distribution API : 분포 Relational API : 관계 Regression API : 회귀 Multiples API Theme API 실습 Countplot : 범주를 이산적으로 세서 막대 그래프로 그려주는 함수..