GPT1
-
논문 리뷰 - Improving Language Understanding by Generative Pre-Training(GPT-1)네이버 부스트캠프 AI Tech 2기 2021. 8. 30. 01:37
Improving Language Understanding By GPT-1 Intro 자연어 처리같은 경우, 질의 응답이나,의미 유사성 파악 등등 다양한 과제가 있다. 데이터 뭉치(Corpus)는 많은데, Labeled된 데이터는 많이 부족하다는 것. 그래서 적절히 모델에 적용하기 어렵다. 그래서 Unlabeled 된 다양한 Corpus 에 대해 GPT라는 작업(Generative Pre-Training)을 수행한 후에 어떤 특정 작업에 대해 차별적인 모델을 제시함으로써 해결하려고 한다. ⇒ Unlabeled 된 데이터를 이용해 다양한 특성들을 학습할 수 있다. 그리고 이런 학습된 결과를 추가적인 Supervision(Fine-Tuning)을 통해서 성능 향상도 가능하다. (Pre-Trained Word..