BERT1 [논문리뷰] BERT(Pre-training of Deep Bidirectional Transformers forLanguage Understanding)의 이해 Abstract unlabel 된 데이터를 pretrain 후, label 된 데이터를 task에 맞게 fine-tuning 해주면 성능이 더 좋아집니다.(OpenAI GPT, ELMo,...) ELMO와 같이 network를 left-to-right뿐만 아니라 right-to-left도 결합하여 unidirectinal > bidirectional로 하였을 때 더 성능이 좋아졌다는 연구도 있습니다. BERT는 위 두 가지 강점을 합친 모델입니다. Bidirectional Encoder Representation from Transformer의 약자로 Transformer를 활용하여 unlabeled 데이터를 bidirectional 하게 pretrain 시키겠다는 의미입니다. pretrained mod.. 2023. 6. 14. 이전 1 다음
