Deep Learning/Natural Language Processing6 Encoders and Ensembles for Task-Free Continual Learning 리뷰 1. Introduction •Supervised Learning : data가 i.i.d.(identically and independently distributed)이며 고정된 분포로 부터 추출된다 가정 •Continual Learning : 현실적엔 시나리오(데이터 real time)에 대처하는 것을 연구 •주요 문제점 : catastrophic forgetting Catastrophic Forgetting Catastrophic forgetting 새로운 data를 학습함에 따라 이전 data들에 대한 모델의 성능이 저하 되는 것 특히 신경망은 gradient-based로 가중치가 update되기 때문에 이 문제에 취약 Data가 imbalance할 경우 오랫동안 특정 class에 대해 weigh.. 2022. 3. 11. Prompt Learning 오픈소스: OpenPrompt 리뷰 사실 앞으로 읽을 prompt 논문들에 대해 어떤 것을 읽으면 좋을지 생각해보려 읽어봤다. 원문은 아래에 있으며 공식 github에 더 많은 정보와, 읽으면 좋은 논문들이 잘 정리되어있다. 간략히 prompt에 대해 알아보고, 속성으로 훑어볼 prompt 중요 논문들 ? 탐색하기 위한 글 OpenPrompt: An Open-source Framework for Prompt-learning Prompt-learning has become a new paradigm in modern natural language processing, which directly adapts pre-trained language models (PLMs) to $cloze$-style prediction, autoregressi.. 2022. 3. 11. GPT Understands, Too 리뷰 원문 GPT Understands, Too While GPTs with traditional fine-tuning fail to achieve strong results on natural language understanding (NLU), we show that GPTs can be better than or comparable to similar-sized BERTs on NLU tasks with a novel method P-tuning -- which employs trainable c arxiv.org 내용 요약 1) 기존의 Descrete prompt search는 prompt의 한 단어의 변화가 성능에 많은 영향을 미침 → prompt를 생성해 내는게 주요한 작업. 2) P-tuning은.. 2022. 3. 11. MASS: Masked Sequence to Sequence Pre-training for Language Generation 리뷰 Abstract BERT에 영감을 받아 encoder-decoder 기반 언어 생성을 위한 MAsked Sequence to Sequence pre-training (MASS)을 제안 random하게 input sentence에 연속적인 mask를 부여한 뒤 decoder가 predict하는 방식으로 encoder와 decoder를 jointly Pre-training시켜 Language Generation Task에 적합한 Model을 개발 neural machine transla-tion, text summarization and conversational response generation을 포함한 zero/low-resource 데이터 셋에 대한 generation 작업 특히, dataset이 적.. 2022. 2. 22. 이전 1 2 다음
