링크: https://arxiv.org/pdf/1312.5602 간단 요약 및 목차Background강화학습과 딥러닝이 달라 접목시키가 어려움ArchitectureCNN 기반의 네트워크MethodsExperience Replay손실함수Contribution최초로 강화학습에 딥러닝을 사용Result and Conclusion7개중 6개의 게임에서 기존 방법 (Sarsa) 능가 강화학습의 기초V (상태 가치 함수), Q (행동 가치 함수), Agent (모델), action (모델이 하는 행동), r (action을 통해 받을거라고 기대되는 리워드), R (모든 action 뒤에 최종적으로 받을거라도 기대되는 리워드의 합), G (모든 action 뒤에 최종적으로 받을 실제 리워드), state (실제 환경..
링크: https://arxiv.org/abs/1902.00751 Parameter-Efficient Transfer Learning for NLPFine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, fine-tuning is parameter inefficient: an entire new model is required for every task. As an alternative, we propose transferarxiv.org간단 요약 및 목차 BackgroundLLM을 Fine-tuning하면 성능은 뛰어나지만 각..
링크: https://openreview.net/forum?id=SyxS0T4tvS RoBERTa: A Robustly Optimized BERT Pretraining ApproachWe evaluate a number of design decisions when pretraining BERT models and propose an improved recipe that achieves state-of-the-art results on many natural language understanding tasks.openreview.net 간단 요약 및 목차Background모델을 학습시키는것은 많은 자원이 드니까 정확히 어떤 학습방법이 모델의 성능을 향상시키는건지 측정하기가 어려움BERT 모델은 undert..
약 1년동안 학부연구생으로 공부하면서 많은 일이 있었다. 많이 배우고 일하고 공부하고 괜찮았으나 최근 건강 문제로 일을 쉬게되면서 개인 공부에 집중하게 되었다. 하지만 오히려 일을 시키거나 공부를 감시하는 사람이 없다보니 게을러지고 시간을 낭비하게 되는 것 같아 논문을 읽으며 기록해보고자 한다. 세상 모든 논문을 읽으려고 하면 부담스러워서 안 읽게 된다. 그냥 관심 있는거, 재밌어 보이는거, 연구실에서 읽는 논문과 관련된 논문. 등 가볍게 한 개만 더 한 개만 더... 하면서 읽어볼 생각이다. 2025-04-25 시작논문 제목주요 내용읽은 이유읽은 날짜BERT: Pre-training of Deep Bidirectional Transformers for Language Understandingtransf..
