분류 전체보기154 [논문리뷰] Monocular Depth Estimation Using Laplacian Pyramid-Based Depth Residuals(LapDepth) Abstract 딥러닝의 많은 발전으로 Monocular Depth Estimation(MDE)에도 여러 Encoder-Decoder 구조가 접목되고 있습니다. 그러나 대부분 Decoding 절차에서 반복되는 심플한 업샘플링 연산은 잘 인코딩 된 features의 특성을 완전히 활용하지 못하는 제한점이 있습니다. 본 논문은 이러한 제한점을 해결하기 위해 본 논문에서는 Laplacian pyramid를 도입하였습니다. 이 방법은 인코딩 된 Features가 Laplacian pyramid의 분해에 의해 깊이 잔차들로 디코딩되고, 디코딩된 출력들이 점진적으로 결합하여 최종 깊이 맵을 형성 합니다. 위와 같은 방식으로 깊이 맵을 형성함으로써 global 한 깊이부터 boundary 같은 local 한 깊이까지.. 2024. 1. 2. [논문리뷰] AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(Vision Transformer) 참고 자료 [논문리뷰] Attention is All you need의 이해 소개 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an atten lcyking.tistory.com [논문리뷰] BERT(Pre-training of Deep Bidirectional Transformers forLanguage Understand.. 2023. 6. 15. [논문리뷰] BERT(Pre-training of Deep Bidirectional Transformers forLanguage Understanding)의 이해 Abstract unlabel 된 데이터를 pretrain 후, label 된 데이터를 task에 맞게 fine-tuning 해주면 성능이 더 좋아집니다.(OpenAI GPT, ELMo,...) ELMO와 같이 network를 left-to-right뿐만 아니라 right-to-left도 결합하여 unidirectinal > bidirectional로 하였을 때 더 성능이 좋아졌다는 연구도 있습니다. BERT는 위 두 가지 강점을 합친 모델입니다. Bidirectional Encoder Representation from Transformer의 약자로 Transformer를 활용하여 unlabeled 데이터를 bidirectional 하게 pretrain 시키겠다는 의미입니다. pretrained mod.. 2023. 6. 14. [논문리뷰] GPT-1(Improving Language Understandingby Generative Pre-Training)의 이해 Abstract https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf 자연어 분야는 본문 요약, Q & A, 유사성 평가, 문서 분류 등 여러 분야에서 발전해 왔습니다. unlabel 된 text는 아주 많지만, 특정한 task에 label 된 data는 아주 부족합니다. 본 논문에서는 이러한 unlabeled 된 데이터를 버리지 말고 generative pre-training 하고, 특정한 테스트에 맞게 labeled 된 데이터를 알맞게 discriminative fine-tuning 하였고 높은 성과를 낸 논문입니다. pretraining -> fine-tuning 하는 과정에서 model architecture는 최소한으로 .. 2023. 6. 13. 이전 1 ··· 6 7 8 9 10 11 12 ··· 39 다음
