딥러닝/논문리뷰7

• [논문리뷰] Understanding Dimensional Collapse in Contrastive Self-supervised Learning 보호되어 있는 글 입니다. 2022. 5. 26.

• 

  [논문리뷰] MUM: Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection 오늘은 Semi-Supervised Object Detection을 위한 strong augmentation을 제안한 논문을 리뷰하고자 합니다. [2111.10958] MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection (arxiv.org) MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection Many recent semi-supervised learning (SSL) studies build teacher-student architecture and train the student network by the gen.. 딥러닝/논문리뷰 2022. 3. 13.

• 

  [논문리뷰] ESRGAN: Enhanced Super-Resolution Generative Adversarial Network 이전 논문리뷰를 기반으로 설명해야해서 안 읽으신 분들은 한번 가볍게 보고 오시는 것을 추천합니다. https://zeroact.tistory.com/entry/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-Photo-Realistic-Single-Image-Super-Resolution-Using-a-Generative-Adversarial-Network [논문리뷰] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 요즘 Super Resolution을 공부하기 시작해서 앞으로 SR 관련 논문 리뷰를 하게 될 것 같습니다. 이 논문 이전에 base가 되는 논문들이 있지만, 내용이 딱히.. 딥러닝/논문리뷰 2022. 1. 17.

• 

  [논문리뷰] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 요즘 Super Resolution을 공부하기 시작해서 앞으로 SR 관련 논문 리뷰를 하게 될 것 같습니다. 이 논문 이전에 base가 되는 논문들이 있지만, 내용이 딱히 어렵지 않아서 그냥 필요할 때 키워드만 찾아보면 될 것 같아서 건너뛰고 GAN부터 시작하겠습니다. 최근에 좀 바빠져서 이제 각 파트별로 자세히는 못 다루고 정말 핵심이라고 생각되는 부분만 골라서 리뷰하겠습니다. Abstract (2017년 기준) 최근 SR 모델들이 깊어지고 빨라지는 등 많은 발전이 있었으나, upscaling factor가 클 때 어떻게 세밀한 texture를 복원할 것인지에 대한 문제는 여전히 남아 있습니다. 기존 optimization based 방법론 (L1, L2 loss 기반 최적화) 들은 PSNR에서는 큰 .. 딥러닝/논문리뷰 2022. 1. 16.

• 

  [논문리뷰] Squeeze-and-Excitation Networks 요즘 Transformer 계열의 무언가들이 막 쏟아져 나오고 있죠... 그중 CNN을 대체할 수 있다는 ViT 모델에 대한 연구도 매우 활발히 이루어 지고 있습니다. 추후에 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 논문도 다루게 될 것 같습니다. 이 Transformer라는 녀석은 Self-attention이라는 메커니즘을 전적으로 활용하는 모델입니다. Transformer 관련 공부를 하면서 대충 입력이 뭐고 출력이 뭐고 계산이 어떻게 되고는 이해를 했지만, 본질적인 Attention 메커니즘이 와닿지 않았습니다. Attention 자체는 Transformer 에서 처음 소개된 것이 아니기 때문에 관련 연구가.. 딥러닝/논문리뷰 2022. 1. 2.

• 

  [논문리뷰] Unsupervised Cross-Domain Image Generation 오늘은 Gan 논문 입니다. Style Transfer와 기본적인 Gan에대한 지식이 있으시다면 읽으시는데 큰 어려움이 없을 것 같습니다. 0. Abstract 일단 domain 이 무엇인지 모르시는 분들은 웹사이트 들어갈 때 쓰는말 아닌가.. 하실수 있습니다만, 여기서 domain의 의미는 모음집 이라고 이해하면 편할 것 같습니다. 사실 정의하기 나름이라 기준이 모호한데요 예를 들어드리겠습니다. 예를 들면, 카메라로 찍은 사진들과 연필로 그린 그림들이 있고 이 둘을 구분짓는다면 다른 domain 입니다. 꼭 카메라, 연필로 구분되는 것이 아니라, 카메라로 찍은 사진들이 있는데, 초록 배경이 대부분을 차지하는 숲 사진과 하얀 배경이 대부분을 차지하는 북극 사진이 있다고 하면 이 또한 다른 domain으로.. 딥러닝/논문리뷰 2021. 12. 15.

• 

  [논문리뷰] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles 오늘은 transfer learning을 위한 사전학습을 하는 아이디어를 제안한 논문을 살펴 보겠습니다. 이런 퍼즐 아시죠? 모델이 이 Jigsaw Puzzle 문제를 풀도록 학습하는 것이 사전학습에 도움이 된다고 합니다. 2017년에 나온 비교적 오래된 논문이지만 아이디어가 재밌어서 읽게 되었습니다. 1 Abstract. 2 Introduction. 저자는 self-supervision을 원칙을 따라 Jigsaw puzzle을 푸는 모델을 학습함으로써 이 모델을 다른 목적에 맞게 repurpose 할 수 있다고 합니다. 여기서 self-supervision은 레이블링이 필요 없다는 말이고 repurpose는 전이학습을 의미합니다. 이 방식으로 사전학습을 하는 것이 AlexNet보다 파라미터 수도 적으면.. 딥러닝/논문리뷰 2021. 12. 5.