Transfer Learning1

• 

  [논문리뷰] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles 오늘은 transfer learning을 위한 사전학습을 하는 아이디어를 제안한 논문을 살펴 보겠습니다. 이런 퍼즐 아시죠? 모델이 이 Jigsaw Puzzle 문제를 풀도록 학습하는 것이 사전학습에 도움이 된다고 합니다. 2017년에 나온 비교적 오래된 논문이지만 아이디어가 재밌어서 읽게 되었습니다. 1 Abstract. 2 Introduction. 저자는 self-supervision을 원칙을 따라 Jigsaw puzzle을 푸는 모델을 학습함으로써 이 모델을 다른 목적에 맞게 repurpose 할 수 있다고 합니다. 여기서 self-supervision은 레이블링이 필요 없다는 말이고 repurpose는 전이학습을 의미합니다. 이 방식으로 사전학습을 하는 것이 AlexNet보다 파라미터 수도 적으면.. 딥러닝/논문리뷰 2021. 12. 5.