딥러닝 공부방입니다. 근데 이제 야매를 곁들인.

VAE가 AE보다 좋다...? 학습도 이렇게.. 저렇게.. 하면 된다...? 정도만 알고 있었습니다. 누군가 둘이 뭐가 다르냐고 물어 봤을 때, "VAE가 AE 보다 좋아요" 라고만 말했던 기억이 있네요... 오늘은 이 답답함을 해소하고자 둘의 차이에 대한 직관적인 이해를 해보려 합니다. 이번 포스팅은 VAE와 AE의 차이에 대한 직관적 이해만을 목표로 합니다. Understanding Variational Autoencoders (VAEs) | by Joseph Rocca | Towards Data Science Understanding Variational Autoencoders (VAEs) Building, step by step, the reasoning that leads to VAEs. tow..

오늘은 Gan 논문 입니다. Style Transfer와 기본적인 Gan에대한 지식이 있으시다면 읽으시는데 큰 어려움이 없을 것 같습니다. 0. Abstract 일단 domain 이 무엇인지 모르시는 분들은 웹사이트 들어갈 때 쓰는말 아닌가.. 하실수 있습니다만, 여기서 domain의 의미는 모음집 이라고 이해하면 편할 것 같습니다. 사실 정의하기 나름이라 기준이 모호한데요 예를 들어드리겠습니다. 예를 들면, 카메라로 찍은 사진들과 연필로 그린 그림들이 있고 이 둘을 구분짓는다면 다른 domain 입니다. 꼭 카메라, 연필로 구분되는 것이 아니라, 카메라로 찍은 사진들이 있는데, 초록 배경이 대부분을 차지하는 숲 사진과 하얀 배경이 대부분을 차지하는 북극 사진이 있다고 하면 이 또한 다른 domain으로..

오늘은 transfer learning을 위한 사전학습을 하는 아이디어를 제안한 논문을 살펴 보겠습니다. 이런 퍼즐 아시죠? 모델이 이 Jigsaw Puzzle 문제를 풀도록 학습하는 것이 사전학습에 도움이 된다고 합니다. 2017년에 나온 비교적 오래된 논문이지만 아이디어가 재밌어서 읽게 되었습니다. 1 Abstract. 2 Introduction. 저자는 self-supervision을 원칙을 따라 Jigsaw puzzle을 푸는 모델을 학습함으로써 이 모델을 다른 목적에 맞게 repurpose 할 수 있다고 합니다. 여기서 self-supervision은 레이블링이 필요 없다는 말이고 repurpose는 전이학습을 의미합니다. 이 방식으로 사전학습을 하는 것이 AlexNet보다 파라미터 수도 적으면..