목록2022/01/02 (1)

딥러닝 공부방입니다. 근데 이제 야매를 곁들인.

[논문리뷰] Squeeze-and-Excitation Networks

요즘 Transformer 계열의 무언가들이 막 쏟아져 나오고 있죠... 그중 CNN을 대체할 수 있다는 ViT 모델에 대한 연구도 매우 활발히 이루어 지고 있습니다. 추후에 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 논문도 다루게 될 것 같습니다. 이 Transformer라는 녀석은 Self-attention이라는 메커니즘을 전적으로 활용하는 모델입니다. Transformer 관련 공부를 하면서 대충 입력이 뭐고 출력이 뭐고 계산이 어떻게 되고는 이해를 했지만, 본질적인 Attention 메커니즘이 와닿지 않았습니다. Attention 자체는 Transformer 에서 처음 소개된 것이 아니기 때문에 관련 연구가..
딥러닝/논문리뷰 2022. 1. 2. 13:57
이전 Prev 1 Next 다음