딥러닝3

• 

  [ChatGPT] 입으로 TODO App 개발 요즘 ChatGPT 가 매우 핫 합니다. 이제 언어 모델이 통역, 문법 교정, 추천 시스템 등을 뛰어 넘어 어느정도 Chat 이 가능한 수준까지 올라왔습니다. 이 포스팅에서는 ChatGPT 를 제가 직접 사용해보고 이게 뭔지, 어떻게 사용할 수 있는지를 다룹니다. ChatGPT? ChatGPT 는 무지막지한 양의 데이터를 사용하여 학습한 "언어 생성 모델" 입니다. 직접 사용해보면 구글링해서 나오는 상위 노출 결과물 10개 정도를 잘 모아서 정리해서 알려주는 느낌입니다. 다시말해 뭔가 엄청나게 잘 생성해서 놀라울 정도로 잘 대답해 주지만 일반적으로 상상하는 인간을 지배할 AI 는 절대 아닙니다. "전교 1등" 제가 생각하는 한계점을 두가지 정도입니다. 1. 봤던 데이터 기반으로 대화를 생성하기 때문에 최.. 딥러닝/기타 2023. 1. 1.

• 

  [논문리뷰] MUM: Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection 오늘은 Semi-Supervised Object Detection을 위한 strong augmentation을 제안한 논문을 리뷰하고자 합니다. [2111.10958] MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection (arxiv.org) MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection Many recent semi-supervised learning (SSL) studies build teacher-student architecture and train the student network by the gen.. 딥러닝/논문리뷰 2022. 3. 13.

• 

  [논문리뷰] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles 오늘은 transfer learning을 위한 사전학습을 하는 아이디어를 제안한 논문을 살펴 보겠습니다. 이런 퍼즐 아시죠? 모델이 이 Jigsaw Puzzle 문제를 풀도록 학습하는 것이 사전학습에 도움이 된다고 합니다. 2017년에 나온 비교적 오래된 논문이지만 아이디어가 재밌어서 읽게 되었습니다. 1 Abstract. 2 Introduction. 저자는 self-supervision을 원칙을 따라 Jigsaw puzzle을 푸는 모델을 학습함으로써 이 모델을 다른 목적에 맞게 repurpose 할 수 있다고 합니다. 여기서 self-supervision은 레이블링이 필요 없다는 말이고 repurpose는 전이학습을 의미합니다. 이 방식으로 사전학습을 하는 것이 AlexNet보다 파라미터 수도 적으면.. 딥러닝/논문리뷰 2021. 12. 5.