딥러닝12

• 

  [Active Learning] Lightly ai, Active Learning 이란? 본 포스팅은 lightly ai 블로그 글의 요약 + 사견을 담고 있습니다. An overview of Active Learning methods (lightly.ai) An overview of Active Learning methods Learn about the advantages and disadvantages of Active Learning methods and which of them solves your problem. www.lightly.ai Why Active Learning? 라벨링에는 돈과 시간이 든다. 요즘엔 데이터를 수집할 수 있는 환경이 아주 잘 구축 되어있다. 하지만, 그 데이터를 전부 라벨링하고 저장하고 관리한다는 것은 현실적으로 불가능하다. 그래서 수집된 상태의 데이터,.. 딥러닝/기타 2023. 3. 1.

• 

  YOLO 가 세상을 지배한다!!! 딥러닝에 조금이라도 관심이 있는 사람이라면 Yolo 는 한 번쯤 듣거나 사용한 경험이 있을 것이다. 이유가 무엇일까? 성능이 좋아서? 물론 그것도 맞겠지만 Yolo 가 성공(?)한 이유는 쉬운 사용성에 있다. 이제 인공지능 시작하는 친구들에게는 미안한 이야기지만 어디가서 Yolo 해봤다 라고 말하지 말자. 개인적으로 별로 안 좋아 보인다. python 해봤냐는 질문에 print 해봤다! 랑 똑같은 말인 것 같다. 하고 싶었던 말은 "Yolo 는 너무 쉽다!" 이다. 그냥 사용하면 된다. 이것이 세상을 지배하는 첫 번째 단추이다. 누구든 알고 있는(알고 있다고 착각하게 만드는) 친숙한 인공지능 이기 때문이다. 이런 친숙함에서 오는 장점은 한 두가지가 아니다. SOTA Detector 가 나와도 사람들은 Y.. 딥러닝/기타 2023. 1. 23.

• 

  [ChatGPT] 입으로 TODO App 개발 요즘 ChatGPT 가 매우 핫 합니다. 이제 언어 모델이 통역, 문법 교정, 추천 시스템 등을 뛰어 넘어 어느정도 Chat 이 가능한 수준까지 올라왔습니다. 이 포스팅에서는 ChatGPT 를 제가 직접 사용해보고 이게 뭔지, 어떻게 사용할 수 있는지를 다룹니다. ChatGPT? ChatGPT 는 무지막지한 양의 데이터를 사용하여 학습한 "언어 생성 모델" 입니다. 직접 사용해보면 구글링해서 나오는 상위 노출 결과물 10개 정도를 잘 모아서 정리해서 알려주는 느낌입니다. 다시말해 뭔가 엄청나게 잘 생성해서 놀라울 정도로 잘 대답해 주지만 일반적으로 상상하는 인간을 지배할 AI 는 절대 아닙니다. "전교 1등" 제가 생각하는 한계점을 두가지 정도입니다. 1. 봤던 데이터 기반으로 대화를 생성하기 때문에 최.. 딥러닝/기타 2023. 1. 1.

• 

  [수학] Mahalanobis Distance 언제 쓸까 평소에 사용하는 많은 Distance 들이 있지만 anomaly detection 분야를 공부하면서 이름이 괴상한 Mahalanobis Distance라는 놈을 만났습니다. 이 Distance가 어떤 의미이고 언제 써야하는지 간략하게 느껴보겠습니다. 언제나 그랬듯이 야매입니다. 식 점 x와 분포 Q사이의 거리인데 공분산 역행렬 S^-1이 추가 되었습니다. 공분산 역행렬을 빼면 Euclidean Distance와 동일합니다. 의미 "어떤 점과 분포 사이의 거리" 초록점과 파란 분포사이의 거리를 어떻게 구할까요? 가장 가까운 파란점과의 거리를 구할 수도 있겠지만, 분포와의 거리니까 특정 점보다는 분포를 대변하는 어떤 특정 값을 사용하여 거리를 구하는게 조금 더 자연스러울 것입니다. 파란점들의 평균에 빨간점을.. 딥러닝/기타 2022. 9. 16.

• [논문리뷰] Understanding Dimensional Collapse in Contrastive Self-supervised Learning 보호되어 있는 글 입니다. 2022. 5. 26.

• 

  [논문리뷰] MUM: Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection 오늘은 Semi-Supervised Object Detection을 위한 strong augmentation을 제안한 논문을 리뷰하고자 합니다. [2111.10958] MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection (arxiv.org) MUM : Mix Image Tiles and UnMix Feature Tiles for Semi-Supervised Object Detection Many recent semi-supervised learning (SSL) studies build teacher-student architecture and train the student network by the gen.. 딥러닝/논문리뷰 2022. 3. 13.

• 

  [논문리뷰] ESRGAN: Enhanced Super-Resolution Generative Adversarial Network 이전 논문리뷰를 기반으로 설명해야해서 안 읽으신 분들은 한번 가볍게 보고 오시는 것을 추천합니다. https://zeroact.tistory.com/entry/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-Photo-Realistic-Single-Image-Super-Resolution-Using-a-Generative-Adversarial-Network [논문리뷰] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 요즘 Super Resolution을 공부하기 시작해서 앞으로 SR 관련 논문 리뷰를 하게 될 것 같습니다. 이 논문 이전에 base가 되는 논문들이 있지만, 내용이 딱히.. 딥러닝/논문리뷰 2022. 1. 17.

• 

  [논문리뷰] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 요즘 Super Resolution을 공부하기 시작해서 앞으로 SR 관련 논문 리뷰를 하게 될 것 같습니다. 이 논문 이전에 base가 되는 논문들이 있지만, 내용이 딱히 어렵지 않아서 그냥 필요할 때 키워드만 찾아보면 될 것 같아서 건너뛰고 GAN부터 시작하겠습니다. 최근에 좀 바빠져서 이제 각 파트별로 자세히는 못 다루고 정말 핵심이라고 생각되는 부분만 골라서 리뷰하겠습니다. Abstract (2017년 기준) 최근 SR 모델들이 깊어지고 빨라지는 등 많은 발전이 있었으나, upscaling factor가 클 때 어떻게 세밀한 texture를 복원할 것인지에 대한 문제는 여전히 남아 있습니다. 기존 optimization based 방법론 (L1, L2 loss 기반 최적화) 들은 PSNR에서는 큰 .. 딥러닝/논문리뷰 2022. 1. 16.

• 

  [논문리뷰] Squeeze-and-Excitation Networks 요즘 Transformer 계열의 무언가들이 막 쏟아져 나오고 있죠... 그중 CNN을 대체할 수 있다는 ViT 모델에 대한 연구도 매우 활발히 이루어 지고 있습니다. 추후에 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 논문도 다루게 될 것 같습니다. 이 Transformer라는 녀석은 Self-attention이라는 메커니즘을 전적으로 활용하는 모델입니다. Transformer 관련 공부를 하면서 대충 입력이 뭐고 출력이 뭐고 계산이 어떻게 되고는 이해를 했지만, 본질적인 Attention 메커니즘이 와닿지 않았습니다. Attention 자체는 Transformer 에서 처음 소개된 것이 아니기 때문에 관련 연구가.. 딥러닝/논문리뷰 2022. 1. 2.

• 

  Auto Encoder와 Variational Auto Encoder의 직관적 차이 VAE가 AE보다 좋다...? 학습도 이렇게.. 저렇게.. 하면 된다...? 정도만 알고 있었습니다. 누군가 둘이 뭐가 다르냐고 물어 봤을 때, "VAE가 AE 보다 좋아요" 라고만 말했던 기억이 있네요... 오늘은 이 답답함을 해소하고자 둘의 차이에 대한 직관적인 이해를 해보려 합니다. 이번 포스팅은 VAE와 AE의 차이에 대한 직관적 이해만을 목표로 합니다. Understanding Variational Autoencoders (VAEs) | by Joseph Rocca | Towards Data Science Understanding Variational Autoencoders (VAEs) Building, step by step, the reasoning that leads to VAEs. tow.. 딥러닝/기타 2021. 12. 18.

• 

  [논문리뷰] Unsupervised Cross-Domain Image Generation 오늘은 Gan 논문 입니다. Style Transfer와 기본적인 Gan에대한 지식이 있으시다면 읽으시는데 큰 어려움이 없을 것 같습니다. 0. Abstract 일단 domain 이 무엇인지 모르시는 분들은 웹사이트 들어갈 때 쓰는말 아닌가.. 하실수 있습니다만, 여기서 domain의 의미는 모음집 이라고 이해하면 편할 것 같습니다. 사실 정의하기 나름이라 기준이 모호한데요 예를 들어드리겠습니다. 예를 들면, 카메라로 찍은 사진들과 연필로 그린 그림들이 있고 이 둘을 구분짓는다면 다른 domain 입니다. 꼭 카메라, 연필로 구분되는 것이 아니라, 카메라로 찍은 사진들이 있는데, 초록 배경이 대부분을 차지하는 숲 사진과 하얀 배경이 대부분을 차지하는 북극 사진이 있다고 하면 이 또한 다른 domain으로.. 딥러닝/논문리뷰 2021. 12. 15.

• 

  [논문리뷰] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles 오늘은 transfer learning을 위한 사전학습을 하는 아이디어를 제안한 논문을 살펴 보겠습니다. 이런 퍼즐 아시죠? 모델이 이 Jigsaw Puzzle 문제를 풀도록 학습하는 것이 사전학습에 도움이 된다고 합니다. 2017년에 나온 비교적 오래된 논문이지만 아이디어가 재밌어서 읽게 되었습니다. 1 Abstract. 2 Introduction. 저자는 self-supervision을 원칙을 따라 Jigsaw puzzle을 푸는 모델을 학습함으로써 이 모델을 다른 목적에 맞게 repurpose 할 수 있다고 합니다. 여기서 self-supervision은 레이블링이 필요 없다는 말이고 repurpose는 전이학습을 의미합니다. 이 방식으로 사전학습을 하는 것이 AlexNet보다 파라미터 수도 적으면.. 딥러닝/논문리뷰 2021. 12. 5.