Let'em 9o Let'em 9o

Paper Review/Self-Supervised Learning

• Self-supervised learning of Split Invariant Equivariant representations

  Paper Review/Self-Supervised Learning 2023. 6. 28. 16:02

  Outline 1. Invariance-based: - Use augmentation preserving the semantic information of the image. - Enrich invariant representations by keeping information about the augmentations(*not semantic information), but there's no guarantee on the existence of a mapping between two representations. ㄴ What does it mean? 서로가 positive pair 라는 걸 망각할 수 있다. 2. Equivariance-based: - Being able to predict a rep..

  Read More
• Bootstrap your own latent: A new approach to self-supervised Learning

  Paper Review/Self-Supervised Learning 2023. 6. 6. 21:02

  모델 설명 이전 self-supervised learning 은 negative samples 를 이용한 contrastive learning 방식을 흔히 사용하였다. 하지만 해당 방식은 negative samples 가 얼마나 있느냐가 특징 표현의 성능을 좌지우지했고 많은 양의 samples 를 사용하는데 메모리 문제가 항상 뒤따라왔다. 더이상 negative samples 에 의존하지 않아도 되는 방법으로 해당 논문에서 BYOL 알고리즘을 새로 제안했다. 이는 자신을 복제시켜 선생(target)과 학생(online) 역할을 나누어 자기가 자기를 가르치는 일종의 knowledge distillation 방식의 학습 알고리즘이다. 하나의 input x 에 대해 서로 다른 augmented views 로부..

  Read More
• VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning

  Paper Review/Self-Supervised Learning 2023. 5. 10. 15:42

  1. 논문 제목: VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning 2. 논문 링크: https://arxiv.org/abs/2105.04906 배경 Self-supervised learning(SSL) 모델은 크게 세가지로 분류할 수 있다. ① Contrastive methods: SimCLR, MoCo ② Knowledge distillation(Stop-gradient operation): BYOL, SimSiam ③ Information maximisation methods: Barlow Twins 해당 논문에서 소개하는 새로운 모델 VICReg 은 ③번 카테고리에 속하고 Barlow Twins 와 ..

  Read More
• Barlow Twins: Self-Supervised Learning via Redundancy Reduction

  Paper Review/Self-Supervised Learning 2023. 5. 7. 17:56

  1. 논문 제목: Barlow Twins: Self-Supervised Learning via Redundancy Reduction 2. 논문 링크: https://arxiv.org/abs/2103.03230 (ICML'21) 배경: Contrastive method 를 사용하지 않는 Self-Supervised Learning (SSL) 은 동일 input 으로터 augmented(distorted) 된 두 샘플의 representations 가 constant representation vector 로 수렴하는 collapsing(trivial) solution 문제를 겪는다. (오로지 둘 사이의 비교로만 학습이 되고 둘의 representations 가 서로 비슷해지게 만드는 가장 쉬운 방법이 모든..

  Read More
• Exploring Simple Siamese Representation Learning

  Paper Review/Self-Supervised Learning 2023. 4. 30. 14:00

  - 논문 제목: Exploring Simple Siamese Representation Learning - 논문 링크: https://arxiv.org/pdf/2011.10566.pdf (CVPR'21) 1. 간단 소개 보통 Self-Supervised Learning(SSL) 모델은 augmented 된 두 inputs 사이에 similarity 를 최대화하는 방향으로 학습이 이루어진다. 모델은 두 inputs 의 representations 를 constant vectors(e.g. 모든 feature unit 이 0 으로 수렴)로 만드는 것이 가장 쉽게 similarity 를 최대화하는 방법이다. 이를 collapsing (or trivial) solution 문제라 부르고 이전 SSL 모델들은 해..

  Read More
• Momentum Contrast for Unsupervised Visual Representation Learning

  Paper Review/Self-Supervised Learning 2023. 4. 16. 23:57

  - 논문 제목: Momentum Contrast for Unsupervised Visual Representation Learning - 논문 링크: https://arxiv.org/pdf/1911.05722.pdf (CVPR 2020) 논문 간단 요약 Memory bank 와 같은 dictionary 기반의 contrastive learning architecture 를 새로 제안하는데 memory bank 와 차이점은 모든 데이터의 임베딩을 dictionary 안에 담아 사용하는 것이 아니라 정해진 크기의 dictionary 에 매 batch 데이터가 바뀔 때마다 key encoder 로부터 추출한 임베딩을 추가하거나 제거하는 지속적인 갱신을 통해 사용하는 것이다. 이 때, dictionary 의 크..

  Read More
• A Simple Framework for Contrastive Learning of Visual Representations

  Paper Review/Self-Supervised Learning 2023. 4. 14. 23:59

  - 논문 제목: A Simple Framework for Contrastive Learning of Visual Representations - 논문 링크: https://arxiv.org/pdf/2002.05709.pdf (ICML 2020) (1) 논문 요약 해당 논문은 contrastive self-supervised learning 을 위한 end-to-end learning 구조의 framework (SimCLR) 를 소개한다. 여러 data augmentation operations 보기 안에서 각 데이터 샘플마다 임의로 두 operations 를 추출해 data augmentation 을 진행한다. Contrastive learning 방식대로 같은 샘플로부터 augmented 된 데이터끼리..

  Read More
• A Survey on Contrastive Self-supervised Learning

  Paper Review/Self-Supervised Learning 2023. 4. 12. 15:39

  - 논문 제목: A Survey on Contrastive Self-supervised Learning - 논문 링크: https://arxiv.org/pdf/2011.00362.pdf 1. 들어가기에 앞서 1. Self-supervised learning 이 무엇인가? Human-annotated labels 를 의존하지 않고 모델 스스로 정의한 pseudo labels 를 통해 평가 및 피드백을 거쳐 feature representation 을 학습하는 모델 학습 방식 2. Self-supervised learning 이 등장하게 된 배경은? Supervised learning 은 학습을 위한 수많은 데이터가 annotation 되어야한다는 큰 부담감을 안고 있었다. 그러한 부담을 줄이기 위해서 모델..

  Read More