전체 글
-
Learning Imbalanced Data with Vision TransformersPaper Review/Out-of-Distribution 2023. 6. 30. 17:52
Outline * Why is Long Tail Recognization (LTR) a challenging task? The data paucity(scarcity) also results in the model overfitting on the tail with unaccepted generalization. * 우리가 논문에서 얻어가야 할 것 "어떻게 train ViTs from scratch with LT data" * ViT 가 겪는 문제 in imbalance settings 일반화를 위해 추가적인 가정(inductive bias)을 만듦. 그런데 그 와중에 데이터 셋 안에 label bias 가 동시에 존재하는 상황. Inherent bias(data bias)를 극복해야하는 상황에서 추가적..
-
Self-supervised learning of Split Invariant Equivariant representationsPaper Review/Self-Supervised Learning 2023. 6. 28. 16:02
Outline 1. Invariance-based: - Use augmentation preserving the semantic information of the image. - Enrich invariant representations by keeping information about the augmentations(*not semantic information), but there's no guarantee on the existence of a mapping between two representations. ㄴ What does it mean? 서로가 positive pair 라는 걸 망각할 수 있다. 2. Equivariance-based: - Being able to predict a rep..
-
Generalizing from a Few Examples: A Survey on Few-Shot LearningPaper Review/Few-shot Learning 2023. 6. 25. 13:52
1. Few-shot Learning 이란? 컴퓨터 프로그램이 태스크 관련 데이터를 바탕으로 해당 태스크를 수행했을 때 나온 결과(e.g. 정확도)를 토대로 스스로 피드백하며 학습(machine learning)하는 상황에서 매우 적은/제한된 데이터(with supervised information) 밖에 안 주어졌을 때의 학습을 few-shot learning(FSL) 이라고 한다. 종종 N-way K-shot problem 을 볼 수 있는데, 이는 N 개의 class, 그리고 각 class 안에 K 개의 examples 가 포함된 학습 데이터가 주어진 문제라는 의미다. 어떻게 컴퓨터 프로그램이 극히 적은 데이터만으로도 태스크 학습이 가능한지 궁금할텐데, 실제 태스크 학습에 도움이 될지 안 될지 모르는..
-
On Uncertainty, Tempering, and Data Augmentation in Bayesian ClassificationPaper Review/Out-of-Distribution 2023. 6. 20. 13:19
이 논문은 Aleatoric uncertainty (데이터 상에 존재하는 불확실성) (e.g. noise in regression, mislabelled points in classification) 에 대한 가정을 분명히 세울 수 있는 것이 예측 정확도를 높이는 데뿐 아니라 불확실성의 예측력을 높이는데 있어 매우 중요하다고 말한다. 여기서 분명히 세운 가정은 aleatoric uncertainty 에 대해 직접적으로 수치화할 수만 있으면 여러 가지가 될 수 있는데, 여기 논문에서는 "label noise 가 얼마나 있을 것이다" 의 직접적인 수치화를 다룬다. 논문 내에서 "가정을 분명히 세우는 것"을 "express our assumptions", "express our beliefs", "reflec..
-
[PS#0] CS229: Machine Learning (Autumn 2018)Notes/Machine Learning 2023. 6. 19. 21:33
Problem #1: https://github.com/taezun/cs229-fall-2018/blob/main/cs229%20PS0/1.%20Gradients%20and%20Hessians.ipynb Problem #2: https://github.com/taezun/cs229-fall-2018/blob/main/cs229%20PS0/2.%20Positive%20definite%20matrices.ipynb Problem #3: https://github.com/taezun/cs229-fall-2018/blob/main/cs229%20PS0/3.%20Eigenvectors%2C%20eigenvalues%2C%20and%20the%20spectral%20theorem.ipynb Resource - Le..
-
Bootstrap your own latent: A new approach to self-supervised LearningPaper Review/Self-Supervised Learning 2023. 6. 6. 21:02
모델 설명 이전 self-supervised learning 은 negative samples 를 이용한 contrastive learning 방식을 흔히 사용하였다. 하지만 해당 방식은 negative samples 가 얼마나 있느냐가 특징 표현의 성능을 좌지우지했고 많은 양의 samples 를 사용하는데 메모리 문제가 항상 뒤따라왔다. 더이상 negative samples 에 의존하지 않아도 되는 방법으로 해당 논문에서 BYOL 알고리즘을 새로 제안했다. 이는 자신을 복제시켜 선생(target)과 학생(online) 역할을 나누어 자기가 자기를 가르치는 일종의 knowledge distillation 방식의 학습 알고리즘이다. 하나의 input x 에 대해 서로 다른 augmented views 로부..