Study With Inha

ICLR 2024, Interpreting CLIP's Image Representation via Text-Based Decomposition 논문 링크: https://openreview.net/attachment?id=5Ca9sSzuDp&name=pdf프로젝트 페이지 링크: https://yossigandelsman.github.io/clip_decomposition/ 1. Introduction최근 많은 논문들에서 거대한 Text, Image Pair로 학습시킨 CLIP 모델을 활용하는 후속 연구들을 진행하고 있다.본 논문에서는 CLIP의 이미지 인코더를 분석하여 모델의 각 구성 요소가 final representation에 미치는 영향을 해석 가능한 텍스트로 설명하고 있다.먼저, Attentio..

Google Research, NeurIPS 2023 acceptedStableRep: Synthetic Images from Text-to-Image ModelsMake Strong Visual Representation Learners논문 링크: https://arxiv.org/pdf/2306.00984.pdf StableRep은 NeurIPS 2023에 accept된 논문으로 LG AI Research에서 정리한 NeurIPS 2023 주요 연구주제에 선정된 논문이다.LG AI 리서치 블로그: https://www.lgresearch.ai/blog/view?seq=379 [NeurIPS 2023] 주요 연구 주제와 주목할 만한 논문 소개 - LG AI Research BLOGNeurIPS 2023,..

Meta AI (현 메타 에이아이, 구 페이스북), Facebook Research team (FAIR) IMAGEBIND: One Embedding Space To Bind Them All 논문 링크: https://arxiv.org/pdf/2305.05665.pdf 1. Introduction 최근 Segment Anything Model (SAM) 이라는 것을 발표한 Meta AI에서 또 다른 논문을 발표했다. 2023년 5월 9일 아카이브에 올라온 최신 논문인데, 신선한 아이디어를 제시하고 있어 리뷰할 논문으로 선정했다. 이 논문에서 제시하는 'ImageBind'는 여러가지 모달리티들의 embedding을 하나의 공통 space에 정렬함으로써 긴밀한 관계를 형성하고, 이를 통해 다양한 multi-..