Study With Inha

MIT CSAIL, T. Wang et al, Dataset Distillation, 2018 논문 링크: https://arxiv.org/pdf/1811.10959.pdf 1. Introduction 일반적으로 딥러닝에서는 대용량의 데이터셋으로 큰 모델을 학습시키는 것이 좋은 성능을 내고 있다. 하지만 그 경우 많은 메모리, 노동력, 시간 등등의 자원이 필요하므로 효율성 측면에서 좋은 학습 방법이라고 말하기는 어렵다. 그래서 많은 연구진들이 적은 자원으로 최대한의 효율을 낼 수 있는 방법론들에 대한 연구를 진행했고, 본 논문에서 소개하는 'Dataset Distillation (데이터셋 증류)' 도 그 중 하나라고 볼 수 있다. 데이터셋 증류란 대규모 데이터셋을 대표되는 몇 장의 합성 이미지로 압축한 ..