최근 self-supervised learning은 pretext task 기반의 방법에서 contrastive learning 방법으로 중심을 옮겨가면서 연구가 꾸준하게 이루어지고 있다. Contrastive learning은 self-supervised learning에 positive & negative sample 개념을 도입함으로써 분명 많은 성능 개선을 이루어냈다. 하지만 negative sample을 사용할 때 배치 사이즈 크기나 증강기법 선택 등에 따른 성능 편차가 크게 나타나기 때문에 학습 시 고려해야할 점이 많다는 문제 또한 가지고 있다. 이번 세미나에서는 positive sample만을 사용함으로써 기존 contrastive learning의 한계점을 극복한 self-supervised learning 방법론인 bootstrap your own latent (BYOL) 에 대해서 알아보고자 한다.
[1] Grill, J. B., Strub, F., Altché, F., Tallec, C., Richemond, P. H., Buchatskaya, E., ... & Valko, M. (2020). Bootstrap your own latent: A new approach to self-supervised learning. arXiv preprint arXiv:2006.07733.
[2] Richemond, P. H., Grill, J. B., Altché, F., Tallec, C., Strub, F., Brock, A., ... & Valko, M. (2020). BYOL works even without batch statistics. arXiv preprint arXiv:2010.10241.
[3] He, K., Fan, H., Wu, Y., Xie, S., & Girshick, R. (2020). Momentum contrast for unsupervised visual representation learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9729-9738).
[4] Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020, November). A simple framework for contrastive learning of visual representations. In International conference on machine learning (pp. 1597-1607). PMLR.