영상기반 강화학습 알고리즘 SAC+AE 논문 리뷰

본 논문에서는 영상을 입력으로 사용하면서도, 기존의 강화학습 알고리즘이 효과적으로 동작할 수 있는 방법을 제시한다

 

핵심은 기존의 one stage로 접근하는 방식이 아닌, auxiliary loss를 활용하여 two stage로 접근하는 방식이다

 

VAE를 사용하여 영상의 representation을 효과적으로 학습하고, 영상 입력(one stage) 대신 VAE의 encoder로 거쳐 나온 latent representation을 입력으로 사용한다.

이때 AE가 아닌 VAE를 사용하는 이유에 대해 설명하자면, VAE는 AE와 마찬가지로 reconstruction loss를 사용하면서 추가적으로 KL divergence loss를 사용한다. 이를 통해서 latent representation의 분포를 정규 분포를 따르도록 하는데, 이를 통해 latent representation은 더 구조화된 공간을 갖게 된다. 이는 학습의 안정성을 향상 시킬 수 있다

- 예를 들어, -100과 100사이의 무작위 분포를 갖는 경우와 (0,1)의 정규 분포를 갖는 경우를 생각해보자 (보충 설명 필요)

 

학습 시 주의할 점은, beta 항의 상수를 적절히 조절해서 KL divergence loss가 발산하지 않도록 하는 것이다

필자는 . . 그것을 확인하지 못하고 학습이 안된다며 며칠을 날렸던 적이 있다 ㅠ ㅠ