반응형
DNN training
-
epoch / batch / iteration1) Tech 2020. 2. 28. 00:11
DNN을 연구하다보면 많은 단어들이 생소할것입니다. DNN training 실제 코드를 돌려보면 epoch / batch / iteration 와 같은 단어들이 자주 보입니다. 저는 보다 이해하기 쉬운 저만의 언어로 표현하는게 중요하다고 생각하여 이렇게 작성합니다. 1. epoch = CNN기준, training set(수만~수백만개)의 모든 image data가 한 번씩 training(forward propagation + Backpropagation)을 진행한 상태 2. batch size = DNN training에서 gradient를 계산할때, 매 iteration마다 training set에서 가져오는 일부 image data의 양 3. iteration = GPU memory(GDDR)의 한..