optimizer1 [딥러닝] 딥러닝의 Optimizer 정의 위의 그림을 보면 B지점이 Gradient가 최소가 되는 지점이다. 하지만 B지점을 찾지 못하고 A지점이 최소라고 모델이 결정 지을 수 있다. Loss로 보다 빠르고 안정적으로 수렴할 수 있는 기법이 Optimazer이다. Momentum 위의 식에서 바뀐 점은 앞의 momentum계수를 반영한 식이다. 가중치를 계속 Update 할 때마다 이전의 Gradient들의 값을 일정 수준으로 반영시키면서 신규 가중치로 Update 적용한다. 바로 이전의 가중치는 0.9, 그 이전은 0.81, 그 이전은 0.729로 시간이 오래 지날수록 반영을 적게 한다. 기존 SGD의 경우는 random 한 데이터를 기반으로 Gradient를 계산하므로 최소점을 찾기 위한 최단 스텝으로 가중치가 Update 되지 못하고.. 2022. 3. 8. 이전 1 다음
