가중치 초기화1 [딥러닝] 가중치 초기화(Weight Initialization) 가중치 초기화의 중요성 왼쪽 그림은 평균이 0 표준편차가 1 인 경우이고, 오른쪽 그림은 평균이 0 표준편차가 0.01인 경우이고. 각각 시그모이드 함수를 적용하였다. 왼쪽 같은 경우에는 값이 0과 1에 수렴되고, 오른쪽은 0.5에 수렴된다. 뉴런 네트워크에서 backpropagation으로 가중치를 업데이트할 경우 활성화 함수의 출력 값이 0이나 1에 가까운 값이면 업데이트가 이루어지지 않고, 뉴런의 활성화 함수의 출력 값이 비슷하면 여러 개로 구성하는 의미가 사라지게 된다. Xavier Glorot Initialization 이전 노드와 다음 노드의 개수에 의존하는 방법이다. Uniform 분포, Normal분포 이 두가지 방법이 사용된다. 이전에 Random으로 주어졌을 경우보다 더 고르게 퍼져있음.. 2022. 3. 13. 이전 1 다음
