[딥러닝] 미세 조정(Fine Tuning)

전이 학습(Transfer Learning)

 

전이 학습은 사전에 학습이 된 모델의 가중치를 가져오는 것입니다. 우리가 동물을 분류하는 모델을 만든다고 가정하였을 시, 그 여러 가지 데이터를 수집하고 만드는 데는 엄청난 시간과 비용이 들것입니다. 하지만 이미 동물을 분류하는데 특출난 가중치만 가지고 있다면 어느 동물의 사진을 넣든 그 동물을 분류하는데 최적화될 것입니다. 우리가 만약 개와 고양이 두 마리의 동물을 분류한다고 가정하면, 모델의 ImageNet Pretrained을 커스텀 모델로 활용하고, 마지막 Classification Layer의 분류가 1000개이기 때문에 이것만 개와 고양이 2개의 Layer로 커스터마이징 해주면 될 것입니다.

원본 모델, ImageNet Pretrained

Classification Layer를 dog, cat 2개의 분류로 커스터마이징 한 모델

 

미세조정(Fine Tuning)

 

미세 조정(Fine Tuning)은 Pretrained 된 모델의 커스텀 모델로 활용할 시, Feature Extractor 내의 가중치값의 급격한 변화를 제어하기 위해 적용한 기법입니다.

 

Feature Extractor를 Freeze

• 해당 Layer들을 Freeze 시켜서 학습에서 제외합니다. (이러면 역전파(backpropagation)로 가중치가 업데이트되는 것을 막습니다.)
• 일반적으로 BatchNoramlization Layer는 Freeze 시키지 않습니다.
• 1단계 보다 Learning Rate를 감소시켜서 적용합니다.
• 개별 클래스 별로 데이터 건수가 작을 경우 권장.(오버 피팅 개선 효과)