컴퓨터비전63 [딥러닝] ResNet 모델의 개요 및 특징 개요 앞서 소개한 VGG, AlexNet에서 층이 깊어질수록 모델이 좋아진다는 것이 증명되었습니다. 하지만 무작정 계속 늘리면 늘릴수록 좋을까요?? 그렇지 만은 않습니다. 위 그림을 보면 56층을 갖는 구조가 20층을 갖는 모델보다 더 에러가 많이 나왔습니다. ResNet저자들은 깊이를 늘릴 방법을 연구했고, input을 x라고 하고, 최적 함수를 H(x)라고 했을 때 H(x) = x 가 나오는 Convolution Layer가 identity 역할을 하게 생성하면 층을 계속 늘려도 성능이 저하되지는 않을 것이라고 추측하였습니다. 위의 그림을 보면 Identity block을 이렇게 구성하면 될 것 같은데 ReLU와 같은 비선형 Layer로 인하여 identity mapping이 어렵습니다. 그래서 나온.. 2022. 3. 20. [딥러닝] GoogLeNet(Inception) 모델의 개요 및 특징 구조 GoogLeNet은 22개의 층으로 이루어져 있습니다.. 파란색 블럭(Conv)의 층수만 세보면 22개의 층입니다. 겉으로 보기에 다른 모델보다 엄청 복잡해 보입니다. 하나하나 뜯어보겠습니다. Inception 모듈 위의 뭉텅이들이 전부 Inception 모듈들입니다. 이제 내부 구조를 살펴볼까요?? 내부 구조는 이렇습니다. 결합 1x1 Conv 1x1 Conv -> 3x3 Conv 1x1 Conv -> 5x5 Conv 3x3 max pooling -> 1x1 Conv 모든 결과를 채널을 기준으로 결합합니다. 결합 함으로써 여러가지 필터를 한꺼번에 합쳐 다양한 Feature Map을 가져올 수 있습니다. 근데 여기서 의아해 하실분들이 있습니다. 1, 4번의 구조는 상관이없는데 2, 3번의 구조를 1.. 2022. 3. 17. [딥러닝] VGG 모델의 개요 및 특징 특징 VGG모델은 네트워크의 깊이와 모델 성능 영향에 집중한 것입니다. 커널 사이즈를 Alexnet과는 다르게 3 x 3으로 고정하였습니다, 그 이유는 커널 사이즈가 크면 이미지 사이즈 축소가 급격하게 이루어져 깊은 층 만들기가 어렵고, 파라미터 개수와 연산량이 많이 필요하기 때문입니다. 작은 필터를 사용함으로써 더 많은 ReLU함수를 사용할 수 있고 더 많은 비선형성 확보할 수 있었습니다. AlexNet에서도 그랬듯이, 아래의 그림을 보면 깊이에 따라 모델 성능이 좋아짐을 알 수 있습니다. 1. 위의 3x3 커널을 2개 적용한 경우 3x3x2 = 18 개 2. 5x5 커널을 1개 적용한 경우 5x5 = 25 개 그림을 보면 3x3을 2번 적용함으로써 2번 추상화 시킬수 있고, 최종으로 5x5의 추상화도.. 2022. 3. 17. [딥러닝] AlexNet 모델의 개요 및 특징 특징 AlexNet은 2012년 당시 오차율이 제일 낮은 모델로 우승한 모델입니다. 지금은 그렇게 좋은 모델은 아니지만 저 당시에는 굉장한 정확도였다고 합니다. ReLU 이전에 보통 사용하던 뉴런 출력 함수는 주로 f(x)=tanh(x) ReLU가 보통 출력 함수들보다 몇 배 빠르기 때문에 이 거대한 neural networks의 실험을 가능하게 해줌 Overlapping MaxPooling으로 Overlapping Polling을 적용함, Local Response Normalization(LRN) AlexNet에서 처음 도입되었습니다. 활성화 함수를 적용하기 전에 Noramlizatino을 적용하여 함수의 결괏값에서 더 좋은 일반화 결과를 도출했습니다. 이미지의 인접 화소들을 억제시키고 특징을 부각합.. 2022. 3. 17. 이전 1 ··· 9 10 11 12 13 14 15 16 다음
