공돌하우스

ResNet skip-connection 본문

AI

ResNet skip-connection

전자둥이 2021. 5. 30. 20:45

안녕하세요 전자둥이입니다~ 이번에는 ResNet이라는 네트워크를 가지고 와봤습니다.

 

우선 ResNet은 마이크로소프트 팀이 개발한 네트워크입니다. 

 

ResNet이 세상에 나오기 전까지는 네트워크 층을 깊게 하는 것만이 성능 향상에 중요한 포인트였지만 너무 깊게하다보니 오히려 성능이 떨어지는 현상이 발생했습니다. ResNet은 이러한 문제점을 해결하기 위해 skip connection을 도입하게 됩니다.

 

skip connection의 도입으로 전보다 좀 더 깊은 층을 쌓게되더라도 성능이 떨어지는 현상이 현저히 줄게 되었습니다.(하지만 여저힌 너무 깊게 설계하면 성능이 떨어지는 현상이 발생합니다.)

skip connection

skip connection은 그림과 같이 입력 데이터를 합성곱 계층을 건너뛰어 출력에 바로 더하는 구조입니다.

skip connection이 층이 깊어져도 학습을 효율적으로 도와줄 수 있는 이유는 역전파 때 스킵 연결이 신호 감쇠를 막아주기 때문입니다.(즉 층을 깊게 할수록 기울기가 작아지는 소실 문제를 이 스킵 연결이 줄여주는 것입니다.)

 

이상으로 resnet에서 중요 포인트인 skip connection에대해 알아봤습니다. 해당 스킬은 최신 네트워크에서도 계속 사용되고있으며 네트워크를 커스텀마이징하고싶을 때 사용하면 좋은 skill입니다~

 

'AI' 카테고리의 다른 글

[딥러닝]SSD모델 default anchor box 그려보기  (0) 2021.09.03
Distance-IOU Loss  (0) 2021.07.25
자연어 처리 중 wordnet  (0) 2021.06.20
[딥러닝] Activation Function 소개  (0) 2021.06.04