목록leaky ReLU (1)

Hello COCOBALL!

[DL] 기울기 소실(Vanishing Gradient)

기울기 소실딥러닝에서 은닉층을 많이 추가할수록 학습이 더 잘 될 것 같지만, 실제로는 기울기 소실 문제때문에 그렇지 않다. 기울기 소실은 역전파(backpropagation) 과정에서 발생하는 문제로, 출력층에서부터 멀어지면 멀어질수록 기울기(gradient)가 점점 작아져서 결국 거의 0에 가까워지는 현상을 의미한다. 이렇게 되면 가중치가 업데이트 되지 않아 학습이 매우 느리거나 멈추게 된다. 기울기 소실 문제의 원인기울기 소실 문제는 주로 다음과 같은 이유로 발생한다. 1. 활성화 함수Sigmoid나 tanh와 같은 활성화 함수는 입력 값이 매우 크거나 작을 때 출력의 변화가 매우 작다. 예를 들어 Sigmoid의 도함수는 아래와 같다.여기서 σ(x)가 0 또는 1에 가까워지면 도함수가 0에 가까워진..
Deep Learning 2024. 6. 23. 21:20
이전 Prev 1 Next 다음