목록Gradient Descent (1)

Hello COCOBALL!

[DL] 경사 하강법(Gradient descent)

경사 하강법최적화 알고리즘 중 하나로, 함수의 값이 낮아지는 방향으로 독립변수들의 값을 변형시키면서 함수의 최소값을 갖는 독립변수의 값을 탐색하기 위해 사용된다. 주로 기계 학습 및 딥러닝 모델의 학습 과정에서 비용 함수를 최소화하는 데 사용된다. 경사 하강법의 기본 아이디어는 함수의 기울기를 활용하여 함수 값이 가장 작은 지점으로 이동하는 것이다. 최소값을 찾기 위해 손실 함수를 미분하여 미분계수가 0인 지점을 찾는 방법을 사용할 수 있지만, 일반적으로 사용되는 함수들은 간단한 함수가 아니라 대부분 복잡하고 비선형적인 패턴을 가지는 함수이기 때문에 미분을 통해 최소값을 찾기가 어려운 경우가 많아 손실 함수의 최소값을 찾을 때 경사 하강법을 주로 사용한다.특정 위치에서의 기울기가 양수인 경우 x를 음의 ..
Deep Learning 2024. 6. 25. 21:01
이전 Prev 1 Next 다음