[ML] Cost Function Optimization – Gradient Descent
Gradient Descent Introduction ◼ 기계 학습 모델(알고리즘)은 일반적으로 일련의 매개 변수(가중치, 계수)를 포함하는 비용 함수를 갖는다. ◼ 많은 기계 학습 문제는 비용 함수를 최소화하는 모델에 대한 가중치 집합을 찾는 것으로 감소한다. ◼ 경사 하강법은 기계 학습 모델을 훈련하기 위해 가장 널리 사용되는 알고리즘 중 하나이다. ◼ 비용 함수를 최소화하는 함수의 매개변수(계수) 값을 찾는 최적화 알고리즘이다. ◼ 매개변수를 분석적으로 계산할 수 없기 때문에 사용된다. 비용 함수는 포물선에 대한 방정식이다. 이는 아래와 같이 표시된다. 목표는 J(W)를 최소화하는 값 W 집합을 찾는 것이다. 비용 함수에 대한 랜덤 초기 가중치(W)로 시작하여 global한 최소값에 도달할 때까지 ..
machine learning
2022. 12. 17. 10:24