Gradient

I. Gradient의 개요

가. Gradient의 정의

   - 텐서 연산의 변화율로 입력벡터 x, 가중치행렬 w, 타겟 y, 손실함수 loss가 있다고 가정하면 y-pred와 y-사이에 오차 계산 가능

나. Gradient의 개념도

- y_pred = dot(W, x) - loss_value = loss(y_pred, y) - loss_value = f(W) - W의 현재 값이 W0이면 W0에서 f(W0)의 변화율은 gradient(f)(W0) 즉, W0에서의 f(W)의 기울기 텐서. 따라서 변화율의 반대방향으로 x를 조금만 움직이면 f(x)의 값을 감소시킬 수 있다.