손실함수(Loss Function)

I. 손실함수의 개요

가. 손실함수(Loss Function)의 정의

   - 신경망의 지도학습에서 학습 데이터에 대한 오차를 측정하는 척도

나. 손실함수의 사용목적

- 신경망에서 가중치와 편향을 최적화 할 때 손실함수의 값을 가능한 작게 하는 값을 찾는다. - 이때 미분(기울기)을 활용하고, 그 미분 값을 단서로 가중치와 편향 값을 서서히 갱신한다.

---

II. 손실함수의 종류

종류	설명
평균 제곱 오차 MSE (Mean Squared Error)
		- 각 원소의 출력과 정답 레이블의 차의 제곱에 평균을 취한 것 - 정답의 출력과 정답이 아닌 출력의 오차를 모두 계산
교차 엔트로피 오차
		- 정답이 아닌 출력 노드의 레이블 값은 0이므로 정답일 때의 출력만 전체 손실 값을 정하는데 사용 - 자연로그 그래프 - x가 1일 때 y는 0 - x가 0에 가까워질수록 y값은 작아진다. - x가 0이면 y는 –inf(무한대)가 된다