오류 역전파(Backpropagation) 알고리즘

다층신경망, 입력층, 은닉층, 출력층, 가중치, 경사하강

---

I. 인공신경망의 가중치 학습 최적화, 역전파 알고리즘의 개요

가. 오류 역전파(Backpropagation) 알고리즘의 정의

   - 인공신경망의 출력 값이 원하는 출력과 다를 경우, 가중치를 갱신하여 오차를 최소화 시키도록 반복 수행하여 신경망을 학습시키는 알고리즘

   - 특징: 반복수행, 다층신경망, 감독학습, 역방향 계산

---

II. 오류 역전파 알고리즘의 학습 설명

가. 오류 역전파 알고리즘의 프로세스

- 출력층의 결과를 비교하여 오차가 있을 경우 역전파 하여 은닉층의 가중치를 조정하여 갱신

나. 오류 역전파 알고리즘의 학습절차

단계	특징	설명
1) 피드포워드	가중치 초기화	- 입력층à출력층으로 순전파 수행
2) 오류 역전파 계산	미분(예상값-실제값)	- 출력층 오류 최소화하는 가중치 탐색 (0.6) - 출력층에서부터 역방향 진행
3) 가중치 조정	에러 최소평균제곱의 미분	- 학습률만큼 수정한 가중치로 조정 - 오차값 0.6을 3.2로 배분하여 0.36, 0.24로 갱신
4) 반복 수행	N회 epoch 수행	- 목표 도달 시 까지 위 과정 반복

- 다층 신경망에서 경사하강(Gradient Descent)을 수행하는 핵심 알고리즘

---

III. 오류 역전파 알고리즘의 문제점과 해결방안

구분	항목	설명
문제점	Sigmoid 함수의 문제	- 계단형식 함수를 미분 가능하도록 곡선화 - 기울기 문제 (Vanishing gradient problem) 발생
해결방안	ReLU 사용	- x값이 0이하이면 0을 출력, 0이상이면, 비례함수 적용 - max(0,x) 함수 사용