뉴런의 표현 , 활성화 함수 , 손실 함수 , 경사하강법

신경망의 역전파는 우선 출력값과 정답값을 손실함수로 오차를 구한다.

그리고 경사하강법으로 오차를 바탕으로 가중치와 편향을 수정한다.

---

 

 

• 1. 계단함수

 

 

• 2. 시그모이드 함수

 

 

• 3. 하이퍼볼릭 탄젠트

 

 

• 4. ReLu 

 

 

• 5. Leaky ReLu

alpha는 임의 설정

 

 

• 6. 항등함수

y = x

 

 

• 7. softmax 함수
  • 주로 분류문제에서 사용하는 비선형 함수임

 

 

 

---

손실 함수 = 오차 함수 = 비용 함수

• 신경망에서 결과로 출력되는 여러 값들은 각각 정답이 존재한다.
  이때, 출력값과 정답의 오차를 정의하는 함수를 손실함수라고 한다.
• 오차값이 클수록 신경망의 정답률이 떨어짐을 의미
  • 학습은 이러한 오차값을 줄여야한다.

 

• 1. 오차제곱합 SSE ( sum of squares for Error )

 

• 2. 평균 제곱 오차 MSE ( Mean Square Error , MSE )

 

• 3. 평균 제곱근 오차 RMSE ( Root Mean Square Error )

 

• 4. 교차 엔트로피 오차 CEE ( Cross Entropy Error )

y = -logx 그래프

 

 

 

---

경사하강법

• 오차를 차례대로 이전 층으로 전파시켜서, 가중치와 편향을 조금씩 수정하면서 최적화 하는 알고리즘
• 종류
  • 확률적 경사 하강법 SGD
  • 미니 배치 경사 하강법
  • 모멤텀 기반 경사 하강법
  • Adam ( Adaptive Moment Estimation )
  • RMSProp ( Root Mean Square Propagation )