딥러닝 비전 5 - 학습 알고리즘

OR 데이터셋을 분류하는 그림 7-11b와 XOR 데이터셋을 분류하는 그림 7-15b의 신경망에서는 사람이 가중치를 설정했다. 다시 말해 신경망 학습을 사람이 수행했다. 매우 작은 문제라 사람이 학습을 대행했는데, 실제 데이터셋은 복잡하여 학습 알고리즘을 사용해야 한다.

---

 

 

 

1. 발상

 

 

 

처음에는 가중치를 어떻게 설정해야 높은 정확률을 얻을 수 있는지에 대한 아무런 실마리가 없다. 따라서 가중치를 난수로 설정하고 출발한다. 그리고 출분히 높은 정확률을 달성하거나 더 이상 개선이 불가능하다고 여져질 때까지 정확률을 향상하는 방향으로 가중치 갱신을 반복한다. 이런 발상에 대해 형식을 갖춰 쓰면 알고리즘 7-1이 된다.

 

 

---

 

 

 

 

2. 스토캐시틱 경사 하강법

 

경사하강법 기초

경사하강법은 미분값을 보고 함수가 낮아지는 방향을 찾아 이동하는 일을 반복하여 최저점에 도달하는 알고리즘이다. 예시 7-5는 단순한 예를 가지고 경사하강법을 설명한다.

 

 

---

 

 

 

 

스토캐스틱 경사하강법으로 확장

 

 

미니 배치를 사용하는 확장된 경사하강법을 경사하강법이라고 한다. 보통 줄여서 SGD라 부르며, 신경망에서 가장 오랫동안 애용해온 최적화 방법이다. 신경망에서는 최적화 방법을 옵티마이저라고 한다. 이후 모멘텀과 적응적 학습률을 이용하여 SGD를 개선한 Adam, AdaGrad, RMSprop 옵티마이저 등이 등장한다.

---

 

 

 

역전파

 

 

 

 

---

 

 

 

 

학습을 마치고

이번 학습도 가볍게 이런 게 있구나 하고 넘어갔다. 무척 어려운 내용이고 미분도 나와서 고등학교 때 수학을 열심히 하지 않았던 난 지금은 하나도 생각이 나지 않기도 한다. 그래도 난 이과를 선택한 것을 그 시절 최고의 선택이라고 자부한다. 그리고 3학년 때 전과를 했지만 물리학과를 가게 된 것도 분명 큰 뜻이 있었다는 것도 지금에 와서 알게 되었다.

 

이제 다음 포스트에서는 실습에 들어가게 된다. 이론만 공부하니 많이 지루했다. 이제 실습을 통해 길과값을 바로 확인해볼 수 있을 것 같다.