클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

최적화 함수의 종류에 대해서 학습해 보는 중이다. 아직 배우지 않은 개념에 대해 이어서 학습을 진행해 본다.   경사하강법에 대하여  경사하강법에도 여러 종류가 있는데 이 부분을 이제 알아보기로 하자.    데이터가 많을 때는 모든 데이터를 업데이트할 수 없기에 확률적 경사하강법을 사용한다. 일반 경사하강법은 시간과 비용이 많이 드는 단점이 있다. 확률적 데이터를 군집 단위로 쪼개어 일부만 업데이트하는 방식이다. 하지만 확률적인 데이터를 사용하기에 비효율적인 학습을 할 수 있다.      SGD에서는 mini-batch라고 데이터를 쪼개서 사용한다. 이 값도 하이퍼파라미터로 조절할 수 있다.    확률적 경사하강법 적용해 보기  여기서 batch_size를 64로 하면 더 많은 데이터가 돌아갈 수 있다...

이제 딥러닝 수업이 하루치만 남아있다. 빠르게 학습을 마치고 다음 과목을 공부해보고 싶다.   딥러닝 개념 정리      오늘 학습할 개념들         1. 활성화 함수       초기에는 계단 함수를 사용했는데 문제가 발생한다.         2. 경사 하강법       이 기울기를 미분해서 구하는 것이다. 공식을 암기할 필요는 없지만 이 알파값이 Learning rate라는 것 정도는 알고 있어야 한다. 기울기가 급하면 내려가는 보폭이 커지는 것을 생각하면 된다. 만약 예측값이 10인데, 실제값이 15가 나왔다면 기울기를 왼쪽으로 이동해야 한다고 판단한다. 이때 얼마만큼 왼쪽으로 이동할지 결정하는 것이 Learning rate(학습률) 알파값이다.초기에는 랜덤값으로 설정이 되니 그때의 순간 기울기..