클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

이제 딥러닝 수업이 하루치만 남아있다. 빠르게 학습을 마치고 다음 과목을 공부해보고 싶다.   딥러닝 개념 정리      오늘 학습할 개념들         1. 활성화 함수       초기에는 계단 함수를 사용했는데 문제가 발생한다.         2. 경사 하강법       이 기울기를 미분해서 구하는 것이다. 공식을 암기할 필요는 없지만 이 알파값이 Learning rate라는 것 정도는 알고 있어야 한다. 기울기가 급하면 내려가는 보폭이 커지는 것을 생각하면 된다. 만약 예측값이 10인데, 실제값이 15가 나왔다면 기울기를 왼쪽으로 이동해야 한다고 판단한다. 이때 얼마만큼 왼쪽으로 이동할지 결정하는 것이 Learning rate(학습률) 알파값이다.초기에는 랜덤값으로 설정이 되니 그때의 순간 기울기..

이어서 다중분류 실습을 진행해 본다. 이제 모델링 학습을 하고 평가하는 부분이 남아있다.    다중 분류 실습 이어서      모델이 예측한 데이터와 정답 데이터가 달라서 오류가 발생한다. 이때는 shape를 낮춰주어야 한다.     선생님의 코드대로 실행을 했는데 오류가 뜨며 모델이 평가되지 못하고 있었다. 이 부분은 설명을 안 해주셔서 자료를 찾아보며 드디어 해결 방법을 찾았다. 그 이유는 y_train이 to_categorical로 변환되지 않은 상태에서 모델을 학습시키려고 하기 때문일 가능성이 컸다. 코드에서 y_train을 to_categorical로 변환했지만, 실제로 학습할 때 변환된 데이터인 cate_y_train 대신 여전히 y_train을 사용하고 있었다.   손실값이 조금씩 줄어들고 ..

이번에는 클래스가 3개 이상 있는 다중 분류 실습을 진행해 볼 것이다. 조금 전에 큐티도 하고 요가도 하며 몸과 마음을 풀어보았다. 어제 생각해 보니 공부하다가 머리가 너무 아파서 쉬고 놀았던 것 같다. 가끔은 이런 시간도 필요하다. 하지만 하루 이상 놀게 되면 흐름이 끊기니 앞으로는 이런 일이 없도록 해볼 것이다. 지금까지 살면서 공부를 하다 머리가 아팠던 적은 처음인 것 같다. 이어서 오후 공부를 시작해본다.    다중 분류 실습해 보기    픽셀의 크기가 클수록 더 선명한 화질이다.    흑백 사진으로 바꾸려면 색깔을 gray로 설정해 주면 된다. 한 개의 채널을 가지면 흑백이 출력된다.      값을 출력해 보면 픽셀의 숫자가 넘파이 배열 형태로 출력된다.   x와 y의 출력값을 알 수 있다.  ..

이제 딥러닝 세 번째 실습 프로젝트를 시작해 본다. 이진 분류로 유방암을 분류하는 수업이다. 이 수업도 역시 한 번도 듣지 않은 내용인데 잘 따라갈 수 있으리라 믿는다.  이진분류 실습해보기   사이킷런에서는 데이터를 이런 형태로 제공한다.      데이터에 대한 정보가 출력되고 있다.     모델링하기   중간층에서의 sigmoid는 역치의 개념을 가져왔다면, 출력층에서는 0부터 1 사이의 값을 해주기 위해 사용한다.      변수에 담아 이후에 그래프도 그려보기로 하자.   과적합이 되지 않으려면 train 데이터와 test 데이터의 loss 함수가 별 차이가 없어야 한다. 학습을 할수록 오차가 적어지면 좋은 것이다.   history를 통해 모델의 손실값을 출력해 줄 수 있다.    이 손실값을 y..

이 수업부터는 다른 선생님이 오셔서 진행하셨다. 사실 앞 시간에 수업하셨던 선생님이 더 마음에 들지만 여러 선생님이 수업하시면 좋은 점도 있다. 처음에 공부했던 딥러닝 맛보기 프로젝트를 가지고 수업을 이어 나가셨다.그리고 복습하는 시간의 내용은 반복되는 내용이 많아 여기서부터 정리해보려고 한다.    딥러닝 기초 전반적인 정리      우선 이전 시간에 배웠던 내용을 정리해 보았다.   value만 불러오면 이렇게 모든 값들이 다 출력된다. 우리가 원하는 값을 넣어보기로 하자.  2차원 데이터로 출력되었다. 아직 난 뭐가 1차원이고 2차원인지 잘 모른다. 나중에 이 부분도 더 깊이 알아봐야겠다.        모델 생성 부분에서 지난번 선생님이 하셨던 내용을 좀 더 보충해 주셨다.    회귀, 이진/ 다중..

퍼셉트론에  대해서 학습하는 중이다. 먼저 지난 시간 내용을 복습하며 선형 모델과 회귀 모델의 차이점에 대해서 학습해 보기로 하자.   모델 평가하기 전에 알아야 할 개념 정리  회귀는 평균 제곱 오차를 활용하지만 분류에서는 나오는 예측값이 0이나 1 확률값으로 표기된다. 분류에서는 평균 제곱 오차를 적용하기 어려운데 그 이유는 예측과 오차의 차이가 많이 나야 1이 되기 때문이다. 모델 입장에서는 오차값이 적게 나오니 괜찮은 모델이라고 생각한다. 그래서 등장한 것이 손실함수인 lost function이다. 그러면 이 Cross Entropy가 어떤 효과를 지니고 있는지 알아보자.      크로스 엔트로피는 로그함수를 이용하게 되어 있고 파란색이라. 두번째 것은 로그 함수 안에 1을 뺀 예측값을 넣어 계산..

이어서 퍼셉트론에 대해 학습해 본다.   단일 퍼셉트론과 다중 퍼셉트론에 대하여  퍼셉트론 가장 초기에 제안되었던 함수를 계단 함수라고 부른다. 0을 기준으로 0보다 크면 1, 0보다 크면 1이 출력된다. 요즘에는 Step function을 사용하지 않고 다양한 함수를 사용한다.      입력층은 실제 연산은 하지 않고 데이터가 몇 개가 들어가는지 표시하는 층이다. 총 3개의 데이터가 들어간다고 표시되어 있다. 중간층은 실제 학습을 하는 층으로 퍼셉트론이 들어간다. 이 층이 숨겨져 있기에 은닉층이라 부르기도 한다. 출력층도 퍼셉트론이다. 여기서는 3개의 데이터가 들어가면 2개의 데이터가 나오게 설계했다.   멀리 퍼셉트론의 특징 퍼셉트론이 늘어날수록 파라미터가 많아져 학습 시간이 오래 걸린다. 선형 모델..

둘째 날 수업부터는 딥러닝을 좀 더 깊이 있게 들어갔다. 먼저 지난 시간에 배웠던 내용을 잠시 복습하고 새로운 개념인 퍼셉트론을 학습해 보기로 하자.   퍼셉트론에 대하여      사람의 뉴런은 어느 기준값 이상일 때 반응을 하도록 만들어져있다.      사람의 뇌 구조를 모방한 인공신경망을 수학적 구조로 구현한 알고리즘이다.     이 식은 선형 모델을 말하는데 0보다 같거나 작으면 0이, 크면 1이 나온다. 여기서 0보다 크거나 작은지가 역치를 구현한 것이다.뉴런에서 외부의 자극이 기준값 이상일 때만 다음 뉴런에게 전달되어 반응된다. 만약 외부에서 들어온 자극이 기준값을 넘지 못하면 비활성화를 시켜야 한다. 이러한 활성과 비활성 단계를 수학적 표현인 1과 0으로 구현한 것이다. 0은 더하거나 곱해도 ..

어제 딥러닝 공부를 하다 오후부터는 공부를 하나도 하지 않고 놀기만 하다 잠을 실컷 자고 말았다. 역시 2가지를 끊어야 하는데 잘 되지 않는다. 오늘 새벽에도 놀다가 이제 아침이 훌쩍 지나 공부를 시작하려고 한다. 오늘은 매일 해야 하는 수학도 영어 공부도 하지 않았고 큐티도 하지 못했다.하지만 어제의 반나절 이상의 열정 하락 기간 동안 내게 중요한 것이 무엇이며 공부 방법을 어떻게 바꾸어야 하는지 알게 된 소중한 시간이었다. 새벽에 머신러닝과 딥러닝을 공부할 수 있는 책도 한 권 더 주문했다. 컴퓨터 비전과 딥러닝을 공부하기 전에 기본부터 닦아야 좋을 것 같았다. 선생님께서 진행하시는 수업들은 대부분 개념보다는 실습 위주의 빠른 학습이었다. 그러다 보니 이해를 하지 못한 채 그냥 코드만 실행시키며 넘어..

평일에는 아침을 먹기 힘들지만 주말에는 조금 여유로워서 아침도 먹을 수 있었다. 하지만 앞으로는 아침을 먹는 습관도 길러보려고 한다. 점심때까지 쫄쫄 굶다가 밥을 먹으면 인스턴트의 유혹에도 더 잘 빠지는 것 같았다.오늘은 아침에 일정이 있어서 아침 공부는 1시간밖에 못할 것 같다. 그래도 적은 시간이라도 공부를 하는 것과 안 하는 것은 천지 차이이다. 일을 보다가 남는 시간이 있으면 정처기 실기 공부를 진행해보려고 한다. 그럼 오늘의 아침 공부를 시작해보자! 이틀 만에 딥러닝 공부를 다 마치지 못할 수도 있을 것 같다. 그래도 최선을 다해 공부해 볼 것이다. 딥러닝 수업은 엘리스에 없어서 조금 아쉽다.   딥러닝의 역사와 학습 로드맵  딥러닝 즉 인공지능의 역사는 매우 오래 전부터 시작되었다. Perce..