클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

오늘은 오후에 영어 공부를 1시간 정도 진행했다. 학습일지를 쓰려다가 앞으로 남은 웹 개발 공부 계획을 짜기도 했다. 엘리스를 수강할 수 있는 기간이 이제 한 달 반 밖에 남지 않아서 속도를 높이며 남은 공부를 진행해 볼 것이다.오늘 공부한 영어 기사는 두 편이다. 이제 영어 공부도 수학 공부처럼 흥미를 많이 느끼게 되었다. 매일 하고 싶어지고 하루 1시간은 꼭 하게 된다.   Science - WHAT IS THE WINTER SOLSTICE?  이 기사는 많이 어려웠다. 동지와 하지에 대한 내용으로 동지는 낮이 가장 짧고 밤이 가장 긴 날을 말한다. 이 기사는 한 문장씩 해석을 해야 이해할 수 있는 어려운 내용이었다. 과학 관련 기사는 무척 어려운 편이다.    Guest Column - My Exp..

오늘은 아침부터 일정이 많아서 조금 전에 3시 반에 집에 왔다. 아침에 외출 전에 30분 정도 수학 문제를 풀고 풀지 못한 문제는 버스 안에서 풀고 남은 자투리 시간에 15분 정도 더 풀었다.그래도 이 시간을 다 합해서 1시간 20분 정도 공부했으며 학습일지 쓰고 정리하는 시간까지 하면 1시간 반이 좀 넘는다. 매일 수학에 이 정도의 시간 이상을 할애하는 편이다. 공부를 하다보면 더 하고 싶은 마음이 들 때가 많다. STEP 2 문제는 1보다는 난이도가 있어서 시간이 좀 걸리는 문제들도 많이 있었다. 하지만 끈질기게 문제를 붙잡고 있으면 대부분 답이 보인다.    최상위 수학 STEP 2 문제 풀이 노트                            학습을 마치고바쁜 시간을 내서 1시간 반 혹은 두 시..

벌써 7시가 훌쩍 넘었지만 이 단원까지만 공부하고 새벽 공부를 마치려고 한다. 오늘도 새벽 2시 반에 일어나서 5시간 가까이 공부를 진행 중이다. 이것까지 하면 5시간이 조금 넘을 것 같다.   우편번호 인식기 v1. 실습해보기6장에서 재미있는 비전 에이전트 4개를 만들었다. 여기서는 사람이 필기한 우편번호를 인식하는 다섯 번째 비전 에이전트를 만든다. 필기한 우편번호를 인식하려면 필기 숫자 인식기가 필요한데, 이를 대비하여 프로그램 7-5의 42행에서 학습된 신경망을 dmlp_trained.h5 파일에 저장해두었다.  먼저 프로그램 7-7의 실행 결과를 보고 사용자 인터페이스를 파악하자. 5개의 빨간색 박스는 마우스로 숫자를 써 넣는 곳이다. e는 박스를 지우고, s는 박스에 숫자를 떼내어 명암 영상으..

이번 시간에는 하이퍼 매개변수를 다루는 것과 자연 영상 인식에 대해서 학습해보려고 한다.  3. 하이퍼 매개변수 다루기하이퍼 매개변수는 신경망의 구조 또는 학습관 관련하여 사용자가 설정해야 하는 매개변수다 프로그램 7-4는 옵티마이저에 관련된 하이퍼 매개변수늘 SGD(learning_rage=0.01)과 Adam(learnging_rate=0.001)로 다르게 설정하고 어떤 값이 더 좋은지 비교하여 Adam이 월등히 좋다는 것을 알아냈다. 이처럼 하이퍼 매개변수를 잘 설정해야 신경망이 높은 성능을 발휘한다.하이퍼 매개변수의 최적값을 찾는 일을 하이퍼 매개변수 최적화라 한다.  하이퍼 매개변수 설정 요령신경망의 하이퍼 매개변수는 생각보다 많다. Dense 클래스에는 노드 개수를 정하는 units, 활성 함..

이번 장은 실습 프로그램이 있어서 나름 괜찮은 학습이 될 것 같다. 이전 절에서 프로그램 7-1을 통해 텐서플로가 제공하는 MNIST와 CIFAR-10 데이터셋을 확인하는 프로그래밍 실습을 했다. 여기서는 앞에서 배운 다층 퍼셉트론과 깊은 다층 퍼셉트론을 텐서플로로 구현하고 성능을 측정하는 실험을 한다.   1. 필기 숫자 인식다음 프로그램은 다층 퍼셉트론으로 MNIST를 인식하는 실험이다. 1980~1990년대의 다층 퍼셉트론 시대에 주로 사용하던 SGD 옵티마이저와 현대 딥러닝이 주로 사용하는 Adam 옵티마이저의 성능을 비교하는 실험도 한다.  다층 퍼셉트론으로 필기 숫자 인식텐서플로로 신경망을 학습하고 예측하는 첫 프로그래밍이다. 다층 퍼셉트론으로 MNIST 인식하기(SGD 옵티마이저) 이 코드는..

OR 데이터셋을 분류하는 그림 7-11b와 XOR 데이터셋을 분류하는 그림 7-15b의 신경망에서는 사람이 가중치를 설정했다. 다시 말해 신경망 학습을 사람이 수행했다. 매우 작은 문제라 사람이 학습을 대행했는데, 실제 데이터셋은 복잡하여 학습 알고리즘을 사용해야 한다.   1. 발상   처음에는 가중치를 어떻게 설정해야 높은 정확률을 얻을 수 있는지에 대한 아무런 실마리가 없다. 따라서 가중치를 난수로 설정하고 출발한다. 그리고 출분히 높은 정확률을 달성하거나 더 이상 개선이 불가능하다고 여져질 때까지 정확률을 향상하는 방향으로 가중치 갱신을 반복한다. 이런 발상에 대해 형식을 갖춰 쓰면 알고리즘 7-1이 된다.      2. 스토캐시틱 경사 하강법 경사하강법 기초경사하강법은 미분값을 보고 함수가 낮아..

딥러닝 관련 이론 내용은 조금 지루하지만 그래도 공부를 이어가 보겠다. 앞 절에서 특징 벡터의 차원이 2이고 데이터셋 크기가 4인 단순한 OR 데이터셋으로 퍼셉트론의 분류 능력을 예시했는데, 퍼셉트론은 수백 차원 샘플이 수만 개인 분류 문제도 풀 수 있다고 증명도이어 있다. 그런데 퍼셉트론은 선형 분류기이기 때문에 그림 7-12a와 같이 선형 분리 가능한 데이터셋만 100% 정확률로 분류할 수 있는 결정적인 한계가 있다. 퍼셉트론은 그림 7-12b와 같은 선형 분리 불가능한 상황에서는 정확률이 낮을 수밖에 없다.   민스키와 페퍼트는 『Perceptrons』라는 저서를 통해 퍼셉트론의 한계를 체계적으로 지적했다. 그림 7-13a에 있는 XOR 문제를 제시하고 퍼셉트론은 이런 단순한 문제조차 풀지 못한다고..

어제는 밤에 늦게 취침했지만 2시 반에 일어나 평소처럼 공부를 시작해 본다. 그림 7-2의 기계학습 방법론에서 가장 성공하고 주류로 자리 잡은 모델은 신경망이다. 이 절에서는 1940년대에 태동하여 현재 딥러닝으로 발전하는 신경망 역사를 간략하게 살펴본다. 이어 최초의 성공적인 신경망 모델인 퍼셉트론을 통해 신경망에 대한 기초를 다진다.    신경망의 간략 역사1900년대 들어 인간 뇌에 대한 활발한 연구에 힘입어 뉴런의 정체가 조금씩 밝혀진다. 1946년에는 초당 3000회 가량 덧셈을 할 수 있는 세계 최초의 전자식 컴퓨터인 에니악이 탄생한다. 신경 과학자들은 컴퓨터로 인공 신경망을 구현하여 사람처럼 인식할 수 있는 기계를 만들려는 거대한 발상을 한다. 그림 7-9는 사람 뇌를 구성하는 뉴런과 퍼셉트..