클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

결측치를 채우는 것부터 나머지 머신러닝 프로세스 단계를 학습해보기로 하자. 새벽에 공부하니 저녁에 할 때보다 집중이 훨씬 잘 되고 머리도 맑은 것 같다.   결측치 처리하기 데이터가 많다면 결측치를 제거해도 괜찮지만 데이터가 적으면 결측치를 다른 값으로 채워 결측치를 살려주는 것이 좋다.  False면 0을, True면 1을 반환하여 그 컬럼의 세로 총합을 구해본다.             채운 다음에는 원래 값에 넣어준다.       관할구역이 결측치라도 지역 이름은 들어있을 것이다. 이 지역 이름이 어느 관할 구역에 속하는지 파악하고 채워주는 작업을 진행한다. pivot 테이블은 데이터를 재구조화하는 것이다.만약 values에 Price를 넣고, aggfunc에 mean을 넣으면 지역에 따른 가격 평균..

오늘은 저녁에 별로 공부를 하고 싶은 마음이 들지 않았지만 그래도 잠시 운동을 한 후 책상 앞에 앉아 공부를 시작해본다. 저녁에 둘째날 수업을 모두 학습하기는 어렵고 조금이라도 해볼 생각이다. 이어서 선형 회귀 모델에 대해서 학습해보자.   선형회귀 모델 실습해보기지난 시간까지 선형회귀 모델에 대한 개념과 사용방법에 대해 다루어보았다. 이번 시간에는 데이터를 가져와서 주택 가격을 예측하는 실습을 진행해볼 것이다.    6번은 생략하고 하나씩 실습해보기로 하자.   3. 데이터 전처리 및 탐색 방의 수, 가격, 거리, 위도, 경도 등 많은 정보가 들어있는 주택 데이터셋이다. 데이터셋을 요약해서 알려주는 정보를 출력해보자. 데이터 정보 확인21개의 컬럼 중에서 입력 특성으로 사용할만한 것이 무엇이 있는지, ..

조금 전에 썼던 학습일지가 모두 날라가서 무척 속이 상하지만 다시 처음부터 공부한다는 마음으로 기록해보기로 했다. 이제 평균제곱 오차를 구하는 실습을 진행해보자.  평균제곱 오차 구하는 실습해보기 선형 회귀 가설함수 만들기  가중치에 따라 값이 달라지는 가설함수가 만들어졌다. 공부 시간은 판다스의 시리즈 형태로 집어넣었다. 여기에는 4개의 데이터가 들어간다(9, 8, 4, 2시간). 두번째 매개변수로는 숫자값 0.5가 들어간다. 이 둘을 곱하니 하나의 시리즈가 나왔다. 판타스 시리즈에서 요소별 연산이 따라온 것이다.     평균 제곱 오차함수 만들기앞서 만들었던 가설함수를 이용해 평균 제곱 오차함수를 구현해보기로 하자.  오차가 모두 0으로 나오고 있다. 예측값이 시리즈로 나오고, 결과값도 같은 인덱스끼..

이어서 다중 회귀 모델에 대해서 학습해보려고 한다.  1. 다중 선형 회귀 모델 실습해보기 입력 특성에 게임 시간 하나를 추가해보았다.    두 개 이상의 컬럼을 꺼낼 때는 리스트로 묶어서 꺼내면 된다.  다중 선형 회귀 모델링하기  학습할 때는 fit, 예측할 때는 predict라는 단어를 많이 사용한다. 이제 선형 회귀 모델이 어떤 원리에 따라 학습을 하는지 좀더 깊이있는 학습을 해볼 것이다.  공부 시간과 성적을 세 개의 모델이 학습한 결과를 나타내고 있다. 이 중에서 현재의 데이터를 가장 잘 반영하고 있는 그래프는 몇 번 그림일까? 3번이다. 1, 2번은 데이터의 패턴을 잘 파악하지 못하고 있다.선형 회귀 모델에서 모델이 학습을 잘 하고 있는지 그렇지 않은지 알 수 있는 방법이 존재한다. 실제 연..

늦은 점심을 먹고 3시가 훌쩍 넘어서 다시 오후 공부를 시작해본다. 지금부터 3시간 40분 정도 공부를 할 생각이다. 이번에 공부할 단원은 선형 회귀 모델인데 여기서부터는 수업을 하나도 들어본 적이 없어서 과연 잘 따라갈 수 있을지 걱정이 된다.그래도 열심히 공부하고 잘 이해가 되지 않는 건 반복해서 들어보려고 한다. 제발 수업 영상이 중간에 잘리지 않고 다 잘 나오기를 바라면서 공부를 시작해본다.    선형 회귀 모델 개념 학습 가장 오래 사용되어 왔고 딥러닝의 기본 기술이 되는 선형 회귀 모델에 대해서 학습해보겠다.    선형 모델은 선형 수식을 만들어서 예측하는 모델이다. KNN,  Tree 모델도 자신만의 고유한  알고리즘을 갖고있는 모델 중 하나이다. KNN은 최근접이웃모델이라고 부른다. 어떤 ..

새로운 선생님이 오셔서 머신러닝 강의를 하셨는데 이때까지만 해도 머신러닝에 전혀 관심이 없어서 수업을 거의 듣지 않았다. 오늘부터 5일에 걸쳐 이 선생님 수업을 들으며 머신러닝의 기초를 다지는 시간을 갖기로 했다. 아마 3주 정도 되는 수업 분량인 것 같다. 이 많은 것들을 5일 안에 다 마치려고 한다.우선 머신러닝에 대한 복습부터 시작해보자.   머신러닝 복습 인공지능은 사람처럼 흉내내는 모든 것을 말한다. 인공지능 기술의 가장 큰 핵심은 학습이다. 사람은 학습을 통해 발전해왔기 때문이다. 컴퓨터에게 어떻게 학습을 시킬지를 만들어놓은 것이 머신러닝 즉 기계학습이다.머신러닝은 학습 방법이 정말 많다. 최근에 나온 놀라운 결과물은 딥러닝이라는 기술로부터 시작한다. 딥러닝은 머신러닝의 하위 분야이고 학습 방..

지난 맛보기 실습에서 풀었던 문제인데 이번에는 강의 영상과 함께 제공하고 있다. 아침 요가를 마치고 아침을 먹고 나니 벌써 10시가 다 되었다. 아침에는 공부를 30분밖에 하지 못할 것 같지만 이렇게라도 공부하는 시간은 정말 중요하다. 그럼 바로 이어서 문제를 풀어보겠다.    실습 - 타이타닉의 생존자 찾기    굵은 글씨는 컬럼명인데, survived는 생존률을 나타낸다. 1은 생존, 0은 사망을 의미한다. 그리고 NaN은 결측치를 나타낸다.여기 나와있는 생존 규칙을 참고로 하며 자신만의 규칙을 만들어본다. 그런 다음 테스트한 규칙에 대한 테스트 파일을 작성한다. 문제는 지난 포스트에서 소개했으므로 여기서는 생략하고 결과만 첨부해본다.      문제 풀어보기 테스트의 정확도는 10점이 나왔다. 이건 ..

이 수업이 마지막 이론 수업이 될 것 같다. 여기까지 공부하고 새벽 공부를 마치며, 아침 운동을 한 후 아침식사도 하려고 한다. 바로 공부를 시작해보자! 요즘 공부하는 시간이 가장 즐겁고 행복하다.    이론 3 - 머신러닝이 필요한 상황과 핵심 동작 원리머신러닝은 컴퓨터에게 프로그램이나 수학적 방법을 넣어 규칙이나 패턴을 만들어달라고 하는 것이다. 머신러닝이 필요한 시점이 있는데 이러한 3가지 문제를 만족할 때 사용하면 좋다.모든 서비스나 제품에는 운영하기 위한 정책이나 규칙이 굉장히 많다. 예를 들면 블랙 컨슈머를 정의하기 위한 세부적인 내용들이 많이 있다.첫번째, 사람이 손으로 작성한 길고 긴 규칙과 리스트들이 문서화한 것들이 있을 것이다. 이런 것들은 유지 보수하기가 어렵고 관리하기도 어렵다. 이..

데이터 과학에 이어 머신러닝에 대한 개념을 이해하는 공부를 진행해보자.   이론 2 - 머신러닝이란 무엇인가? 1. 머신러닝과 다른 분석 방법 비교 데이터를 분석하는 것은 머신러닝뿐 아니라 다양한 분석이 있다. 각각의 분야에 따라 접근 방법과 목표로 하는 것이 다르다.   빅데이터 분석은 그로스 해킹에서 많이 사용하는 방법으로 프로그래밍을 포함한 기술 분석을 통한 마케팅을 말한다. 이것은 상관관계를 탐지하는 학문이다. 예를 들면 이 그림에서 남자가 머리를 밀면 판매가 좋다고 말하고 있다. 이처럼 A와 B의 상관관계를 찾고 의사결정에 활용하는 것이다.우리 속담 중에 까마귀 날자 배 떨어진다라는 말처럼 인관관계를 많이 사용한다.   우리 세계를 이해하고 해석하는데 중점을 둔다. 큰 세계를 이해하기 위한 모형..

오늘 새벽에는 머신러닝 1주차 수업을 공부하고 아침에는 다른 일정이 있을 것 같다. 그리고 오후와 저녁에는 머신러닝 2주차 공부를 하고 머신러닝 관련 수업 3시간 분량을 공부하며 정리해볼 생각이다. 그래서 이번주 금요일까지 머신러닝 전체 수업을 모두 듣고 학습을 마치는 것이 목표이다. 주말에는 딥러닝 공부를 하고 그 다음주부터는 새로운 과목에 들어갈 예정이다.그럼 바로 머신러닝 공부를 시작해보자.   이론 1 - 데이터 과학이란 무엇인가? 1. 학습 목표      2. 데이터 과학이란 무엇인가? 최근에 많이 이슈가 되고 대두되고 있는데 이러한 지식이 쌓이면 데이터 자산이 될 거라 예상한다.     2014년 11월 딥러닝을 활용한 사기 탐지 시스템을 만들었다. 손실이 많이 발생하여 기존의 시스템을 바꿀 ..