Pandas 5 - 데이터 정제하기

여섯번째 단원으로 데이터를 정제하는 방법을 배워보기로 하자. 이 학습까지만 마치고 저녁 운동을 하려고 한다. 어제도 걷기와 줄넘기 운동을 하지 못했는데 오늘은 꼭 해야 할 것 같다.
저녁에 Numpy/ Pandas 과목의 80% 이상 수료하고, 파이썬 응용 수업에 들어가는 게 오늘의 목표이다. 그래도 처음보다는 학습 속도가 빨라지고 있으니 기대해볼만 하다. 그럼 데이터 정제 학습을 시작해보겠다.

---

 

 

 

이론 7 - 데이터 정제하기

 

 

 

 

 

 

데이터를 보면 ascending 값이 생략되어 기본값인 오름차순으로 정렬되어 있다. 반면 ascending이 false면 내림차순으로 정렬된다.
이 함수를 활용하면 데이터가 가지는 특징을 쉽게 파악할 수 있다.

 

 

 

 

 

기존의 index를 저장한 칼럼이 생기는데, 이때 drop=True로 설정하면 인덱스 컬럼이 없는 데이터프레임이 반환된다.

 

 

 

 

 

기존의 프레임에서 2개가 제거된 데이터프레임이 저장된다.

 

 

 

 

 

 

 

 

 

결측치 탐색 : isnull()

비어있는 값을 결측치라고 한다. 이 결측치는 올바른 데이터나 인공지능을 위해 없애주는 것이 좋다.

 

 

 

 

 

결측치가 있다면 해당 컬럼의 평균, 중앙값, 최빈값 등 통계값을 활용해서 채워넣는 경우가 많다. 통계값은 최대한 비슷한 값으로 채워넣게 되므로 자주 사용하는 방법이다.

 

 

 

 

결측치 데이터 삭제하기 : dropna()

결측치가 많지 않은 경우에는 데이터를 삭제해도 결과에 큰 영향을 미치지 않는다. 특정 컬럼에 대해 결측치가 있는지 검사하고 결측치가 있다면 해당 행을 제거한다.

---

 

 

 

 

실습 6 - 데이터 정제하기

 

문제 설명

 

 

 

 

 

 

 

이번 실습에서는 정말 할 게 많다. 영상 분량도 이전보다 훨씬 많고. 하지만 차근차근 단계별로 하다보면 분명 잘 해낼 수 있을 것이다. 이제 본격적인 실습을 진행해보자!

---

 

 

 

직접 실습해보기

 

1. 데이터 불러오기

 

 

 

 

 

2. 데이터 정렬 : sort_values

 

이 작업이 계속 되지 않아서 왜 그런가 했는데 데이터를 불러오는 작업이 제대로 작동되지 않았기 때문이었다. 데이터를 불러오면 목록이 나타나는데 그렇기 않으면 불러온 것이 아니다.

 

 

 

 

 

3. 입장객 수가 하위 10개인 데이터 정렬

 

 

 

 

 

4. 미세먼지 농도가 3번째로 심했던 날짜를 변수 pollution에 저장하기

 

문자열을 숫자로 저장하면 값을 불러올 수 있다.

 

목록이 나타나지 않아 값을 잘못 입력한줄 알았는데 아니었다. 원래 저장만 하면 되니까 잘 된 것이다.

 

 

 

 

 

5. 인덱스 재지정 : reset_index

 

 

총계 컬럼이 재정렬된 상태에서 인덱스도 재정렬된 것을 볼 수 있다.

 

 

 

 

6. 데이터 삭제 : drop

 

이렇게 필요없는 칼럼이 삭제되어 좀더 깔끔한 데이터가 되었다.

 

 

 

 

 

 

7. 열 이름 바꾸기 : rename

먼저 총계와 총입장객수를 dictionary로 한다. 바꿀 컬럼의 이름 총계를 키로 가지고 무엇으로 바꿀지 value를 지정한다. 그런 다음 바뀐 것을 df에 덮어씌운다.

 

 

 

 

 

8. 결측치 처리

 

 

 

 

9. 결측치 탐색 : isnull()

 

 

 

 

 

 

10. 결측치 채우기 : fillna()

 

 

 

 

 

 

11. 결측치 데이터 삭제하기 : dropna()

 

 

 

 

 

 

 

12. 미세먼지 데이터 결측치 칼럼을 해당 칼럼의 중앙값으로 채우기

mm 결측치만으로는 어떤 컬럼의 결측치가 존재하는지 알 수 없다.

 

 

근데 뭘 잘못 썼는지 오류가 잔뜩 떴다. 다시 한번 써보자!

이제 제대로 되었다~

 

 

 

 

 

13. 채점하기

 

총 22개의 단계에 걸쳐 데이터를 정제해보았다.

 

 

 

 

---

 

 

학습을 마치고

두번째 단원부터 정말 어려웠는데 데이터를 정제하는 부분도 만만치 않았다. 강사님의 설명을 들으며 따라해보는데도 오류가 발생하고 모든 코드를 아직은 다 이해하지 못했다. 지금은 해야 할 공부가 많아서 한 70% 정도 이해하고 넘어가는 것 같다.

데이터를 정렬하고 결측치를 채울 수 있는 방법에 대해 배울 수 있었다. 데이터도 값이 없게 되면 정확한 측정이 어려운 것 같다. 그래서 평균값으로 대체하는 경우가 많다고 한다. 전에 내가 사회학과에 있을때 이런 통계 수업을 들은 적이 있었다.
3학년 때 물리학과에서 전과를 해서 2년밖에 배우지는 않았지만, 그때 무슨 통계 프로그램을 사용해서 뭔가를 만들었는데 정말 어려웠었다.

그 생각이 갑자기 났다. 지금까지 내가 배운 것들이 다 쓸모가 있고 지금의 나를 만들었구나 하는 생각도 들었다. 물리학과에서 공부했던 시간들도(놀기만 했지만) 참 의미있었고 이후 물리를 한때 좋아하게 되는 계기도 되었다.

학교 다닐 때는 공부에 흥미를 붙이지 못했지만 말이다. 그때 전자기학 교수님께서 내게 참 특이하고 이상한 과제를 내주시며 발표를 시키셨지만, 삔들거리면서 결국 과제 발표도 하지 않았었다. 시험볼 때는 공부가 너무 하기 싫어서 한 페이지도 읽지 않고 즉석에서 물리 공식을 만들어서 제출했던 기억도 난다.
그때 열심히 공부할 걸 하는 후회도 들지만.. 어쨌든 돌아돌아 여기까지 온 것 같다. 이제는 공부의 필요성을 느끼고 있다.