비지도 학습 7 - 군집 알고리즘 심화 학습

머신러닝 두 번째 학습 이제 비지도 학습 단원만 남아있다. 먼저 군집 알고리즘에 대해서 공부해보려고 한다.

---

 

 

 

군집 알고리즘 실습해 보기

 

 

 

과일 데이터를 다운로드한다. 처음에는 이 코드를 잘못 써서 몇 번 오류가 났다. 숫자 0이 아니라 영문자 O임을 주의해야 한다. 다운을 받으면 이렇게 sample_data 밑에 파일이 하나 생성된다.

코드 셀에서 '!' 문자로 시작하면 이후 명령을 파이썬 코드가 아닌 리눅스 셀 명령으로 이해한다. wget 명령은 원격 주소에서 데이터를 다운로드하여 저장한다. -0 옵션에서 저장할 파일 이름을 지정할 수 있다.

---

 

 

 

이제 데이터를 로드하여 넘파이와 맷플로립 패키지를 임포트했다. 파일을 로드한 후 배열의 크기도 확인했다. 이 배열의 첫 번째 차원(300)은 샘플의 개수를 나타내고, 두번째 차원(100)은 이미지 높이, 세번째 차원(100)은 이미지의 너비이다. 이미ㅈ의 크기는 100 x 100이다. 각 픽셀은 넘파이 배열의 원소 하나에 대응한다. 즉 배열의 크기가 100 x 100이다.

 

첫 번째 이미지의 첫 번째 행을 출력해본다. 3차원 배열이기 때문에 처음 2개의 인덱스를 0으로 지정한다. 마지막 인덱스는 지정하지 않거나 슬라이싱 연산자를 쓰면 첫번째 이미지의 첫번째 행을 모두 선택할 수 있다.

---

 

 

 

 

첫번째 행에 있는 픽셀 100개에 들어있는 값을 출력했다. 이 넘파이 배열은 흑백 사진을 담고 있으므로 0~255까지의 정수값을 가진다. 맷플롯립의 imshow() 함수를 사용하면 넘파이 배열로 저장된 이미지를 쉽게 그릴 수 있다.

0에 가까울수록 검게 나타나고 높은 값은 밝게 표시된다.

사실 이 흑백 이미지는 사진으로 찍은 이미지를 넘파이 배열로 변환할 때 반전시킨 것이다. 

 

 

 

우리의 관심 대상은 바탕이 아니라 사과이다. 따라서 바탕을 검게 만들고 사진에 짙게 나온 사과를 밝은 색으로 만들었다. cmap 개개변수를 gray_r로 지정하면 다시 반전하고 우리 눈에 보기 좋게 출력한다.

---

 

 

 

 

파인애플과 바나나도 잘 출력되었다. 맷플로립의 subplots() 함수를 사용하면 여러 개의 그래프를 배열처럼 쌓을 수 있도록 도와준다. subplots() 함수의 두 매개변수는 그래프를 쌓을 행과 열을 지정한다. 여기서는 subplost(1, 2)처럼 하나의 행과 2개의 열을 지정했다.

반환된 axs는 2개의 서브 그래프를 담고 있는 배열이다. axs[0]에 파인애플 이미지를, axs[1]에 바나나 이미지를 그렸다. 이제 각 과일 사진의 평균을 내서 차이를 확인해 보겠다.

---

 

 

 

 

사용하기 쉽게 fruits 데이터를 사과, 파인애플, 바나나로 각각 나누어 본다. 넘파이 배열을 나눌 때 100 x 100 이미지를 펼쳐서 길이가 10000인 1차원 배열로 만든다. 이렇게 펼치면 이미지로 출력하긴 어렵지만 배열을 계산할 때 편리하다.

fruits 배열에서 순서대로 100개씩 선택하기 위해 슬라이싱 연산자를 사용한다. 그다음 reshape() 메서드를 사용하여 두번째 차원과 세번째 차원을 10000으로 합친다.

 

첫번째 차원을 -1로 지정하면 자동으로 남은 차원을 할당한다. 여기서는 첫번째 차원이 샘플의 개수이다. apple, pineapple, banana 배열에 들어있는 샘플의 픽셀 평균값을 계산해 보았다. 넘파이 mean() 메서드를 사용할 것이다. 샘플마다 픽셀의 평균값을 계산해야 하므로 mean() 메서드가 평균을 계산할 축을 지정해야 한다.

axis=1로 지정하면 두 번째 축인 열을 따라 계산한다.

---

 

 

 

 

히스토그램은 값이 발생한 빈도를 그래프로 표시한 것이다. 보통 x축이 값의 구간(계급)이고, y축은 발생 빈도(도수)이다. 맵플롯립의 hist() 함수를 사용해 히스토그램을 그린다. alpha 매개변수를 1보다 작게 하면 투명도를 줄 수 있다.

히스토그램을 보면 바나나 사진의 평균값은 40 아래에 집중되어 있다. 사과와 파인애플은 90~100 사이에 많이 모여있다. 바나나는 사진에서 차지하는 영역이 작기 때문에 평균값이 작다. 반면 사과와 파인애플은 많이 겹쳐 있어서 픽셀값만으로는 구분하기 쉽지 않다. 사과나 파인애플은 대체로 형태가 동그랗고 사진에서 차지하는 크기도 비슷하기 때문이다.

 

더 나은 방법을 위해 각 샘플에 대해 각 픽셀의 평균을 계산해 보겠다.

---

 

 

 

 

픽셀의 평균을 계산하는 것도 간단하다. axis=0으로 지정하면 된다. 이번에는 맷플롯립의 bar() 함수를 사용해 픽셀 10000개에 대한 평균값을 막대그래프로 그려보겠다. subplots() 함수로 3개의 서브 그래프를 만들어 사과, 파인애플, 바나나에 대한 막대그래프를 그렸다.

3개의 그래프를 보면 과일마다 값이 높은 구간이 다르다. 사과는 사진 아래쪽으로 갈수록 값이 높아지고 파인애플 그래프는 비교적 고르면서 높다. 바나나는 확실히 중앙의 픽셀값이 높다.

 

픽셀 평균값을 100 x 100 크기로 바꿔서 이미지처럼 출력하여 위 그래프와 비교하면 더 좋다.

---

 

 

 

 

책과는 다르게 좀 더 예쁘게 출력하기 위해 주석도 달고 제목도 추가해 보았다. 훨씬 보기가 좋은 것 같다. 세 과일은 픽셀 위치에 따라 값의 크기가 차이 난다. 이 대표 이미지와 가까운 사진을 골라낸다면 사과, 파인애플, 바나나를 구분할 수 있지 않을까?

---

 

 

 

 

 

사과 사진의 평균값인 apple_mean과 가장 가까운 사진을 골라보았다. 절댓값 오차를 사용해 fruits 배열에 있는 모든 샘플에서 apple_mean을 뺀 절댓값의 평균을 계산한다.

넘파이 abs() 함수는 절댓값을 계산하는 함수이다. abs_diff는 (300, 100, 100) 크기의 배열이다. 각 샘플에 대한 평균을 구하기 위해 axis에 두 번째, 세 번째 차원을 모두 지정했다. 이렇게 계산한 abs_mean은 각 샘플의 오차 평균이므로 크기가 (300,)인 1차원 배열이다.

 

그런 다음 값이 가장 작은 순서대로 10개를 골라보았다. 즉 apple_mean과 오차가 가장 작은 샘플 100개를 고르는 것이다. np.argsort() 함수는 작은 것에서 큰 순서대로 나열한 abs_mean 배열의 인덱스를 반환한다.

apple_mean과 가장 가까운 사진 100개를 골랐더니 모두 사과이다. 먼저 subplots() 함수로 10 x 10, 총 100개의 서브 그래프를 만든다. 그래프가 많이 때문에 전체 그래프의 크기를 조금 크게 지정했다.

그다음 2중 for문을 돌면서 10개의 행과 열에 이미지를 출력한다. 깔끔한 이미지를 그리기 위해 axis('off')를 사용하여 좌표축을 그리지 않았다.

---

 

 

 

좌표축이 있는 그래프를 시험 삼아 만들어보았다. 이렇게 축에 숫자가 모두 표시되고 있다. 이렇게 비슷한 샘플끼리 그룹으로 모으는 작업을 군집이라고 한다. 군집은 대표적인 비지도 학습 작업 중 하나이다. 군집 알고리즘에서 만든 그룹을 클러스터라고 부른다.

---

 

 

 

확인 문제 풀기

 

 

banana_mean과 절댓값 오차가 가장 적은 100개의 사진을 고르면 2개를 제외하고 모두 바나나를 찾아준다.

---

 

 

 

학습을 마치고

타깃값이 없을 때 데이터에 있는 패턴을 찾거나 데이터 구조를 파악하는 머신러닝 방식을 비지도 학습이라고 한다. 타깃이 없기 때문에 알고리즘을 직접적으로 가르칠 수 없다. 대신 알고리즘은 스스로 데이터가 어떻게 구성되어 있는지 분석한다. 대표적인 비지도 학습 문제는 군집이다. 이번 단원에서는 사진의 픽셜을 사용해 군집과 비슷한 작업을 수행해 보았다. 어떤 과일인지 미리 알고 있었기 때문에 사과 사진의 평균값을 알 수 있었다.

 

처음 공부할 때는 무슨 말인지 거의 이해하지 못한 채 코드만 쓰기 바빴는데 두 번째 공부할 때는 거의 이해되지 않는 부분이 없이 공부하게 되었다.