비지도 학습 1 - 군집 알고리즘 1 : 군집 알고리즘으로 사진을 분류해보기

머신러닝의 마지막 단원 학습이 남아있다. 이것도 세 장으로 나누어져 있으니 공부하는데 한참의 시간이 걸릴 것 같다. 가능하면 오늘 오후 2시 전에는 공부를 다 마칠 생각이다.

그럼 군집 알고리즘부터 공부를 시작해 보자.

---

 

 

 

학습 목표

흑백 사진을 분류하기 위해 여러 가지 아이디어를 내면서 비지도 학습과 군집 알고리즘에 대해 이해하기

 

시작하기 전에

한빛 마켓은 낭산물 판매로 확대하며 새 이벤트를 기획하고 있다. 고객이 한빛 마켓에서 사고 싶은 과일 사진을 보내면 그중 가장 많이 요청하는 과일을 판매 품목으로 선정하려 한다. 또 1위로 선정된 과일 사진을 보낸 고객 중 몇 명을 뽑아 이벤트 당첨자로 선정할 것이다.

 

 

사진에 대한 정답(타깃)을 알지 못하는데 어떻게 이 사진을 종류대로 모을 수 있을까?

---

 

 

 

타깃을 모르는 비지도 학습

타깃이 없을 때 사용하는 머신러닝 알고리즘은 비지도 학습이다. 사람이 가르쳐 주지 않아도 데이터에 있는 무언가를 학습하는 것이다.

그럼 데이터를 준비하고 픽셀값을 이용해서 사진을 분류하겠다.

---

 

 

 

과일 사진 데이터 준비하기

김팀장이 준비한 과일 데이터는 사과, 바나나, 파인애플을 담고 있는 흑백 사진이다. 이 데이터는 넘파이 배열의 기본 저장 포맷인 npy 파일로 저장되어 있다. 넘파이에서 이 파일을 읽으려면 먼저 다운로드해야 한다.

 

코드 셀에서 '!' 문자로 시작하면 이후 명령을 파이썬 코드가 아닌 리눅스 셀 명령으로 이해한다. wget 명령은 원격 주소에서 데이터를 다운로드하여 저장한다. -0 옵션에서 저장할 파일 이름을 지정할 수 있다.

이제 데이터를 로드하여 넘파이와 맷플로립 패키지를 임포트했다. 

 

파일을 로드한 후 배열의 크기도 확인했다. 이 배열의 첫 번째 차원(300)은 샘플의 개수를 나타내고, 두번째 차원(100)은 이미지 높이, 세번째 차원(100)은 이미지의 너비이다. 이미ㅈ의 크기는 100 x 100이다. 각 픽셀은 넘파이 배열의 원소 하나에 대응한다. 즉 배열의 크기가 100 x 100이다.

 

 

 

첫 번째 이미지의 첫 번째 행을 출력해본다. 3차원 배열이기 때문에 처음 2개의 인덱스를 0으로 지정한다. 마지막 인덱스는 지정하지 않거나 슬라이싱 연산자를 쓰면 첫번째 이미지의 첫번째 행을 모두 선택할 수 있다.

 

 

첫번째 행에 있는 픽셀 100개에 들어있는 값을 출력했다. 이 넘파이 배열은 흑백 사진을 담고 있으므로 0~255까지의 정수값을 가진다. 맷플롯립의 imshow() 함수를 사용하면 넘파이 배열로 저장된 이미지를 쉽게 그릴 수 있다.

0에 가까울수록 검게 나타나고 높은 값은 밝게 표시된다.

사실 이 흑백 이미지는 사진으로 찍은 이미지를 넘파이 배열로 변환할 때 반전시킨 것이다. 사진의 흰 바탕은 검은색으로 만들고 실제 사과가 있어 짙은 부분은 밝은 값으로 바꾸었다. 왜 이렇게 바꾸었을까?

우리의 관심 대상은 바탕이 아니라 사과이다. 따라서 바탕을 검게 만들고 사진에 짙게 나온 사과를 밝은 색으로 만들었다. cmap 개개변수를 gray_r로 지정하면 다시 반전하고 우리 눈에 보기 좋게 출력한다.

---

 

 

 

픽셀값 분석하기

사용하기 쉽게 fruits 데이터를 사과, 파인애플, 바나나로 각각 나누어 본다. 넘파이 배열을 나눌 때 100 x 100 이미지를 펼쳐서 길이가 10000인 1차원 배열로 만들겠다. 이렇게 펼치면 이미지로 출력하긴 어렵지만 배열을 계산할 때 편리하다.

fruits 배열에서 순서대로 100개씩 선택하기 위해 슬라이싱 연산자를 사용한다. 그다음 reshape() 메서드를 사용하여 두 번째 차원과 세 번째 차원을 10000으로 합친다.

 

 

첫 번째 차원을 -1로 지정하면 자동으로 남은 차원을 할당한다. 여기서는 첫번째 차원이 샘플의 개수이다. 이제 apple, pineapple, banana 배열에 들어있는 샘플의 픽셀 평균값을 계산해 보자. 넘파이 mean() 메서드를 사용할 것이다. 샘플마다 픽셀의 평균값을 계산해야 하므로 mean() 메서드가 평균을 계산할 축을 지정해야 한다.

axis=1로 지정하면 두 번째 축인 열을 따라 계산한다.

 

 

 

axis는 배열의 축을 의미한다. axis=1일 때는 열 방향으로 계산하고, axis=0일 때는 행 방향으로 계산한다. 우리가 필요한 것은 샘플의 평균값이다. 샘플은 모두 가로로 값을 나열했으니 axis=1로 지정하여 평균을 계산한다. 평균을 계산하는 넘파이 np.mean() 함수를 사용해도 되지만, 넘파이 배열은 이런 함수들을 메서드로도 제공한다.

평균값을 계산한 후 히스토그램으로 그려보면 평균값이 어떻게 분포되어 있는지 한눈에 잘 볼 수 있다.

 

히스토그램은 값이 발생한 빈도를 그래프로 표시한 것이다. 보통 x축이 값의 구간(계급)이고, y축은 발생 빈도(도수)이다. 맵플롯립의 hist() 함수를 사용해 히스토그램을 그린다. alpha 매개변수를 1보다 작게 하면 투명도를 줄 수 있다.

히스토그램을 보면 바나나 사진의 평균값은 40 아래에 집중되어 있다. 사과와 파인애플은 90~100 사이에 많이 모여있다. 바나나는 사진에서 차지하는 영역이 작기 때문에 평균값이 작다. 반면 사과와 파인애플은 많이 겹쳐 있어서 픽셀값만으로는 구분하기 쉽지 않다. 사과나 파인애플은 대체로 형태가 동그랗고 사진에서 차지하는 크기도 비슷하기 때문이다.

 

좀 더 나은 방법은 없을까? 혼공머신은 샘플의 평균값이 아니라 픽셀별 평균값을 비교해 보면 어떨까 생각했다. 전체 샘플에 대해 각 픽셀의 평균을 계산하는 것이다. 

 

 

픽셀의 평균을 계산하는 것도 간단하다. axis=0으로 지정하면 된다. 이번에는 맷플롯립의 bar() 함수를 사용해 픽셀 10000개에 대한 평균값을 막대그래프로 그려보겠다. subplots() 함수로 3개의 서브 그래프를 만들어 사과, 파인애플, 바나나에 대한 막대그래프를 그렸다.

3개의 그래프를 보면 과일마다 값이 높은 구간이 다르다. 사과는 사진 아래쪽으로 갈수록 값이 높아지고 파인애플 그래프는 비교적 고르면서 높다. 바나나는 확실히 중앙의 픽셀값이 높다.

 

픽셀 평균값을 100 x 100 크기로 바꿔서 이미지처럼 출력하여 위 그래프와 비교하면 더 좋다.

 

 

 

세 과일은 픽셀 위치에 따라 값의 크기가 차이 난다. 이 대표 이미지와 가까운 사진을 골라낸다면 사과, 파인애플, 바나나를 구분할 수 있지 않을까?

---

 

 

 

 

평균과 가까운 사진 고르기

사과 사진의 평균값인 apple_mean과 가장 가까운 사진을 골라보자. 절대값 오차를 사용해 fruits 배열에 있는 모든 샘플에서 apple_mean을 뺀 절대값의 평균을 계산한다.

넘파이 abs() 함수는 절대값을 계산하는 함수이다. abs_diff는 (300, 100, 100) 크기의 배열이다. 각 샘플에 대한 평균을 구하기 위해 axis에 두 번째, 세 번째 차원을 모두 지정했다. 이렇게 계산한 abs_mean은 각 샘플의 오차 평균이므로 크기가 (300,)인 1차원 배열이다.

 

그런 다음 값이 가장 작은 순서대로 10개를 골라보았다. 즉 apple_mean과 오차가 가장 작은 샘플 100개를 고르는 것이다. np.argsort() 함수는 작은 것에서 큰 순서대로 나열한 abs_mean 배열의 인덱스를 반환한다.

apple_mean과 가장 가까운 사진 100개를 골랐더니 모두 사과이다. 먼저 subplots() 함수로 10 x 10, 총 100개의 서브 그래프를 만든다. 그래프가 많이 때문에 전체 그래프의 크기를 조금 크게 지정했다.

그다음 2중 for문을 돌면서 10개의 행과 열에 이미지를 출력한다. 깔끔한 이미지를 그리기 위해 axis('off')를 사용하여 좌표축을 그리지 않았다.

 

이렇게 비슷한 샘플끼리 그룹으로 모으는 작업을 군집이라고 한다. 군집은 대표적인 비지도 학습 작업 중 하나이다. 군집 알고리즘에서 만든 그룹을 클러스터라고 부른다.

 

---

 

 

 

학습을 마치고

비지도 학습은 처음 배우는 거라 어렵게 생각했는데 아니었다. 왠지 딥러닝과 비슷한 느낌이었다. 사진을 이렇게 분류하여 머신러닝으로 만들 수 있다면 무척 재미있는 작업이 될 것 같다. 나중에 어떤 프로젝트를 만들지 생각하며 공부한다면 지금 하는 어렵고 지루하게 느껴지는 공부도 더 즐겁게 할 수 있을 것이다.