딥러닝 비전 3 - 인공 신경망의 태동

어제는 밤에 늦게 취침했지만 2시 반에 일어나 평소처럼 공부를 시작해 본다. 그림 7-2의 기계학습 방법론에서 가장 성공하고 주류로 자리 잡은 모델은 신경망이다. 이 절에서는 1940년대에 태동하여 현재 딥러닝으로 발전하는 신경망 역사를 간략하게 살펴본다. 이어 최초의 성공적인 신경망 모델인 퍼셉트론을 통해 신경망에 대한 기초를 다진다.

---

 

 

 

 

신경망의 간략 역사

1900년대 들어 인간 뇌에 대한 활발한 연구에 힘입어 뉴런의 정체가 조금씩 밝혀진다. 1946년에는 초당 3000회 가량 덧셈을 할 수 있는 세계 최초의 전자식 컴퓨터인 에니악이 탄생한다. 신경 과학자들은 컴퓨터로 인공 신경망을 구현하여 사람처럼 인식할 수 있는 기계를 만들려는 거대한 발상을 한다.

 

그림 7-9는 사람 뇌를 구성하는 뉴런과 퍼셉트론이라는 초기 인공 신경망을 보여준다. 세포체, 수상돌기, 축삭으로 구성된 뉴런은 뇌의 정보 처리 단위다. 수상돌기는 화학 물지를 통해 다른 뉴런으로부터 신호를 받고 세포체는 화학반응을 통해 연산을 수행하고 축삭은 연산 결과를 다른 뉴런에 전달한다. 뉴런의 정보 전달은 그림 7-9a의 학대된 그림에 있는 시냅스를 통해 이루어진다. 

사람의 뇌는 단순한 연산 장치가 엄청나게 밀집된 형태로 연결된 병렬 처리기로 볼 수 있다. 이런 이유로 뇌를 신경망이라고 부른다. 뇌의 신경망과 구분하려고 수학 모델인 신경망을 인공 신경망으로 구분하는데, 이 책에서는 줄여서 신경망이라고 부른다.

 

 

 

1958년에는 로젠블랫이 퍼셉트론을 최초로 구현했는데 그림 7-9b는 퍼셉트론의 구조를 보여준다. 1960년대에는 신경망이 인공지능을 완성해줄 것처럼 과장되어 매스컴의 주목을 받았다. 1969년에 민스키와 페퍼트는 퍼셉트론이 선형 분류기에 불과하고 XOR 문제조차 풀지 못한다고 밝혔다. 이후 신경망 연구는 크게 퇴조한다.

소강상태에서 연구를 지속한 연구자들이 있었는데 이들의 연구 결과가 1986년에 세상에 나왔다. 이 연구의 핵심은 퍼셉트론에 은닉층을 추가한 다층 퍼셉트론과 다층 퍼셉트론을 학습할 수 있는 역전파 알고리즘이다. 다층 퍼셉트론은 수표에 적힌 필기체 문자를 인식하는 실용화 시스템을 만들 정도의 높은 정확률을 보였다. 이로써 신경망을 다시 활기를 찾는다.

 

1990년대에는 SVM이라는 비견경망모델이 등장하여 다층 퍼셉트론을 능가하는 형국이 된다. 2000년대 들어 은닉층의 개수를 대폭 늘린 딥러닝이 등장하여 신경망이 다시 기계학습의 주류 기술이 된다.

---

 

 

 

 

퍼셉트론

퍼셉트론은 1958년에 등장한 용량이 아주 작은 신경망 모델로서 현대적인 문제를 해결하기에는 턱없이 부족하다. 하지만 퍼셉트론 이론은 딥러닝 이론의 토대가 되며, 퍼셉트론은 딥러닝 신경망의 핵심 부품으로 사용된다. 따라서 퍼셉트론에 대한 이해는 딥러닝을 이해하는 지름길이다.

 

 

구조와 연산

---

 

 

 

퍼셉트론은 분류기

퍼셉트론은 특징 공간을 2개의 부분 공간으로 나누는 함수로 해석할 수 있다. 이런 해석을 쉽게 설명하기 위해 예시 7-2가 제시하는 OR 분류 문제를 사용한다.

 

 

 

그림 7-11b의 퍼셉트론 가중치를 식 (7.5ㅋ에 대입하면 아래 식의 첫 행이 된다. o가 0보다 크면 1, 0보다 작으면 04 부류로 분류하기 때문에 o=0은 두 부류를 나누는 결정 경계에 해당한다. 두 번째 행처럼 o=0으로 둔 식을 만들고 정리하면 세 번째 행에 있는 식을 얻는다.

이 식을 차원 좌표계에 그리면 그림 7-11c의 빨간색 선분이 된다. u₁과 u₂는 직선의 기울기를 표현하고 u0은 절편에 해당한다. 바이어스 u0이 없으면 직선이 항상 원점을 지나므로 데이터를 제대로 분류할 수 없다. 바이어스 노드를 추가하는 이유다.

 

그림 7-11c의 의미를 생각해보자. 빨간색 선분은 특징 공간을 2개의 부분 공간으로 분할하는데, 노란색 부분 공간의 점은 모두 +1로 분류하고 녹색 부분 공간의 점은 모두 -1로 분류한다. 다시 말해 퍼셉트론은 특징 공간을 두 부분으로 나누는 분류기이다.

---

 

 

 

행렬 표기

 

 

---

 

 

 

학습을 마치고

인공 신경망의 역사는 정리하기 조금 귀찮았지만 그래도 중요한 내용 위주로 써보았다. 퍼셉트론은 아직은 이해하기에 무리가 있고 특히 사식과 행렬 표시는 무슨 말인지 잘 모르겠다. 그래도 우선은 그냥 넘어가려고 한다. 이 장을 마치고 연습문제를 풀 때 더 자세한 내용을 알 수 있으리라 생각한다.