클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

이제 형태소 분석기를 불러오며 설치를 진행해 보겠다. 얼마나 어렵던지 과연 될까 의문이 든다. 어제도 RNN 공부를 할 때 몇 시간 동안 코드 실행이 되지 않아 큰 어려움이 있었다. 오늘도 이를 피해 갈 수 없는 것 같다.다시 한번 코드를 수정하며 문제를 해결해볼 것이다.     한국어 감성 분석 두 번째 형태소 분석기 불러오기여러 가지 한국어 형태소 분석기가 개발되어 있다. Kkama, Komoran, Okt, Mecab 등을 예로 들 수 있다. 영어는 띄어쓰기가 잘 되어 있는 편이지만 한글은 띄어쓰기, 맞춤법 등이 잘못된 경우 분리에 어려움이 있다. 한편, 정확한 형태소 분석을 위해서는 데이터에 따라 전처리 과정 등이 필요할 수도 있다. 먼저 Mecab 형태소 분석기를 코랩 환경에 설치한다. 순서대로..

어제 오후부터 공부가 하기 싫어져서 오후와 저녁에는 거의 놀면서 시간을 보냈다. 원래는 RNN 단원을 모두 마치려고 했었는데 계획에 많은 차질이 생겼다.사실 공부하는 건 지루하고 별로 재미가 없을 때가 많다. 지난 6월부터 6개월 반이 넘도록 웹 개발과 인공지능을 나름 열심히 공부해 왔으나 난 아직 모르는 게 많고 내가 진짜로 아는 게 아는 건지 의문이 들었다. 프로젝트를 해보며 내 실력을 테스트해보고 싶어 어제 오후에는 내가 만들 수 있는 프로젝트를 찾아보았다. 근데 신기하게도 만들 수 있겠다는 확신이 드는 것들이 참 많았다. 12월까지 마쳐야 하는 공부가 있으니 조금만 기다렸다가 언어지능, 프롬프트 엔지니어링, Spring의 엘리스 수업은 들어볼 생각이다. 언어지능은 엘리스로는 없고 인사교에서 진행된..

자연어 처리(National Language Processing, NLP)는 스탬, 뉴스/쇼핑 카테고리 분류, 텍스트 요약, 문장 생성, 기계 번역, 챗봇 등 다양한 분야에 활용되고 있다.자연어를 처리하는 방법을 살펴본 후 순환신경망을 통해 감정 분류, 문장 생성 등 모델을 직접 만들어 보기로 하자.    자연어 처리 방법텍스트 데이터는 테이블 데이터와 같이 구조화되거나 데이터의 길이가 일정하지 않다는 특성을 갖는다. 따라서 문장의 길이가 다른 경우 딥러닝 모델에 입력으로 넣기 위해서는 길이를 동일하게 맞추는 작업이 선행되어야 한다. 가장 긴 문장의 길이에 맞출 수도 있고, 가장 짧은 문장 길이에 맞춰 넘치는 부분을 잘라낼 수도 있다. 또한 한글을 입력 데이터로 활용하기 위해서는 숫자로 변환해야 하고, ..

앞에서 simpleRNN, LSTM, GRU 순환 신경망 구조에 대해 간단하게 알아보았다. 이제 예제를 통해 순환 신경망을 활용하는 방법을 알아보자.    1. 임베딩컴퓨터는 우리가 사용하는 한글, 영어 등을 그대로 이해하지 못한다. 컴퓨터가 이해하는 벡터로 변경해야 하는데 그것을 임베딩(Embedding)이라고 말한다. 임베딩이 잘 될수록 모델의 성능 또한 높아지고 훈련도 잘되기 때문에 임베딩과 관련된 여러 가지 방법들이 개발되어 왔다.크게는 단어 수준의 임베딩(Word2Vec, FastText)과 문장 수준의 임베딩(Elmo, Bert, GPT 등)으로 구분할 수 있다. 단어 수준의 임베딩은 동음이의어를 구별할 수 없지만, 문장 수준의 임베딩은 사람처럼 문장의 맥락을 보고 이를 파악할 수 있다.단어 ..

여기서부터는 텐서플로 책으로 학습해보려고 한다. 3단원까지만 공부하고 점심을 먹으며 쉬어야겠다.     순환 신경망Recurrent Neural Network(Elman, 1990) 모델은 순차적인 정보 처리 신경망이라고 번역할 수 있다. 보통 약자인 RNN으로 부른다. 자연어 데이터, 음성 데이터와 이 순서가 있는 시퀀스(Sequence) 데이터 또는 시계열 데이터를 분석하는 데 적합한 신경망이다. 예를 들어 “함께 성장하는 커뮤니티를 만들고 싶다”라는 문장이 있다면 이전에 배운 완전연결 신경망(FC)이나 합성곱(CNN) 신경망에서는 순서 상관없이 데이터를 입력(Input)받는다. [그림 5-1]의 왼쪽 그림처럼 동시에 모델에 모두 입력된다.반면, 순환신경망(RNN)에서는 데이터 순서를 유지하면서 차례..

순환 신경망 마지막 학습이 될 것 같다. 지금 공부하는 책은 기초 과정이니 아직 심화 과정의 책이 남아있지만 말이다.     순환층에 드롭아웃 적용하기  완전 연결 신경망과 합성곱 신경망에는 Dropout 클래스를 사용해 드롭아웃을 적용했다. 이를 통해 모델이 훈련 세트에 너무 과대적합되는 것을 막았다. 순환층은 자체적으로 드롭아웃 기능을 적용한다. SimpleRNN과 LSTM 클래스 모두 dropout 매개변수와 recurrent)dropout 매개변수를 가지고 있다. dropout 매개변수는 셀의 입력에 드롭아웃을 적용하고 recurrent_dropout은 순환되는 은닉 상태에 드롭아웃을 적용한다. 하지만 기술적인 문제로 인해 recurrent_dropout을 사용하면 GPU를 사용하여 모델을 훈련하..

순환 신경만에서 빼놓을 수 없는 핵심 기술인 LSTM과 GRU 셀을 사용한 모델을 만들어볼 것이다. 시작하기 전에이 절에서는 고급 순환층인 LSTM과 GRU에 대해 알아보겠다. 이른 층들은 앞에서 배웠던 SimpleRNN보다 계산이 훨씬 복잡하다. 하지만 성능이 뛰어나기 때문에 순환 신경망에서 많이 채택되고 있다.일반적으로 기본 순환층은 긴 시퀀스를 학습하기 어렵다. 시퀀스가 길수록 순환되는 은닉 상태가 담긴 정보다 점차 희석되기 때문이다. 따라서 멀리 떨어져 있는 단어 정보를 인식하는 데 어려울 수 있다. 이를 위해 LSM과 GRU 셀이 발명되었다.      LSTM 구조   LSTM은 Long Short-Term Memory의 약자이다. 말 그대로 단기 기억을 오래 기억하기 위해 고안되었다. LSTM..

이어서 단어 임베딩을 사용하는 방법에 대해서 공부해 보겠다. 이것만 하면 2단원 학습은 마치게 된다.     단어 임베딩 사용하기 순환 신경망에서 틱스트를 처리할 때 즐겨 사용하는 방법은 단어 임베딩이다. 단어 임베딩은 각 단어를 고정된 크기의 실수벡트로 바꾸어 준다.     이런 오류가 떠서 코드를 이처럼 수정했다. 경고 메시지 Argument input_length is deprecated는 Embedding 레이어에서 input_length를 명시할 필요가 없다는 뜻이다. TensorFlow 및 Keras의 최신 버전에서는 입력 데이터의 길이를 자동으로 인식한다. 그다음 SimpleRNN 층과 Dense 층은 이전과 동일하다.   하지만 출력 결과 0으로 나온다. model2.summary() 결과..

순환 신경망을 훈련하는 내용을 학습해 보겠다.     순환 신경망 만들기책에 있는 코드 오류가 너무 많아서 다시 이전의 학습했던 코드를 수정하고 다시 만들어보기로 했다.      이제 드디어 출력이 잘 되었다.    순환 신경망 훈련하기   에러 메시지 "ValueError: The filepath provided must end in .keras (Keras model format). Received: filepath=best-simplernn-model.h5"는 ModelCheckpoint 콜백에 제공된 filepath 인자가 올바른 형식이 아님을 나타낸다. Keras는 전체 모델을 저장할 때 파일 경로가 '.keras'로 끝나기를 기대한다. 사용자 코드에서 파일 경로는 'best-simplernn-..

이번 시간에는 텐서플로를 활용해서 실습을 진행해보려고 한다.  시작하기 전에앞 절에서 순환 신경망의 작동 원리를 살펴보았다. 이번 절에서는 대표적인 신경망 문제인 IMDB 리뷰 데이터셋을 사용해 가장 간단한 순환 신경망 모델을 훈련해 보겠다.이 데이터셋을 두 가지 방법으로 변경하여 순환 신경망에 주입해 보겠다. 하나는 원-핫 인코딩이고 또 다른 하나는 단어 임베딩이다. 이 두 가지 방법의 차이점에 대해 설명하고 순환 신경망을 만들 때 고려해야 할 점을 알아보겠다.그럼 먼저 이 절에서 사용할 IMDB 리뷰 데이터셋을 적재해 보겠다.    IMDB 리뷰 데이터셋IMDB 리뷰 데이터셋은 유명한 인터넷 영화 데이터베이스인 imdb.com에서 수집한 리뷰를 감상평에 따라 긍정과 부정으로 분류해 놓은 데이터셋이다...