클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

시퀀스 투 시퀀스 모델에 대해 배우고 있다. 이번에는 모델을 학습하고 예측하는 단계를 진행해 볼 것이다.     Seq2Seq 모델로 챗봇 구현 세 번째 모델 학습   이번 예제에서 인코더를 어떤 형태로 구성할 것인지 다음 그림을 통해 확인하자. 고정된 길이의 입력이 들어오면 인코딩에서는 먼저 임베딩 레이어를 거쳐 RNN에 순차적으로 입력되어 최종 은닉 상태와 셀 상태를 출력하면 되는 간단한 구조이다.   인코더와 디코더를 클래스로 만든다. 클래스는 아래 그림과 같이 기본적으로 초기화 함수와 실행 함수가 있다. 초기화 함수에서는 실행 함수에 사용할 변수, 레이어를 미리 불러온다. 이때 파라미터 값을 미리 설정하기도 한다. 인코더에서 필요한 임베딩 레이어, LSTM 레이어, 드롭아웃을 체기화 함수에서 불러..

이번에는 Seq2Seq 모델로 데이터 전처리하는 내용을 공부해 보겠다.    Seq2Seq 모델로 챗봇 구현하기 두 번째 데이터 전처리정규식을 활용해 숫자, 한글을 제거하는 함수를 정의했다. 때에 따라서는 특수문자나 영어가 필요할 수 있으니 활용하고자 하는 데이터 및 해결하려는 문제에 따라 의사결정이 필요하다.    앞서 정의한 clean_sentence 함수를 사용해서, 샘플 문장을 전처리해 보면 한글과 숫자 이외의 모든 문자가 제거되었음을 확인할 수 있다.    먼저 konlpy 라이브러리를 코랩 환경에 설치한다. 코랩은 프로그램과 라이브러리 설치 없이 구글 계정만 있으면 누구나 쉽게 활용할 수 있는 장점이 있다. 하지만 기본적으로 설치된 라이브러리 이외에는 매번 필요한 라이브러리 설치가 필요하다.특..