클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

Seq2Seq에서 동문서답하는 문제를 해결하고자 입력 데이터의 중요한 단어에 집중하는 어텐션(Attention)이라는 개념이 제안되었다. 디코더 부분에 어텐션 레이어를 추가하여 챗봇의 성능의 성능을 향상시켜 보겠다.   어텐션(Attention)Seq2Seq 모델은 기계 번역, 텍스트 요약, 챗봇과 같은 작업에 큰 성과를 보였다. 하지만 문장의 길이가 길어질수록 인코더의 마지막 상태(고정된 맥락 벡터)가 문장 전체를 표현하기 어렵고, 경사 소실과 경사 폭발 문제로 인해 모델의 성능이 떨어지는 문제가 있다. 이를 보완하기 위해 2015년 Seq2Seq 모델에 어텐션(Attention) 메커니즘을 더한 모델이 제안되었다. 사람이 문장을 읽거나 듣고 이해할 때 몇 개의 단어에 집중해서 이해하듯 어텐션 메커니즘..

시퀀스 투 시퀀스 모델에 대해 배우고 있다. 이번에는 모델을 학습하고 예측하는 단계를 진행해 볼 것이다.     Seq2Seq 모델로 챗봇 구현 세 번째 모델 학습   이번 예제에서 인코더를 어떤 형태로 구성할 것인지 다음 그림을 통해 확인하자. 고정된 길이의 입력이 들어오면 인코딩에서는 먼저 임베딩 레이어를 거쳐 RNN에 순차적으로 입력되어 최종 은닉 상태와 셀 상태를 출력하면 되는 간단한 구조이다.   인코더와 디코더를 클래스로 만든다. 클래스는 아래 그림과 같이 기본적으로 초기화 함수와 실행 함수가 있다. 초기화 함수에서는 실행 함수에 사용할 변수, 레이어를 미리 불러온다. 이때 파라미터 값을 미리 설정하기도 한다. 인코더에서 필요한 임베딩 레이어, LSTM 레이어, 드롭아웃을 체기화 함수에서 불러..

다음으로는 챗봇을 구현하는 내용을 학습해 볼 차례이다.    Seq2Seq 모델로 챗봇 구현하기 1. Seq2Seq 모델 개요시퀀스 투 시퀀스(Sequence to Sequence, 줄여서 Seq2Seq) 모델은 기계 번역, 챗봇, 텍스트 요약 등에 활용되는 대표적인 NLP 알고리즘이다. 앞서 소개한 [그림 5-4] 순환신경망 중에서 Many to many 유형에 속한다. 2014년에는 순환신경망을 이용한 Seq2Seq 모델이 소개되었고, 2015년에는 입력 데이터 중에서 중요한 단어에 집중하는 어텐션(Attention) 메커니즘을 Seq2Seq 모델에 적용했다. 2017년에는 트랜스포머(Transformer: All you need is Attention)가 등장했는데, Seq2Seq 모델에서 순환신경..

마음을 다시 추스르고 RNN 공부를 다시 시작해 보는 중이다.     자연어 생성순환신경망을 사용해 새로운 문장을 생성하는 방법을 알아본다. 라이브러리 및 데이터 불러오기   감성 분석(분류)에서 활용했던 네이버 영화 리뷰 데이터 셋을 활용한다.    데이터 내용을 확인한다.     데이터 전처리이번에는 텍스트 전처리를 하기 위해 한글 형태소 분석기 중 Okt(구, twitter)를 활용한다.   문장 생성에서의 전처리는 앞서 다룬 텍스트 분류의 전처리와 다른 점이 있다. 자연스러운 문장을 위해 분용어를 제거하지 않는다. 불용어를 제거하게 되면 이상한 문장이 만들어질 수 있다.다음과 같이 형태소 분석기를 적용하는 전처리 함수를 정의한다.   모델 성능을 위해서는 많은 데이터를 학습시켜야 하지만, 학습 시..

실행하는 코드마다 안돼서 너무 화가 난다. 공부를 다 때려치우고 싶은 심정이지만 그래도 다시 한번 공부를 진행해 보기로 했다. 정말 하고 싶은 공부만 하고 싶지만 세상 일은 그렇지 못하다.하기 싫어도 해야 하는 것이 있다. 어쨌든 잘 되지 않아도 시도는 해볼 것이다.     한국어 감성 분석 마지막 KoBERT 토크나이저SK T-Brain에서 한국어 성능 향상을 위해 개발한 KoBERT 토크나이저가 있다. 덕분에 쉽게 한국어 사전에 학습된 모델과 토큰화를 활용할 수 있다. 순환신경망 모델은 그대로 활용하고 토크나이저만 KoBERT를 적용한다. 먼저 SK T-Brain 깃허브에서 KoRERT를 다운로드해 설치한다.   오류 메시지를 보면, onnxruntime 라이브러리가 requirements.txt에서..