Notice
Recent Posts
Recent Comments
Link
«   2024/12   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
Tags more
Archives
Today
Total
관리 메뉴

목록트랜스포머 (1)

클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

순환 신경망(RNN) 14 - 트랜스포머

드디어 자연어 처리 부분을 마치고 트랜스 포머에 대해서 공부해보려고 한다.     트랜스포머트랜스포머는 순환신경망(RNN)을 사용하지 않고 어텐션만을 사용한 신경망이다. 2017년에 "Attention is All you Need"라는 논문을 통해 발표되었다.앞서 Seq2Seq 모델에서 어텐션 매커니즘을 도입함으로써 성능이 향상되었지만 여전히 순환신경망을 기반으로 해서 속도가 느린 단점이 있다. 순환신경망을 사용하면 인코더에서 입력을 차례대로 처음부터 끝까지 계산하고, 디코더에서도 동일하게 차례대로 처리한다. 이를 해결하기 위해 속도가 느린 순환신경망을 제외하고 어텐션만으로 구성된 트랜스포머를 제안하는 것이다 ([그림 5-46] 참조).   트랜스포머는 순서를 표시하기 위해 위치 인코딩(Positiona..
인공지능/딥러닝 2024. 12. 19. 18:49
이전 Prev 1 Next 다음