프롬프트 관련 확장 프로그램 1 - 프롬프팅의 한계

2주 차 수업을 시작해 본다. 수업 두 개만 듣고 아침 공부를 마치려고 한다. 1주 차 수업이 많이 어려웠지만 2주 차는 왠지 더 할만할 것 같다.

---

 

 

 

 

이론 1 - 프롬프팅의 한계

 

 

 

 

 

 

 

프롬프팅은 위의 3가지에 근간을 두고 있다.

 

 

 

 

 

언어 모델의 규모가 크므로 학습하는데 막대한 비용이 소모된다. 파라미터 70개로 추가되었을 때 원화로 30억원이 넘게 든다. 따라서 데이터가 추가되었다고 할지라도 이를 언어 모델로 새로 만드는 건 쉽지 않다.

최신 지식에 대해 물었을 때는 답변을 할 수 없다고 말하기도 한다.

 

 

 

 

 

 

언어 모델 안에서 텍스트를 나누는 단위를 토큰이라고 한다. 입력 토큰의 수가 2배가 되면 계산 비용이 4배가 된다. 그렇기에 입력 토큰으로 사용할 수 있는 최대수가 제한되어 있다. 사실 15000개의 토큰은 충분한 것은 아니다.

 

 

 

 

 

 

 

 

 

 

 

모델별로 다르다.

 

 

 

 

 

---

 

 

 

 

 

퀴즈 1 - 프롬프팅의 한계

 

 

 

---

 

 

 

 

 

 

퀴즈 2 - 언어 모델의 효율성

 

 

 

 

트랜스포머 모델은 토큰의 길이가 짧아져도 여전히 효율적이다. 그 이유는 인코더와 디코더 레이어 구조에서 위치에 따른 정보를 잘 담기 위해 포지셔널 인코딩을 사용하기 때문이다. 그래서 입력 벡터의 길이에 제한이 없고, 다양한 길이의 문장도 잘 처리할 수 있다.

맞추기는 했으나 자세한 내용은 알지 못해서 헬피에게 물어보았다.

---

 

 

 

 

 

퀴즈 3 - 언어모델의 유연성

 

 

 

---

 

 

 

 

학습을 마치고

이론 수업과 퀴즈 문제를 모두 풀어보았다. 수업을 한번 들었더니 퀴즈를 푸는 건 하나도 어렵지 않았다. 이번 시간에는 프롬프팅에는 어떠한 한계점이 있는지 공부해 보았다. 

프롬프팅이라는 단어도 생소했는데 조금씩 익숙해지고 있다. 2주 차 수업은 1주 차에 비해 짧아서 비교적 빨리 학습을 마칠 수 있을 것 같다.