거대 언어 모델(LLM)이란? 4 - few tunnig Vs Prompt Engineerning과 LLM의 주요 활용 분야

거의 마지막인 1주 차 이론 학습을 이어가 보겠다. 이번 단원은 제목도 정말 길다.

---

 

 

 

 

이론 4 - few tunnig Vs Prompt Engineerning

 

 

파인 튜닝과 프롬프트 엔지니어링은 서로 다른 장점이 있다. 파인 튜닝은 학습한 데이터에 맞는 결과를 도출할 수 있고, 프롬프트 엔지니어링은 빠른 결과를 낼 수 있다는 점이다.

 

 

 

 

 

파인 튜닝되었기에 특정 분야에 특화된 데이터로 학습하게 된다. 사용자가 특화된 작업에 대한 요청 사항을 보낸다면 모델의 학습 결과를 바탕으로 결과를 도출한다.

 

 

 

 

 

파인 튜닝에 대한 단점을 보완하기 위해 프롬프트 엔지니어링이 등장했다. 파라미터 업데이트 작업을 하지 않고 요청 사항을 프롬프트를 통해 지시하면 모델이 이를 출력한다. 이는 PLM의 크기를 매우 크게 늘리므로 가능한 일이다.

 

 

 

 

 

전문적인 용어가 필요한 영역에서는 파인 튜닝이 적합한 양식이 될 수 있다.

---

 

 

 

 

퀴즈 10 - Fine tuning

 

 

 

Fine-tuning은 미리 훈련된 모델의 가중치를 조정해서 특정 작업이나 분야에 맞게 만드는 과정이다. 이 과정에서는 모델의 모든 가중치를 업데이트할 수도 있고, 경우에 따라서는 높은 성능의 하드웨어가 필요할 수도 있다. 하지만 Fine-tuning의 큰 장점 중 하나는 특정 분야의 뉘앙스를 잘 이해할 수 있어서, 학습 데이터셋에 없던 입력 값에도 높은 예측 성능을 보여줄 수 있다는 점이다.

---

 

 

 

 

퀴즈 11 - Prommpt Engineering

 

 

---

 

 

 

 

이론 4 - LLM의 주요 활용 분야

 

 

 

 

 

 

 

 

---

 

 

 

 

학습을 마치고

이것으로 1주차 학습을 마친다. 2주 차에는 다른 선생님이 진행하시는 것 같다. 아마도 두 명의 선생님이 번갈아서 수업을 하는 것 같은데 이 방식도 나름 괜찮은 것 같다. 대부분의 강사들은 남성이기 때문에 아쉽지만, 난 여자 선생님이 수업하실 때 더 귀에 쏙쏙 들어오는 것 같다.

이 수업을 통해서 파인 튜닝과 프롬프트 엔지니어링의 차이점에 대해서 배울 수 있었다. 이전 과목과 많이 연계되어 이해하기가 어렵지 않았다.