클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

세 번째 단원으로는 할루시네이션이라는 다소 생소한 용어를 배우게 된다. 앞선 수업에서 이것이 무엇을 의미하는지 대충 알게 되었으니 이제 본 학습에 들어가 보자.     이론 3 - 할루시네이션      사실 관련 내용은 주의할 필요가 있다.                 이처럼 말도 안 되는 이야기를 하기도 한다. 하지만 지금 해보면 잘 나올 수도 있을 것 같다.          그럴싸한 정보를 소개하지만 자세히 보면 하나도 맞지 않다.                                     퀴즈 3 - ChatGPT의 주의점       학습을 마치고이번 단원은 사례를 중심으로 무척 재미있으면서도 가볍게 학습했다. ChatGPT를 사용할 때 이런 점을 유의해서 모든 정보다 다 옳다는 생각은 하지 ..

이번 시간에도 ChatGPT에 대한 학습이 이어진다. 앞 시간은 개관을 살펴보았다면 여기서는 좀 더 자세히 알아보는 시간이 될 것 같다.     이론 2 - ChatGPT 이론          Seq2Seq는 단어를 벡터인 숫자로 만든 다음 다시 단어로 뽑아내는 작업을 말한다.      king에서 woman을 더하고 man을 빼니 queen이 된다.  그 외에도 이런 신기한 결과가 나온다. 이것은 사람들이 많이 사용하는 단어를 집어넣어 숫자화한 것이다.      자신이 생각하는 단어를 넣으면 유사도가 얼마나 높은지 알려준다. 숫자가 낮을수록 유사하지 않고, 원래 생각했던 단어와 비슷해질수록 숫자가 높아진다.        이런 식으로 어떤 단어가 더 유사한 단어인지 보여준다.      단어가 하나씩 들어..

새로운 선생님과 함께 2주 차 수업을 시작해 보겠다. 2주 차 수업도 이론과 퀴즈 문제로 구성되어 있다. 대부분 어제 공부했던 내용이지만 더 자세히 배울 수 있는 시간이므로 잘 들어볼 것이다.    이론 1 - ChatGPT 개요                                          ChatGPT는 일반 머신러닝과 다르게 자연어처리 학습방법을 사용한다.          추상화하여 새로운 언어를 만들어내는 것이다.      원래는 물음표에 Robot이 나와야 하지만 ChatGPT는 암기가 아니라 확률 분포로 데이터를 기억하고 있다. 그렇기에 그다음에 가장 많이 나올 확률을 찾는다.   처음에 ChatGPT는 영어를 기반으로 학습했기 때문에 한국어를 잘 몰라 이런 이상한 답변을 하기도 한..

거의 마지막인 1주 차 이론 학습을 이어가 보겠다. 이번 단원은 제목도 정말 길다.    이론 4 - few tunnig Vs Prompt Engineerning  파인 튜닝과 프롬프트 엔지니어링은 서로 다른 장점이 있다. 파인 튜닝은 학습한 데이터에 맞는 결과를 도출할 수 있고, 프롬프트 엔지니어링은 빠른 결과를 낼 수 있다는 점이다.     파인 튜닝되었기에 특정 분야에 특화된 데이터로 학습하게 된다. 사용자가 특화된 작업에 대한 요청 사항을 보낸다면 모델의 학습 결과를 바탕으로 결과를 도출한다.     파인 튜닝에 대한 단점을 보완하기 위해 프롬프트 엔지니어링이 등장했다. 파라미터 업데이트 작업을 하지 않고 요청 사항을 프롬프트를 통해 지시하면 모델이 이를 출력한다. 이는 PLM의 크기를 매우 크게..

퀴즈 문제는 5개나 되지만 별로 어려운 문제가 아니니 금방 풀 것 같다. 앞서 배운 단원을 정리하며 문제를 풀어보겠다. 그리고 나서 스트레칭도 하며 조금 쉬어야겠다. 요즘 쉬지 않고 작업을 많이 했더니 어제 손가락과 손목이 너무 아파서 혼났다. 머리만큼 몸을 쓰는 것도 무척 중요하다.    퀴즈 5 - GPT    문제를 틀리고 말았다. 자료를 참고하지 않고 푸니까 아직 암기하지 못한 부분이 많아 가끔씩 틀리곤 한다. 이거 아니니 답은 X이겠다.       퀴즈 6 - GPT 3       퀴즈 7 - 학습 기법    이 문제는 조금 어려워서 틀렸다. In-context learning에 대해 생각해보고, 그와 관련된 용어 중 하나인 “메타”에 대해 알아보자. 메타-Learning은 다른 학습 과정을 통..

이어서 거대 언어 모델에 대해서 공부해 보겠다. LLM이라는 용어는 가끔씩 들어보았는데 이게 무엇인지는 잘 몰랐었다. 이 단원에서는 ChatGPT에 대해 좀 더 구체적으로 학습하게 될 것 같다.    이론 2 - GPT를 통해 알아보는 LLM의 등장               이러한 개념으로 GPT-1이 등장했다.       이미 정답이 없는 데이터로 사전 학습을 했기 때문에 적은량의 정답이 있는 데이터로 학습해도 좋은 성능을 보이게 된다.     대부분의 사람들은 물음표에 답을 채우는데 별 어려움이 없지만 GPT-1에서는 많은 데이터와 미세 조정이 필요했다.               In-context learning은 과제에 대한 설명과 예시와 프롬프트 내용만으로 태스크를 수행하는 과정을 말한다.   ..

오늘은 어제보다 2시간 이른 새벽 5시에 공부를 시작해 본다. 거기다가 전날의 학습일지부터 쓰기 시작했지만 오늘은 어제치 분량을 모두 달성해서 새롭게 시작하는 중이다. 오늘은 LLM에 대해서 공부해보려고 한다. 어제 공부했던 프롬프트 엔지니어링과 중복되는 부분이 좀 있어서 학습을 이어갈지 잠시 고민이 되었다.하지만 이 과목은 좀더 깊이 있게 다루며 언어도 파이썬뿐 아니라 C++도 병행하므로 무척 흥미롭고 배울 것도 많을 것 같다. 오늘의 목표도 이 과목 전체를 끝마치는 것이다. 그럼 오늘의 공부를 본격적으로 시작해 보겠다.     이론 1 - 프롬프트 이해        말뭉치 데이터가 있을 때 This is a car라는 문장을 만들고 싶어 한다. 얼마나 등장할지 한 단어씩 확률을 계산한다. 이를 곱하면..