클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

이번 시간에도 ChatGPT에 대한 학습이 이어진다. 앞 시간은 개관을 살펴보았다면 여기서는 좀 더 자세히 알아보는 시간이 될 것 같다.     이론 2 - ChatGPT 이론          Seq2Seq는 단어를 벡터인 숫자로 만든 다음 다시 단어로 뽑아내는 작업을 말한다.      king에서 woman을 더하고 man을 빼니 queen이 된다.  그 외에도 이런 신기한 결과가 나온다. 이것은 사람들이 많이 사용하는 단어를 집어넣어 숫자화한 것이다.      자신이 생각하는 단어를 넣으면 유사도가 얼마나 높은지 알려준다. 숫자가 낮을수록 유사하지 않고, 원래 생각했던 단어와 비슷해질수록 숫자가 높아진다.        이런 식으로 어떤 단어가 더 유사한 단어인지 보여준다.      단어가 하나씩 들어..

새로운 선생님과 함께 2주 차 수업을 시작해 보겠다. 2주 차 수업도 이론과 퀴즈 문제로 구성되어 있다. 대부분 어제 공부했던 내용이지만 더 자세히 배울 수 있는 시간이므로 잘 들어볼 것이다.    이론 1 - ChatGPT 개요                                          ChatGPT는 일반 머신러닝과 다르게 자연어처리 학습방법을 사용한다.          추상화하여 새로운 언어를 만들어내는 것이다.      원래는 물음표에 Robot이 나와야 하지만 ChatGPT는 암기가 아니라 확률 분포로 데이터를 기억하고 있다. 그렇기에 그다음에 가장 많이 나올 확률을 찾는다.   처음에 ChatGPT는 영어를 기반으로 학습했기 때문에 한국어를 잘 몰라 이런 이상한 답변을 하기도 한..

퀴즈 문제는 5개나 되지만 별로 어려운 문제가 아니니 금방 풀 것 같다. 앞서 배운 단원을 정리하며 문제를 풀어보겠다. 그리고 나서 스트레칭도 하며 조금 쉬어야겠다. 요즘 쉬지 않고 작업을 많이 했더니 어제 손가락과 손목이 너무 아파서 혼났다. 머리만큼 몸을 쓰는 것도 무척 중요하다.    퀴즈 5 - GPT    문제를 틀리고 말았다. 자료를 참고하지 않고 푸니까 아직 암기하지 못한 부분이 많아 가끔씩 틀리곤 한다. 이거 아니니 답은 X이겠다.       퀴즈 6 - GPT 3       퀴즈 7 - 학습 기법    이 문제는 조금 어려워서 틀렸다. In-context learning에 대해 생각해보고, 그와 관련된 용어 중 하나인 “메타”에 대해 알아보자. 메타-Learning은 다른 학습 과정을 통..

이어서 거대 언어 모델에 대해서 공부해 보겠다. LLM이라는 용어는 가끔씩 들어보았는데 이게 무엇인지는 잘 몰랐었다. 이 단원에서는 ChatGPT에 대해 좀 더 구체적으로 학습하게 될 것 같다.    이론 2 - GPT를 통해 알아보는 LLM의 등장               이러한 개념으로 GPT-1이 등장했다.       이미 정답이 없는 데이터로 사전 학습을 했기 때문에 적은량의 정답이 있는 데이터로 학습해도 좋은 성능을 보이게 된다.     대부분의 사람들은 물음표에 답을 채우는데 별 어려움이 없지만 GPT-1에서는 많은 데이터와 미세 조정이 필요했다.               In-context learning은 과제에 대한 설명과 예시와 프롬프트 내용만으로 태스크를 수행하는 과정을 말한다.   ..

이번 실습은 강의 영상이 정말 길다. 30분 가까이 되지만 천천히 따라해보겠다. 실습을 마치는데 아마 1시간 이상 걸릴 것 같다. 오늘의 마지막 공부니 최선을 다해서 진행해볼 것이다.     실습 - 프롬프트 비식별화    언어모델 중에서 한국어 기반 모델을 사용하게 된다.   이 코드를 실행하면 모델을 다운로드 받게 된다.   개체별로 토큰화가 되어 수, 기관 등 특별한 개체명으로 출력되고 있다.   이 문장이 어떤 의도로 만들어졌는지 살짝 유추를 하기 위한 마스크를 준다. 다 처리가 된 후에는 마스크가 된 곳을 원상 복구해준다.   유선상으로 말씀하신 거래대금 **###QT0###**은 ###OG1### 은행 ###QT2######QT3######QT4######QT3###890 (계좌번호), 예금주..

이제 오늘의 마지막 저녁 공부를 시작해 본다. 2시간 정도만 더 공부할 예정이다. 3주 차 과정이 남아있는데 우선 이론 수업부터 들어봐야겠다.     이론 1 - 프롬프트 보안의 필요성             실제로 ChatGPT에서 민감 정보를 입력하다가 데이터가 유출되는 문제도 발생했다. 우리가 입력하는 정보가 ChatGPU 학습에 사용될 수 있는 문제도 있다. 따라서 ChatGPT를 업무에 활용하는 데는 어느 정도의 위험성이 있는 것이다.                  퀴즈 1 - 비식별화       퀴즈 2 - 비식별화의 목적    문제를 아주 잘 풀었다.     학습을 마치고이번 학습은 정말 중요한 내용을 다루고 있었다. ChatGPT는 개인적인 목적으로 사용해야지 회사 업무에서 사용시에 중요한 ..

이어서 조금 전에 풀었던 이 실습 문제를 계속해서 풀어보겠다. 이번에는 참고 영상이 없어서 지시사항을 보면서 진행해 볼 것이다.   실습 2 - Langchain : 도구, 검색과 융합된 ChatGPT     2. ChatGPT를 활용한 요약 1. 코드 살펴보기     2. 터미널에 내용 입력하기  버튼을 눌러 링크로 이동한다.     3. 해당 내용 입력하기 이런 화면이 나타나면 이제 내용을 써본다.     윤석열 탄핵 기사를 이처럼 번역해서 써보았다.      4. Summarize 버튼 누르기 김동연 경기도지사가 탄핵 과정에서 경제 재건을 위한 긴급하고 과감한 재정 대책을 촉구했습니다. 그는 현 정부가 경제와 민생에 위기를 초래했다고 비판하며 상황 반전을 위한 특단의 대책을 촉구했습니다. 그는 재정..

2주 차의 마지막 실습을 진행해보려고 한다. 오후에 들어서 공부의 의욕이 많이 떨어졌지만 2시간만 더 집중해서 공부를 해볼 것이다.      실습 2 - Langchain : 도구, 검색과 융합된 ChatGPT    파일을 찾는 것도 참 어려웠는데 여기 practice에 5개의 파이썬 파일이 있다. 여기서 실습을 진행하게 된다. 실습 영상은 1개의 지시사항에 대한 문제만 풀어주기에 나머지 4개는 혼자서 진행해야 한다. 실습 과정이 정말 복잡하다. 강의를 들으면서 따라 하기가 힘들어서 그냥 보기만 했고, 이제 혼자 실습해 보기로 했다.   1. ChatGPT를 활용한 검색 1. 코드 살펴보기 이 코드는 Streamlit 앱을 사용해 LangChain을 기반으로 OpenAI API와 SerpAPI를 활용하여..

조금 전에 무척 어렵게 홈페이지 제작 실습을 마쳤다. 너무 어려워서 그냥 대충 하고 넘어가고 싶었지만 그래도 나중에 이런 식의 개발자 홈페이지를 만들 테니 틀은 익혀두는 것이 좋을 것 같았다.이번에는 이론 수업을 들어보겠다. 이 수업만 들으면 2주차 이론 학습을 마치게 된다.     이론 3 - 검색 엔진과 ChatGPT  새로운 정보를 접근하도록 만들어주는 템플릿이다.                     최신 정보도 이처럼 접근할 수 있다. 이 예제에서는 건강에 관한 책을 작성하는 질문을 해보았다.          이렇게 책을 작성하는 기초적이 초안 정도는 작성해볼 수 있다.     이론 4 - 도구를 활용하는 ChatGPT                 API 키 입력하는 내용은 그 외에 여러 PPT가..

조금 전에 ChatGPT로 홈페이지를 만드는 실습을 진행했는데 이번에도 비슷한 실습을 진행한다.    실습 1 - AIPRM을 활용해 ChatGPT로 홈페이지 만들기                이렇게 DevOps를 선택한 다음 원하는 스타일로 만들어볼 수 있다.       코드를 수정해서 이처럼 버튼 색깔을 수정해 볼 수도 있다. 이제 스스로 코드를 작성하며 실습을 진행해 보겠다.     직접 실습해 보기 1. AIPRM 홈페이지 들어가서 확장 프로그램 추가하기 링크 주소 AIPRM for ChatGPT - Chrome 웹 스토어AIPRM is your cheat code for ChatGPT. Adds a list of curated prompt templates and advanced features..