클라이언트/ 서버/ 엔지니어 "게임 개발자"를 향한 매일의 공부일지

퀴즈 문제는 5개나 되지만 별로 어려운 문제가 아니니 금방 풀 것 같다. 앞서 배운 단원을 정리하며 문제를 풀어보겠다. 그리고 나서 스트레칭도 하며 조금 쉬어야겠다. 요즘 쉬지 않고 작업을 많이 했더니 어제 손가락과 손목이 너무 아파서 혼났다. 머리만큼 몸을 쓰는 것도 무척 중요하다.    퀴즈 5 - GPT    문제를 틀리고 말았다. 자료를 참고하지 않고 푸니까 아직 암기하지 못한 부분이 많아 가끔씩 틀리곤 한다. 이거 아니니 답은 X이겠다.       퀴즈 6 - GPT 3       퀴즈 7 - 학습 기법    이 문제는 조금 어려워서 틀렸다. In-context learning에 대해 생각해보고, 그와 관련된 용어 중 하나인 “메타”에 대해 알아보자. 메타-Learning은 다른 학습 과정을 통..

이어서 거대 언어 모델에 대해서 공부해 보겠다. LLM이라는 용어는 가끔씩 들어보았는데 이게 무엇인지는 잘 몰랐었다. 이 단원에서는 ChatGPT에 대해 좀 더 구체적으로 학습하게 될 것 같다.    이론 2 - GPT를 통해 알아보는 LLM의 등장               이러한 개념으로 GPT-1이 등장했다.       이미 정답이 없는 데이터로 사전 학습을 했기 때문에 적은량의 정답이 있는 데이터로 학습해도 좋은 성능을 보이게 된다.     대부분의 사람들은 물음표에 답을 채우는데 별 어려움이 없지만 GPT-1에서는 많은 데이터와 미세 조정이 필요했다.               In-context learning은 과제에 대한 설명과 예시와 프롬프트 내용만으로 태스크를 수행하는 과정을 말한다.   ..

오늘은 어제보다 2시간 이른 새벽 5시에 공부를 시작해 본다. 거기다가 전날의 학습일지부터 쓰기 시작했지만 오늘은 어제치 분량을 모두 달성해서 새롭게 시작하는 중이다. 오늘은 LLM에 대해서 공부해보려고 한다. 어제 공부했던 프롬프트 엔지니어링과 중복되는 부분이 좀 있어서 학습을 이어갈지 잠시 고민이 되었다.하지만 이 과목은 좀더 깊이 있게 다루며 언어도 파이썬뿐 아니라 C++도 병행하므로 무척 흥미롭고 배울 것도 많을 것 같다. 오늘의 목표도 이 과목 전체를 끝마치는 것이다. 그럼 오늘의 공부를 본격적으로 시작해 보겠다.     이론 1 - 프롬프트 이해        말뭉치 데이터가 있을 때 This is a car라는 문장을 만들고 싶어 한다. 얼마나 등장할지 한 단어씩 확률을 계산한다. 이를 곱하면..

이번 실습은 강의 영상이 정말 길다. 30분 가까이 되지만 천천히 따라해보겠다. 실습을 마치는데 아마 1시간 이상 걸릴 것 같다. 오늘의 마지막 공부니 최선을 다해서 진행해볼 것이다.     실습 - 프롬프트 비식별화    언어모델 중에서 한국어 기반 모델을 사용하게 된다.   이 코드를 실행하면 모델을 다운로드 받게 된다.   개체별로 토큰화가 되어 수, 기관 등 특별한 개체명으로 출력되고 있다.   이 문장이 어떤 의도로 만들어졌는지 살짝 유추를 하기 위한 마스크를 준다. 다 처리가 된 후에는 마스크가 된 곳을 원상 복구해준다.   유선상으로 말씀하신 거래대금 **###QT0###**은 ###OG1### 은행 ###QT2######QT3######QT4######QT3###890 (계좌번호), 예금주..

비식별화 단원을 이어서 학습해 보겠다. 이번에는 두 개의 이론 학습을 이어서 진행할 것이다.     이론 2 - 식별자 마스킹  식별자는 특정한 이름을 가지는 경우가 많다.     이러한 모델들은 많이 공개되어 있다. 이 내용을 통해서 일반 단어, 수, 기관 등을 감시해 낼 수 있다.     각각의 단어가 개체명인지 알아낸다.     단순히 단어를 지우면 어색한 문장이 되므로 해당 위치에 어떤 단어가 있었는지 약간의 힌트를 준다.      마스킹 단어를 영어로 번역하면 실제로 이런 결과물을 보여준다.      원래 단어로 원상 복구해주기도 한다. 이런 식으로 ChatGPT를 사용하면 민감 정보를 제거하여 ChatGPT 서버로 저장되지 않게 할 수 있다.     이론 3 - 가짜 식별자 생성  식별자 마스..

이제 오늘의 마지막 저녁 공부를 시작해 본다. 2시간 정도만 더 공부할 예정이다. 3주 차 과정이 남아있는데 우선 이론 수업부터 들어봐야겠다.     이론 1 - 프롬프트 보안의 필요성             실제로 ChatGPT에서 민감 정보를 입력하다가 데이터가 유출되는 문제도 발생했다. 우리가 입력하는 정보가 ChatGPU 학습에 사용될 수 있는 문제도 있다. 따라서 ChatGPT를 업무에 활용하는 데는 어느 정도의 위험성이 있는 것이다.                  퀴즈 1 - 비식별화       퀴즈 2 - 비식별화의 목적    문제를 아주 잘 풀었다.     학습을 마치고이번 학습은 정말 중요한 내용을 다루고 있었다. ChatGPT는 개인적인 목적으로 사용해야지 회사 업무에서 사용시에 중요한 ..

이어서 조금 전에 풀었던 이 실습 문제를 계속해서 풀어보겠다. 이번에는 참고 영상이 없어서 지시사항을 보면서 진행해 볼 것이다.   실습 2 - Langchain : 도구, 검색과 융합된 ChatGPT     2. ChatGPT를 활용한 요약 1. 코드 살펴보기     2. 터미널에 내용 입력하기  버튼을 눌러 링크로 이동한다.     3. 해당 내용 입력하기 이런 화면이 나타나면 이제 내용을 써본다.     윤석열 탄핵 기사를 이처럼 번역해서 써보았다.      4. Summarize 버튼 누르기 김동연 경기도지사가 탄핵 과정에서 경제 재건을 위한 긴급하고 과감한 재정 대책을 촉구했습니다. 그는 현 정부가 경제와 민생에 위기를 초래했다고 비판하며 상황 반전을 위한 특단의 대책을 촉구했습니다. 그는 재정..

2주 차의 마지막 실습을 진행해보려고 한다. 오후에 들어서 공부의 의욕이 많이 떨어졌지만 2시간만 더 집중해서 공부를 해볼 것이다.      실습 2 - Langchain : 도구, 검색과 융합된 ChatGPT    파일을 찾는 것도 참 어려웠는데 여기 practice에 5개의 파이썬 파일이 있다. 여기서 실습을 진행하게 된다. 실습 영상은 1개의 지시사항에 대한 문제만 풀어주기에 나머지 4개는 혼자서 진행해야 한다. 실습 과정이 정말 복잡하다. 강의를 들으면서 따라 하기가 힘들어서 그냥 보기만 했고, 이제 혼자 실습해 보기로 했다.   1. ChatGPT를 활용한 검색 1. 코드 살펴보기 이 코드는 Streamlit 앱을 사용해 LangChain을 기반으로 OpenAI API와 SerpAPI를 활용하여..

조금 전에 무척 어렵게 홈페이지 제작 실습을 마쳤다. 너무 어려워서 그냥 대충 하고 넘어가고 싶었지만 그래도 나중에 이런 식의 개발자 홈페이지를 만들 테니 틀은 익혀두는 것이 좋을 것 같았다.이번에는 이론 수업을 들어보겠다. 이 수업만 들으면 2주차 이론 학습을 마치게 된다.     이론 3 - 검색 엔진과 ChatGPT  새로운 정보를 접근하도록 만들어주는 템플릿이다.                     최신 정보도 이처럼 접근할 수 있다. 이 예제에서는 건강에 관한 책을 작성하는 질문을 해보았다.          이렇게 책을 작성하는 기초적이 초안 정도는 작성해볼 수 있다.     이론 4 - 도구를 활용하는 ChatGPT                 API 키 입력하는 내용은 그 외에 여러 PPT가..

조금 전에 ChatGPT로 홈페이지를 만드는 실습을 진행했는데 이번에도 비슷한 실습을 진행한다.    실습 1 - AIPRM을 활용해 ChatGPT로 홈페이지 만들기                이렇게 DevOps를 선택한 다음 원하는 스타일로 만들어볼 수 있다.       코드를 수정해서 이처럼 버튼 색깔을 수정해 볼 수도 있다. 이제 스스로 코드를 작성하며 실습을 진행해 보겠다.     직접 실습해 보기 1. AIPRM 홈페이지 들어가서 확장 프로그램 추가하기 링크 주소 AIPRM for ChatGPT - Chrome 웹 스토어AIPRM is your cheat code for ChatGPT. Adds a list of curated prompt templates and advanced features..