[Spring반] 기말 시험 5 - 언어지능 시험 및 문제 풀이

마지막으로 언어지능 문제를 풀어보겠다.

---

 

 

 

언어지능 문제

 

문제 21번

 

 

문제를 풀어보면 다음과 같다.

 

 

1. 긴 시퀀스를 학습할 때 기울기 소실(Vanishing Gradient) 문제가 발생한다.
   • RNN은 긴 시퀀스 데이터를 학습할 때, 역전파 과정에서 기울기 소실 문제가 발생하기 쉽다. 이로 인해 먼 과거의 정보를 학습하기 어렵고, 긴 시퀀스를 다루는 데 어려움을 겪는다. 이는 RNN의 대표적인 한계 중 하나이다.
2. 모델이 너무 복잡하여 학습 시간이 빠르다.
   • RNN은 일반적으로 학습 시간이 느리다. 순환 구조 때문에 각 단계에서 이전 단계의 출력을 입력으로 받기 때문에 병렬화가 어렵고, 따라서 학습 속도가 느려질 수 있다.
3. 입력 데이터가 반드시 고정된 크기여야 한다.
   • RNN은 가변 길이의 시퀀스를 처리할 수 있다. 이는 RNN의 장점 중 하나로, 고정된 길이의 입력만 처리해야 하는 제약이 없다.
4. 병렬 처리가 기본적으로 가능하다.
   • RNN은 각 단계가 순차적으로 연결되어 있기 때문에 병렬 처리가 어렵다. 이 때문에 학습 속도가 느려질 수 있으며, 이는 RNN의 주요 한계 중 하나이다.

따라서 답은 1번이다.

 

 

 

 

---

 

 

 

 

문제 22번

 

 

 

이 문제도 공부하지 않은 부분이라 생소하지만 하나씩 답을 찾아보자.

 

 

1. 중요한 정보를 장기적으로 기억하고, 불필요한 정보를 잊게 한다.
   • 셀 상태(Cell State)는 LSTM의 핵심 구성 요소로, 중요한 정보를 장기적으로 유지하면서도, 불필요한 정보는 잊게 하는 역할을 한다. 이는 게이트 구조(입력 게이트, 삭제 게이트, 출력 게이트)를 통해 이루어지며, LSTM이 긴 시퀀스에서도 정보를 효율적으로 유지할 수 있도록 한다.
2. 네트워크의 출력을 저장한다.
   • 셀 상태는 네트워크의 출력을 저장하는 역할이 아니다. 네트워크의 출력은 보통 은닉 상태(hidden state)가 담당한다.
3. 입력 데이터를 단일 벡터로 압축한다.
   • 셀 상태는 입력 데이터를 압축하는 기능이 아니다. 입력 데이터를 압축하는 것은 주로 인코더-디코더 구조에서 이루어지는 작업이다.
4. 입력과 출력의 크기를 맞춘다.
   • 셀 상태는 입력과 출력의 크기를 맞추는 역할과 관련이 없다. 크기 조정은 주로 네트워크의 입력층과 출력층에서 수행하는 작업이다.

따라서 답은 1번이다.

 

 

 

 

---

 

 

 

 

문제 23번

 

 

 

GRU는 LSTM의 대안으로 개발된 순환 신경망(RNN) 구조이다.

 

각 선택지 답 찾아보기

1. 더 복잡한 구조를 사용해 모델의 성능을 극대화하기 위해
   • GRU는 LSTM보다 더 간단한 구조를 갖고 있으며, 복잡한 구조를 사용하는 것이 개발 목적이 아니다.
2. RNN보다 더 나은 비선형 활성화를 제공하기 위해
   • GRU는 RNN에서 발생하는 기울기 소실(Vanishing Gradient) 문제를 해결하기 위해 설계된 것이지, 비선형 활성화 함수를 제공하기 위해 개발된 것이 아니다.
3. LSTM의 구조를 단순화하여 계산 비용을 줄이기 위해
   • GRU는 LSTM의 복잡한 구조를 단순화하여 계산 효율성을 높이기 위해 개발되었다. LSTM은 3개의 게이트(입력 게이트, 삭제 게이트, 출력 게이트)를 사용하는 반면, GRU는 2개의 게이트(리셋 게이트와 업데이트 게이트)만 사용하여 계산 비용을 줄이고 학습 속도를 개선한다. 또한, GRU는 LSTM과 비슷한 성능을 유지하면서도 더 적은 파라미터를 사용한다.
4. 장기 의존성 문제를 해결하기 위해
   • 부분적으로 맞는 설명이지만, GRU는 LSTM이 이미 장기 의존성 문제를 해결한 상황에서 구조 단순화를 위해 개발된 것이다. 장기 의존성 문제는 LSTM에서 해결되었기 때문에, GRU의 개발 목적과는 다소 거리가 있다.

따라서 답은 3번이다.

 

 

 

 

---

 

 

 

 

문제 24번

 

 

 

이 문제도 풀어보겠다.

 

1. 입력 시퀀스의 중요한 부분에 집중하도록 한다.
   • Attention 메커니즘은 입력 시퀀스의 각 요소가 다른 요소에 대해 얼마나 중요한지를 학습하여, 중요한 부분에 더 집중할 수 있도록 가중치를 조정한다. 이를 통해 모델이 문맥이나 중요한 정보에 더 초점을 맞출 수 있게 된다. 이는 특히 긴 문장에서 특정 단어나 구에 더 높은 가중치를 주어 의미를 이해하는 데 도움을 준다.
2. 모든 입력 데이터를 동일한 가중치로 처리한다.
   • Attention 메커니즘의 핵심은 각 입력 데이터에 대해 다른 가중치를 부여하는 것이다. 모든 입력 데이터를 동일한 가중치로 처리하는 것이 아니라, 중요한 데이터에 더 높은 가중치를 부여한다.
3. 입력 데이터를 순차적으로 처리해야 한다.
   • Transformer 모델은 Attention 메커니즘을 사용하여 입력 데이터를 병렬로 처리할 수 있다. 이는 RNN과 달리 순차적인 처리 없이 빠르게 학습할 수 있게 한다.
4. 모델의 파라미터 수를 줄인다.
   • Attention 메커니즘은 모델의 파라미터 수를 줄이기 위해 개발된 것이 아니다. 다만, 효율적으로 중요한 정보를 학습할 수 있도록 돕는 역할을 한다.

따라서 답은 1번이다.

 

 

 

 

---

 

 

 

 

 

문제 25번

 

 

 

이 문제는 BERT와 GPT 모델의 특성을 묻고 있으며, 옳은 설명을 모두 선택하는 문제입니다. 각 설명을 따라 하나씩 문제를 풀어보겠다.

 

 

1. BERT는 양방향(비대칭) 인코더를 사용하여 문맥을 이해하며, 주로 자연어 이해(NLU) 작업에 적합하다.
   • BERT는 양방향으로 문맥을 이해하기 위해 설계된 모델로, 양방향 인코딩을 사용하여 문장의 양쪽 문맥을 동시에 이해한다. 따라서 자연어 이해(NLU) 작업에 적합하며, 감정 분석, 질문 답변 등의 작업에 많이 사용된다.
2. GPT는 디코더만을 사용하여 텍스트를 생성하며, 자연어 생성(NLG) 작업에 뛰어나다.
   • GPT는 주로 디코더 기반 구조로 설계되어 있으며, 순차적으로 다음 단어를 예측하여 텍스트를 생성하는 데 특화되어 있다. 따라서 자연어 생성(NLG) 작업, 예를 들어 텍스트 생성, 문장 완성 등에 뛰어난 성능을 보인다.
3. BERT는 주로 언어 모델링과 텍스트 생성에 사용되며, GPT는 문장 분류와 감정 분석에 주로 사용된다.
   • BERT는 주로 자연어 이해(NLU) 작업에 사용되며, 텍스트 생성보다는 문맥 이해, 문장 분류, 감정 분석에 적합하다. 반면에 GPT는 자연어 생성(NLG) 작업에 주로 사용됩니다. 이 설명은 역할이 반대로 되어 있어 틀렸다.
4. BERT는 마스킹된 언어 모델링(Masked Language Modeling)을 사용하여 사전 학습되며, 문장의 전후 문맥을 모두 고려한다.
   • BERT는 입력 문장의 일부 단어를 마스킹(Masking)하고, 이 마스킹된 단어들을 예측하는 방식으로 학습된다. 이 과정에서 문장의 양방향(전후) 문맥을 모두 고려하여 학습하므로 문맥 이해에 강하다.
5. "GPT는 시퀀스-투-시퀀스(Seq2Seq) 모델로 구성되어 있으며, 번역과 요약 작업에 주로 사용된다."
   • GPT는 Seq2Seq 구조가 아니라, 주로 언어 모델링을 위한 디코더 기반 구조이다. Seq2Seq 모델은 번역, 요약 등에 적합하며, BERT나 GPT보다는 다른 구조에 가깝다.

따라서 맞는 답은 1, 2, 4번이다.

 

 

 

 

 

 

 

 

 

 

---

 

 

 

시험을 마치고

이로써 2시간 반 정도 걸쳐 5과목 시험을 모두 보았다. 컴퓨터 비전과 언어 지능 부분만 어렵고 나머지는 괜찮았다. 어려운 이유는 아직 공부하지 않았기 때문이다. 공부를 했던 머신러닝, 딥러닝, 시각지능은 잘 풀었던 것 같다.

오후에도 Spring 시험이 있는데 잘볼 수 있을지 걱정이다. 이 과목은 수업을 딱 하루 듣고 이후로도 공부를 해본 적이 없기 때문이다. 이제 점심을 먹고 쉬어야겠다. 오늘 아침 일찍부터 외출하느라 아침도 먹지 못했다.