TIL(25.2.3)

📌 딥러닝이란?

• 인간의 뉴런을 모방하여 만든 것 → 퍼셉트론(Perceptron)
• 퍼셉트론은 AND, OR 연산 가능하지만, XOR 연산 불가능 → 1차 위기 발생
• 이를 해결하기 위해 다층 퍼셉트론(MLP, Multi-Layer Perceptron)이 등장 → ANN(Artificial Neural Network) 탄생
• ANN의 확장판이 DNN(Deep Neural Network)
• DNN = 은닉층(Hidden Layer)이 많아 복잡한 연산 가능

📌 특수한 딥러닝 모델들

• 🔹 RNN (Recurrent Neural Network)

  • 연속적인 데이터(시계열 데이터)를 처리하도록 특화된 신경망
  • 이전 상태를 기억하여 새로운 데이터를 처리 & 예측
  • 예제: 문장 생성, 음성 인식, 주가 예측

• ❌ 한계:

  • 긴 문장(장기 의존성 문제) 예측이 어려움
  • LSTM, GRU → 기억 능력을 향상시켜 보완
  • Attention 메커니즘 → 더 강력한 성능 제공
  • Transformer 모델 등장 → RNN을 대체함

• 💡 RNN 기반 자연어 모델이 발전 → 2022년 GPT 같은 LLM(대형 언어 모델) 등장

---

• 🔹 CNN (Convolutional Neural Network)

  • 이미지 처리에 특화된 신경망
  • 합성곱(Convolution) 연산을 사용하여 특징을 추출
  • 예제: 이미지 분류, 객체 탐지, 스타일 변환

• 💡 최근엔 "RNN이 이미지 처리를 더 잘한다"

  • 최근 연구에서 Vision Transformer(ViT)가 CNN을 대체할 가능성이 연구됨.

---

• 📌 자연어 처리 (LLM, NLP)
  🔹 토큰(Token) & 토큰화(Tokenization)
  • 문장을 작은 단위(토큰)로 나누는 과정
    예: "나는 사과를 좋아해" → ["나는", "사과를", "좋아해"]
  • 토큰을 숫자로 변환하는 과정 → 인덱싱(Indexing)

0: 나는  
1: 사과를  
2: 좋아해

🔹 워드 임베딩 (Word Embedding)

• 단어를 숫자로 변환하는데, 단순한 인덱스가 아니라 의미를 반영한 벡터 표현
• 비슷한 의미의 단어들이 가까운 벡터로 배치됨
  예제: Word2Vec, GloVe, FastText