오늘 학습 내용

1. 벡터

2. 행렬

3. 경사하강법

---

1. 벡터

• 벡터는 숫자를 원소로 가지는 List 또는 Array 이며, 열벡터와 행벡터가 있다.

• 파이썬의 Numpy 라이브러리는 행벡터를 기본으로 한다.

• 벡터는 공간에서 한 점을 나타내며, 원점으로부터의 상대적인 위치이다.

• 곱셈을 제외한 덧셈, 뺄셈 은 두 벡터의 모양이 같아야한다.

• 벡터의 노름(Norm)은 원점에서부터의 거리를 의미한다.

  • L1 노름 - 변화량의 절대값의 합
    
    $||x_{1}|| = \Sigma |x_{i}|$
    
    
  • L2 노름 - 유클리드 거리
    
    $||x_{2}|| = \sqrt{\Sigma |x_{i}|^{2}}$

  
  

• L1, L2 노름의 종류에 따라 기하학적 성질이 달라진다.

  

• 노름을 이용하여 두 벡터 사이의 거리 또는 각도를 구할 수 있다.

  • 두 벡터 사이의 거리
    • L1, L2 노름 모두 사용 가능하며, 벡터의 뺄셈을 이용
      
      
  • 두 벡터 사이의 각도
    • L2 노름과 제 2 코사인 법칙을 이용해 구할 수 있다.

---

2. 행렬

• 행렬은 행벡터 를 원소로 가지는 2차원 배열이다.

• 벡터는 공간 상에서 한 점, 행렬은 여러 점을 의미한다.

• 따라서, 행렬의 행벡터는 점 그자체이며, 열벡터는 각 점의 구성성분이다.

• 벡터와 마찬가지로 곱셈을 제외한 덧셈, 뺄셈, 스칼라곱, 성분곱은 모양이 같아야한다.

• 행렬의 곱셈은 i 번째 행벡터와 j 번째 열벡터 사이의 내적이다.

  

• 행렬은 벡터공간에서 사용되는 하나의 연산자이기도 하다.

  행렬곱을 통해 하나의 벡터를 다른 차원으로 이동시킬 수 있다.
  

• 역행렬은 어떤 행렬 A의 연산을 거꾸로 되돌리는 행렬이다.

• 역행렬은 행과 열의 수가 같으며, Determinant가 0 이 아닌 경우에만 존재한다.

• 유사역행렬 또는 무어-펜로즈 역행렬은 위의 조건을 만족하지 않아도 가능하다.

  

---

3. 경사하강법

• 경사하강법(Gradient Descent)은 미분값을 뺌으로써 함수의 극소값 위치를 찾는 방법이다.

• 머신러닝에 있어서 오차를 최소화 하는 파라미터 값을 찾기위한 최적화 과정에 사용된다.

• 이때, 파라미터가 여러개이기 때문에 편미분을 사용하여야한다.

• 각 파라미터에 대해 편미분 계산이 된 값의 집합을 그레디언트(gradient) 벡터라고 하며, 이를 이용해 극값을 찾아간다.

  그레디언트 벡터(Gradient Vector)
  

  
  

• 경사하강법을 이용한 선형회귀 파라미터 최적화

  RMSE(평균 제곱근 편차)가 아닌 MSE(평균 제곱 오차)를 사용
  → 식의 간소화를 위함.
  
  파라미터 업데이트 과정
  

• 미분가능하고 볼록한 함수에 대해서는 적절한 학습률(Learning Rate)와 학습횟수(Epoch)를 선택했을 때 수렴이 항상 보장 된다.

• 확률적 경사하강법(SGD)는 데이터 한개를 활용하여 파라미터를 업데이트한다.

• 미니배치 경사하강법(mini-batch GD)는 데이터 일부를 활용하여 파라미터를 업데이트한다.

• SGD와 mini-batch GD 모두 볼록이 아닌 함수도 전역최솟값을 찾아 갈 수 있다.

---

소감

오늘로 부스트캠프가 시작한지 2일차가 되었다.
그래도 2번째 날이라 그런지 첫날에 있던 긴장감이나 걱정은 많이 줄어든것 같다.
오늘은 AI를 탐구함에 있어서 필수적인 선형대수에 대해 공부를 하였는데, 원래 수학쪽에 약한면이있어서 애를 조금 먹었다.
부스트코스에서 제공되는 강의 외에 따로 책이나 유튜브 강의를 찾아보면서 조금 더 공부를 해야 할 것 같다.