Today I Learned

2주차 완료! 이번 주는 내용이 어려운 부분이 많아 꽤 힘들었지만 열심히 해서 할 수 있는 데 까진 이해를 했다. 주말동안 잘 정리해보자!

주간학습정리

일일 학습 정리로 매일 복습, 과제, 피어세션, 회고 정리했고 아래 링크 달았습니다.

• 240812 TIL #464 AI Tech #6 머신러닝 / 선형 Classifier / 손실함수 / 최적화
• 240813 TIL #465 AI Tech #7 Training Neural Network
• 240814 TIL #466 AI Tech #8 RNN / Transformers
• 240815 TIL #467 내적과 np.dot()
• 240816 TIL #468 AI Tech #9 2주차 주간 학습 정리

과제

• 과제 1에서는 데이터 불러오기 과정에서 불완전하게 불러지는 오류 때문에 그래프가 달라지는 것으로 확인.

• 최소제곱법으로 가중치 계산한 코드

self.weights = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

• 과제 2는 pytorch없이 two-layer fully-connected neural network구현
  역전파 과정은 아래처럼 뒤로 가면서 연산 진행.

    def backward(self, X, Y, ff_dict):
        grads = {}
        Z1, A1, Z2, A2 = ff_dict['Z1'], ff_dict['A1'], ff_dict['Z2'], ff_dict['A2']
        W1, W2, b1, b2 = self.params['W1'], self.params['W2'], self.params['b1'], self.params['b2']

        gZ2 = A2 - Y
        grads['W2'] = np.dot(A1.T, gZ2)
        grads['b2'] = np.sum(gZ2, axis=0, keepdims=True)

        gA1 = np.dot(gZ2, W2.T)
        gZ1 = gA1 * A1 * (1 - A1)
        grads['W1'] = np.dot(X.T, gZ1)
        grads['b1'] = np.sum(gZ1, axis=0, keepdims=True)

        return grads

피어세션

• 오늘은 스페셜 피어세션에서 다른 팀이 어떻게 진행하고 있는지 얘기를 했다.
  진도로 바쁜 와중에도 논문이나 코테 준비같은걸 같이 하고 있어서 우리 조도 좀 더 뭔갈 더 해보는게 좋을 것 같다고 생각했다.

• 그래서 팀 회고에서 추가로 뭔갈 진행하자고 얘기가 나와서 다음주 부터 좀 더 바빠질테니 열심히 해야겠다고 생각했다.

회고

• 이번 주는 transformer 전 까지는 내용이 이해하기 무리가 없었다. 하지만 attention 이후부터 갑자기 난이도가 올라갔다고 느껴졌고, 이해가 안되는 내용이 많아 혼자서 찾아보는 시간이 많았다. 월요일에 하루 시간 있으니 복습 제대로 해서 확실히 이해안가는 내용 없이 체크하고 넘어가자.

• 수학, 통계학쪽으로 모르는 부분이 아직 너무 많다. 책 산거 토대로 공부 좀 하자!!!