2주차 완료! 이번 주는 내용이 어려운 부분이 많아 꽤 힘들었지만 열심히 해서 할 수 있는 데 까진 이해를 했다. 주말동안 잘 정리해보자!
일일 학습 정리로 매일 복습, 과제, 피어세션, 회고 정리했고 아래 링크 달았습니다.
과제 1에서는 데이터 불러오기 과정에서 불완전하게 불러지는 오류 때문에 그래프가 달라지는 것으로 확인.
최소제곱법으로 가중치 계산한 코드
self.weights = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
def backward(self, X, Y, ff_dict):
grads = {}
Z1, A1, Z2, A2 = ff_dict['Z1'], ff_dict['A1'], ff_dict['Z2'], ff_dict['A2']
W1, W2, b1, b2 = self.params['W1'], self.params['W2'], self.params['b1'], self.params['b2']
gZ2 = A2 - Y
grads['W2'] = np.dot(A1.T, gZ2)
grads['b2'] = np.sum(gZ2, axis=0, keepdims=True)
gA1 = np.dot(gZ2, W2.T)
gZ1 = gA1 * A1 * (1 - A1)
grads['W1'] = np.dot(X.T, gZ1)
grads['b1'] = np.sum(gZ1, axis=0, keepdims=True)
return grads
오늘은 스페셜 피어세션에서 다른 팀이 어떻게 진행하고 있는지 얘기를 했다.
진도로 바쁜 와중에도 논문이나 코테 준비같은걸 같이 하고 있어서 우리 조도 좀 더 뭔갈 더 해보는게 좋을 것 같다고 생각했다.
그래서 팀 회고에서 추가로 뭔갈 진행하자고 얘기가 나와서 다음주 부터 좀 더 바빠질테니 열심히 해야겠다고 생각했다.
이번 주는 transformer 전 까지는 내용이 이해하기 무리가 없었다. 하지만 attention 이후부터 갑자기 난이도가 올라갔다고 느껴졌고, 이해가 안되는 내용이 많아 혼자서 찾아보는 시간이 많았다. 월요일에 하루 시간 있으니 복습 제대로 해서 확실히 이해안가는 내용 없이 체크하고 넘어가자.
수학, 통계학쪽으로 모르는 부분이 아직 너무 많다. 책 산거 토대로 공부 좀 하자!!!