강의 복습 내용

[Day 38]

(6강) 빠르게

(7강) 가지치기

Further Question

(6강) 빠르게

1) 두 계산에 차이가 발생하는 이유는 뭘까?(p 4)

2) Compression과 acceleration의 관계는? (p 22)

• Tightly coupled 관계이다.
• compression : 소프트웨어적으로 크기에 대한 중요한 정보만 남기고 압축하는 것을 의미
• acceleration : 하드웨어적으로 속도를 올리는 것을 의미

(7강) 가지치기

1) Mask는 언제 사용하는게 유용할까? (p 4)

• Pruning

2) Lottery Ticket Hypothesis의 key idea는 무엇인가? (p 28)

• A randomly-initialized, dense neural network contains a subnet- work that is initialized such that—when trained in isolation—it can match the test accuracy of the original network after training for at most the same number of iterations.

피어 세션 정리

강의 리뷰 및 Q&A

• (6강) 빠르게
• (7강) 가지치기

총평

오늘은 조금 여유가 있어서 강의에 온전히 집중할 수 있었습니다.
바빴을 때는 잘 몰랐는데, 강의에서 제공된 토이 코드를 활용하니 생각보다 괜찮았습니다.
그리고 오늘 강의에서는 모델 경량화와 직접적으로 관련 있는 Pruning과 Lottery Ticket Hypothesis에 대해서 학습할 수 있어서 좋았습니다.

오늘보다 더 성장한 내일의 저를 기대하며, 내일 뵙도록 하겠습니다.

읽어주셔서 감사합니다!