출처: https://excelsior-cjh.tistory.com/76
Batch Normalization에 대한 공부를 하다가,
중간에 bias를 앞의 Weight 행렬에 broadcasting해서 적용이 된다라는 말이 이해가 되지 않아 찾아보다가 좋은 글을 찾게 되어 글을 쓰게 되었다.
행렬의 덧셈에서 행렬 간의 덧셈(bias를 더해주는 것)이 불가능할 때, broadcasting을 통해 크기를 확장시켜 계산이 가능한 형태로 맞춰줄 수 있다.
🌻