Paper review
1.Attention is all you need[순한맛]
트랜스포머 완벽 이해하기기술블로그를 작성할겸 Transformer을 공부하면서 느낀 내 의식의 흐름을 적어 놓을 예정이다.논문의 제목에서 알 수 있듯이 Transformer라는 아키텍처에는 이 어텐션이라고 하는 것이 메인 아이디어로 사용 된다는걸 알 수 있다.실제로 T
2024년 2월 12일
2.Catboost
부스팅의원리A식에 관한 설명먼저 t 시점에서 현재 모델 Ft가 있다.Ft가 예측하지 못한 것에 대해 추가로 예측한 어떤 h중에두 모델에 의한 예측값의 합과, 실제값 y의 로스를 최소화 시키는 H를 Ht+1로 만들어 준다.Ft에 Ht+1을 스텝사이즈 알파만큼 더해, t+
2024년 3월 3일