Optimization

행렬 미분과 행렬 수치 연산 스터디 1주차 내용입니다. 교재는 MIT Matrix Calculus (for Machine Learning and Beyond)렉쳐 노트입니다. Based on MIT course 18.S096 (now 18.063) in IAP 2023

주제다변수 미적분 복습 2: 벡터 값 함수(Revisiting multivariable calculus, Part 2: Vector-valued functions)핵심 내용벡터 값을 내는 함수의 미분(야코비안, Jacobian) 개념을 정리하고, 선형 연산자 관점에서

한양대학교 융합전자공학부 최정욱 교수님의 연사 발표 Motivation & Basic왜 효율적인 AI 기술이 필요할까? \-기술이 발전하는데, 사용 비용은 떨어지고 있다. \-최적화를 할 때 Reduced-Precision을 사용하는 것이 좋았다..Well prec

Optimization이란, 어떤 함수를 최소화/최대화/하는 argument x를 탐색하는 것이다. Optimization이라는 목표를 위해 도입한 Gradient Descent 단계와 최소/극소점을 보장하는 Convex function에 대해 알아보자.