모델의 용량
capacity == 모델의 용량 == 표현능력
가중치(==파라미터)와 관련이 큼.
과소적합과 과잉적합
과소적합이란 모델의 편향(오차)가 크고 모델의 변동성이 낮은것
과잉적합이란 모델의 편향은 작으나 분산과 변동성이 큰 것
과소적합은 모델의 한계로 일어나며, 과잉적합은 모델의 용량이 지나지게 큰 경우 생김.
과소적합은 모델의 용량을 늘리고, 과잉적합은 데이터의 수를 늘리는 방안, 검증집합을 사용함으로써 해결.
데이터를 늘리기 힘들다면 교차검증 사용.
부트스트랩(복원 추출)
https://modern-manual.tistory.com/31
데이터의 분포가 불균형할때 사용
예) 일반적인 케이스와 이상탐지 케이스의 데이터 분포 불균형
규제란?
수업에서 배운 규제는 크게 2가지
1. 데이터확대
2. 가중치 조절
데이터확대는 말그대로 데이터를 변형해서 늘리는것.
가중치 조절은 목적함수를 통해서 가중치가 너무 커지지 않도록 조정하는 것.
예) 가중치는 계수인데 이 계수가 극단적으로 작으면 0이 되고 그 항이 사라짐.
행렬
인공지능에서 데이터는 벡터로서 표현된다.
행렬은 벡터의 모음이다.
행렬을 이용하면 방정식을 간결하게 표현 가능하다. 다항식의 행렬표현
벡터의 내적의 의미
두 벡터의 유사도를 의미
행렬의 곱셈
행렬의 곱셈은 공간의 변환을 의미.
행렬을 곱해서 크기가 줄어드는 경우 == 차원수의 변화 == 저차원으로의 투영
이를 공간의 선형적 변환이라함.
벡터,행렬의 크기(길이)
놈으로 측정
오늘부터 열심히 산다