Today I Learned
오늘은 내일 있을 테스트를 위해 하루종일 AI 과정에서 배웠던 내용을 복습했다.
AI 공부 키워드 정리
-
정형데이터 비정형 데이터
-
EDA(탐색적 데이터 분석) : 분포와 관계
-
데이터 전처리 : 연속형(표준화, 로버스트, 정규화, 스케일링), 범주형(인코딩, 임베딩)
-
fit,언더피팅,오버피팅, Regularization
-
train-validation-test / Cross Validation(교차검증) k-fold / Reproducibility(재현성)
-
트리모델 / bagging(병렬) / boosting(순차) / 하이퍼파라미터(학습률, 깊이, 샘플링비율)
-
결측치처리(univariate, multivariate), 이상치처리(z-score)
-
피처엔지니어링(group by, Cross Validation, ealry stopping, 누적합)
-
피처 중요도 / 피처 선택 (filter,wrapper,embedded)
-
하이퍼 파라미터 튜닝(random, Bayesian), optuna(하이퍼파라미터 튜닝 프레임워크, 시각화도 가능)
-
앙상블 러닝(여러 알고리즘) : bagging, pasting(중복x), voting, boosting, stacking
-
결정트리에서 impurity(불순도)를 최소화 하는 방향 / tabnet
-
벡터, 스칼라, norm(L1, L2), 내적(두 데이터간 유사도)
-
행렬(matrix), 전치행렬(X.T), 성분곱, 스칼라곱, 행렬곱(@), 내적(np.inner), 역행렬(A^-1), 유사역행렬, 무어펜로즈 역행렬
-
경사하강법(미분값을 빼면서 함수값 감소), eps, 학습률, 편미분, gradient 벡터
-
딥러닝, 선형모델(행벡터 O=XW+b), softmax연산, 신경망(선형모델+활성함수(비선형,sigmoid,tanh,ReLU)),
MLP(다층신경망, 적은뉴런으로 복잡한 패턴), 역전파알고리즘 -
확률론, 확률분포(x,y)~D, 이산형, 연속형, 조건부확률, 기대값, 몬테카를로샘플링(독립추출)
-
통계적모델링, 정규분포, 표집분포
-
최대가능도 추정법(MLE), 로그가능도함수, 쿨백-라이블러발산을 최소화
-
베이즈 통계학, 사후확률(나중에 따로 공부)
-
딥러닝(Data, Model, Loss Function, Optimizaion Algolithm)
-
AlexNet(CNN), DQN(강화학습), Encoder-Decoder, Adam Optimizer(확률적경사하강법), GAN(생성자 판별자), ResNet(잔차연결)
Transformer(NLP분야), BERT)트랜스포머사용), GPT, Self Supervised Learning -
뉴럴네트워크(두뇌), MLP, Loss Function(MSE, MAE, RMSE / Cross-Entropy(분류문제))
-
Optimization(손실함수 최소화 목표로 파라미터 조정) : 경사하강법, 일반화, Cross Validation, bagging, boosting, bias-variance tradeoff
-
SGD(확률적 경사하강법), 배치 경사하강법, 미니배치 경사하강법, 배치사이즈가 커야 일반화가 좋다
momentum(관성), adagrad, Adam(모멘텀+RMSprop) -
정규화(오버피팅해결) : Ealry Stopping, Parameter Norm Penalty, Data Augmentation(변형), Noise Robustness, Label smoothing, Dropout, Batch normalization
-
CNN, convolution, stride, padding, channel, AlexNet, VGGNet, GoogLeNet(nin), ResNet, DenseNet
-
Detection(R-CNN)
-
Sequential Model, RNN, LSTM, GRU
-
Transformer, Self-Attention, Query,Key,Value, Softmax, Encoder, Decoder
-
생성모델, conditional independence, Auto-refressive Model, NADE, Pixel RNN, VAE, AAE
-
GAN : generator, discriminator
