Today I Learned

오늘은 내일 있을 테스트를 위해 하루종일 AI 과정에서 배웠던 내용을 복습했다.

AI 공부 키워드 정리

• 정형데이터 비정형 데이터

• EDA(탐색적 데이터 분석) : 분포와 관계

• 데이터 전처리 : 연속형(표준화, 로버스트, 정규화, 스케일링), 범주형(인코딩, 임베딩)

• fit,언더피팅,오버피팅, Regularization

• train-validation-test / Cross Validation(교차검증) k-fold / Reproducibility(재현성)

• 트리모델 / bagging(병렬) / boosting(순차) / 하이퍼파라미터(학습률, 깊이, 샘플링비율)

• 결측치처리(univariate, multivariate), 이상치처리(z-score)

• 피처엔지니어링(group by, Cross Validation, ealry stopping, 누적합)

• 피처 중요도 / 피처 선택 (filter,wrapper,embedded)

• 하이퍼 파라미터 튜닝(random, Bayesian), optuna(하이퍼파라미터 튜닝 프레임워크, 시각화도 가능)

• 앙상블 러닝(여러 알고리즘) : bagging, pasting(중복x), voting, boosting, stacking

• 결정트리에서 impurity(불순도)를 최소화 하는 방향 / tabnet

• 벡터, 스칼라, norm(L1, L2), 내적(두 데이터간 유사도)

• 행렬(matrix), 전치행렬(X.T), 성분곱, 스칼라곱, 행렬곱(@), 내적(np.inner), 역행렬(A^-1), 유사역행렬, 무어펜로즈 역행렬

• 경사하강법(미분값을 빼면서 함수값 감소), eps, 학습률, 편미분, gradient 벡터

• 딥러닝, 선형모델(행벡터 O=XW+b), softmax연산, 신경망(선형모델+활성함수(비선형,sigmoid,tanh,ReLU)),
  MLP(다층신경망, 적은뉴런으로 복잡한 패턴), 역전파알고리즘

• 확률론, 확률분포(x,y)~D, 이산형, 연속형, 조건부확률, 기대값, 몬테카를로샘플링(독립추출)

• 통계적모델링, 정규분포, 표집분포

• 최대가능도 추정법(MLE), 로그가능도함수, 쿨백-라이블러발산을 최소화

• 베이즈 통계학, 사후확률(나중에 따로 공부)

• 딥러닝(Data, Model, Loss Function, Optimizaion Algolithm)

• AlexNet(CNN), DQN(강화학습), Encoder-Decoder, Adam Optimizer(확률적경사하강법), GAN(생성자 판별자), ResNet(잔차연결)
  Transformer(NLP분야), BERT)트랜스포머사용), GPT, Self Supervised Learning

• 뉴럴네트워크(두뇌), MLP, Loss Function(MSE, MAE, RMSE / Cross-Entropy(분류문제))

• Optimization(손실함수 최소화 목표로 파라미터 조정) : 경사하강법, 일반화, Cross Validation, bagging, boosting, bias-variance tradeoff

• SGD(확률적 경사하강법), 배치 경사하강법, 미니배치 경사하강법, 배치사이즈가 커야 일반화가 좋다
  momentum(관성), adagrad, Adam(모멘텀+RMSprop)

• 정규화(오버피팅해결) : Ealry Stopping, Parameter Norm Penalty, Data Augmentation(변형), Noise Robustness, Label smoothing, Dropout, Batch normalization

• CNN, convolution, stride, padding, channel, AlexNet, VGGNet, GoogLeNet(nin), ResNet, DenseNet

• Detection(R-CNN)

• Sequential Model, RNN, LSTM, GRU

• Transformer, Self-Attention, Query,Key,Value, Softmax, Encoder, Decoder

• 생성모델, conditional independence, Auto-refressive Model, NADE, Pixel RNN, VAE, AAE

• GAN : generator, discriminator