강의 훑어보기

하이퍼파라미터 튜닝
강의를 듣긴 했는데 잘 기억이 안난다. 교차검증 수업도 여기에 포함되어있는데... train 데이터셋에서 vaildation 데이터셋을 바꿔가면서 모델의 유효성을 검증하는 듯 하다. 모델 생성 시 필요한 파라미터들이 있는데, 해당 파라미터의 값을 변경해보면서 모델을 개선하는 내용이었던 듯 하다. 왜 하이퍼가 붙는걸까? 그냥 파라미터 튜닝이라고 했을 때 누락되는 정보는 무엇이 있을까?

ROC, AUC
모델 평가 개념이다. 앞의 하이퍼 파라미터 튜닝은 모델의 개선을 말하는 듯 싶고, 해당 평가는 명확하게 어떤 것이 낫다고 보기 힘들 때 평가 방법이다. 예를 들어 암을 완벽하게 예측하는 모델을 만들고 싶다면 전부 암이라고 평가해버리면 된다. 하지만 이게 좋은 모델인가? 아닐 것이다. 따라서 다양한 예측 방식으로 모델을 평가하는 것이 필요하다. Recall, Precision, 그리고 하나 더있는데... 기억이 잘 안나네. 아무튼 여러가지로 모델을 평가해야 치우치지 않는 평가를 할 수 있다는 것이다.

회귀와 Cost Function
OLS (Ordinary? Least Square), MSE (Min? Mean? Squared Error), Gradient Descent, sigmoid 등의 개념을 배웠다. 경사하강법이야 한번 들어본 기억이 있어서 이해하는데, 아직 Cost Function이 무엇인지 명확히는 모르겠다. Linear Regression, Logistic Regression. Logistic Regression이 분류 문제에 대응할 때 사용한다고 들었던 것 같은데, Linear은 뭐였더라?

앙상블 기법
왜 앙상블이지? 아무튼 여기에 Random Forest가 있다. 내가 이해한 Random Forest는 Decision Tree를 중첩한 것이다.

통계와의 관련성에 대하여
아직 통계지식이 모자라서 이해가 안되는 부분은 만나지 못했다. 머신러닝이 통계 기반인 건 아는데, 통계를 어디까지 공부해야 하는지, 어떤식으로 머신러닝에 적용되는지는 머신러닝을 대략적으로 다 배우지 않고서는 이해할 수 없을 듯 하다. 그러니 납득이 안되는 통계를 만날때까지 그냥 머신러닝을 해보는게 답이 아닐까? 답은 아니지만 그렇게 할 예정이다.