📒 Spark(22) - ML(4)

📌 Spark ML 모델 튜닝

Spark ML Tunning

• 최적의 하이퍼 파라미터 선택
• 최적의 모델 혹은 모델의 파라미터를 찾는 것이 아주 중요하다.
• 하나씩 테스트해보는 것 vs. 다수를 동시에 테스트 하는 것
• 모델 선택의 중요한 부분은 "테스트 방법"이다.
  -> 교차 검증(Cross Validation)과 홀드 아웃(Train-Validation Split) 테스트 방법을 지원한다.
• 보통 ML Pipline과 같이 사용한다.

Spark ML Model Test

• Method
  • Cross Validation : Cross Validator
  • Train-Validation Split

Tarin-Validation Split

1. Train data Set을 train&test로 분리
   

2. train data로 Model Building
   

3. test data로 예측값 수집
   

4. 예측값과 test용 lable을 비교
   

Spark ML Model Test

• Cross Validation(교차 분석 테스트)

• K-Fold Test라고 부르기도 한다. 참고

• 트레이닝 셋을 K개의 서브셋으로 나누어 총 K번의 훈련을 반복한다.

  • i번째 훈력을 할 때는 아래를 반복한다.
    • i번째 서브셋을 빼고 훈련을 하여 모델을 빌딩한다.
    • 만들어진 모델의 테스트는 i번째 서브셋으로 수행한다.

• Tarin-Validation Split보다 훨씬 더 안정적이다.
  -> 오버피팅 문제가 감소한다.
  

Spark ML Model Tuning

• TrainValidationSplit : 홀드아웃 기반 테스트를 수행한다.

• Cross Validation : 교차분석 (K-Fold)기반 테스트를 수행한다.

• 아래와 같은 입력을 기반으로 가장 좋은 파라미터를 찾아준다.

  • Estimator (ML Model 혹은 ML Pipeline)
  • Evaluator : ML Model의 성능을 나타내는 지표
  • Parameter : 훈련 반복 횟수 등의 하이퍼 파라미터
    -> ParamGridBuilder를 이용하여 ParamGrid 타입의 변수를 생성한다.

• 최종적으로 가장 좋은 결과를 보여준 모델을 리턴한다.

• 모델 선택시 입력

  • Estimator
    -> ML 알고리즘이나 모델 빌딩 Pipeline
  • Evaluator: ML Model성능 측정에 사용되는 지표 -> metrics
  • 모델의 파라미터 맵
    • 파라미터 그리드(ParamGrid)라고 불리기도 하는데 모델 테스트시 고려해야하는(가능한 학습 관련 파라미터들) 트리 관련 알고리즘에서 중요하다.
    • 테스트되는 파라미터의 예로는 트리의 최대 깊이, 훈련 횟수등이 있다.

Spark ML Model 성능 측정 - Evaluator

• evaluator 함수가 제공된다.
  -> 인자로 TestSet의 결과가 들어있는 DataFrame과 Parameter를 제공해야한다.

• ML 알고리즘에 따라 다양한 Evaluator가 제공된다.

  • RegressionEvaluator
  • BinaryClassificationEvaluator
    -> AUC(Area Under the Curve)가 성능지표가 된다.
  • MulticlassClassificationEvaluator
  • MultilabelClassificationEvaluator
  • RankingEvaluator

• Prediction 컬럼과 Label컬럼이 들어있는 DataFrame
  -> Logistic Regression의 경우 Probability 컬럼도 들어온다.

• 보통 이 DataFrame은 ML Model의 Transform함수가 리턴해준 값이 된다.

Spark ML Model Building 전체 프로세스