📒 Spark(11) - ML(2)

📌 Spark ML Pipeline

모델 빌딩과 관련된 흔한 문제

• 트레이닝 세트의 관리가 안된다.
• 모델 훈련 방법이 기록되지 않는다.
  • 어떤 트레이닝 세트를 사용했는가?
  • 어떤 피쳐들을 사용했는가?
  • 하이퍼 파라미터는 무엇을 사용했는가?
• 모델 훈련에 많은 시간을 소요한다.
  • 모델 훈련이 자동화가 안된 경우 매번 각 스템들을 노트북 등에서 일일히 수행한다.
  • 에러가 발생할 여지가 많다(특정 스템을 까먹거나 조금 다른 방식을 적용한다.)

ML Pipeline

• 기록과 시간을 해결하였다.

• 자동화를 통하여 에러 소지를 줄이고 반복을 빠르도록 해준다.

• ML Pipeline이란
  • 데이터 과학자가 ML 개발과 테스트를 쉽게 해주는 기능(Data Frame기반)
  • ML 알고리즘에 관계없이 일관된 형태의 API를 사용하여 모델링이 가능하다.
  • ML 모델 개발과 테스트를 반복가능하게 해준다.
    -> Transformer & Estimator로 구성되어 있다.
• 4개의 요소로 구성
  • DataFrame
  • Transformer
  • Estimator
  • Parameter

---

📌 ML Pipeline 구성 요소

DataFrame

• ML Pipeline에서는 DataFrame이 기본 데이터 포맷이다.

• 기본적으로 CSV, JSON, Parquet, JDBC(RDB)를 지원한다.

• ML Pipeline에서 다음 2가지 새로운 데이터소스를 지원한다.

  • Image 데이터 소스
    -> JPEG, PNG등의 image들을 지정된 디렉토리에서 Load한다.
  • LIBSVM 데이터 소스
    • label과 features 두 개의 컬럼으로 구성되는 머신러닝 트레이닝셋 포맷
    • features 컬럼은 벡터 형태의 구조를 갖는다.

Transformer

• Input DataFrame을 다른 DataFrame으로 변환
  -> 하나 이상의 새로운 컬럼을 추가한다.

• 두 종류의 Transformer가 존재하며 Transform이 메인 함수이다.
  -> Feature Transformer & Learning Model

• Feature Transformer

  • Input DataFrame의 컬럼으로부터 새로운 컬럼을 만들어내 이를 추가한 새로운 DataFrame을 출력으로 내준다. 보통 Feature Engineering을 하는데 사용한다.

  • Imputer, StringIndexer, VectorAssembler

    • Imputer는 기본값 지정에 사용
    • StringIndexer는 categorical 정보를 숫자 정보로 변환
    • VectorAssembler : 주어진 컬럼들을 통합하여 하나의 벡터 컬럼으로 변환

• Learning Model

  • ML 모델에 해당한다.
  • Feature DataFrame을 Input으로 받아 예측값이 새로운 컬럼으로 포함된 DataFrame을 출력으로 내준다. : Prediction, Probability

Feature Transformer

• Transform 함수
  

Learning Model

• ML 모델에 해당 -> Transform 함수로 동작한다.
  

Estimator

• ML 알고리즘에 해당한다. -> Fit 이 메인 함수이다.

• Training set DataFrame을 Input으로 받아서 ML 모델(Transformer)을 만들어낸다.

  • Input : DataFrame(Training set)
  • Output : ML Model

• LogisticRegression은 Estimator이고 LogisticRegression.fit()을 호출하면 ML 모델(Transformer)을 만들어 낸다.

• ML Pipeline 도 Estimator이다.

• Estimator는 저장과 읽기 함수를 제공한다.
  -> 즉 모델과 ML Pipeline을 저장했다가 나중에 다시 읽을 수 있다.
  -> save & load
  

Parameter

• Trasformer & Estimator의 공통 API로 다양한 인자를 적용해준다.

• 두 종류의 파라미터가 존재한다.

  • Param(하나의 이름과 값)
  • ParamMap(Param List)

• 파라미터 예

  • 훈련 반복수(iteration) 지정을 위해 setMaxlter()를 사용
  • ParamMap(lr.maxlter -> 10)

• 파라미터는 fit(Estimator) or transform(Transformer)에 인자로 지정 가능하다.

ML Pipeline

• 하나 이상의 Transformer와 Estimator가 연결된 모델링 WorkFlow

  • Input : DataFrame
  • Output : ML Model

• ML Pipeline 그자체도 Estimator이다.

  • ML Pipeline의 실행은 Fit 함수의 호출로 시작한다.
  • 저장 후 나중에 다시 로딩하는 것이 가능하다(Persistence)

• 한 번 Pipeline을 만들면 반복 모델빌딩이 쉬워진다.