안녕하세요. 데보션 영 2기 이승규입니다.
데보션에선 매달 테크 세미나를 진행합니다.
7월 테크세미나 주제는 아래와 같습니다.
다가오는 Automated AI 시대, 그 기반 기술과 적용사례
박병선 발표자님께서 AutoML에 대해 HPO, XAI를 중심으로 설명해주셨고 용례도 소개해 주셨습니다.
용어설명
우선 용어부터 설명해드리겠습니다.
AutoML
머신러닝을 문제해결에 사용하려면 문제 정의, 데이터 수집 및 분석, 전처리, 모델 학습, Hyper-Parameter 최적화, 모델 평가 등의 많은 과정을 거치게 됩니다. 이러한 과정을 되풀이하며 발생하는 비효율적인 작업을 자동화하는 기술입니다.
Parameter
모델 내부에서 주어진 데이터로부터 얻어낸 변수
ex) Regression 의 회귀계수, D/L의 가중치(wieght)
Hyper-Parameter
모델 외부의 작업자가 직접 세팅해주는 값
ex) K-NN의 k값, D/L의 Learning rate
XAI (eXplainable Artificial Intelligence)
모델이 어떤 방식으로 결과값을 냈는지 사람이 알 수 있게 가시화하는 기술입니다. AI가 발전함에 따라 ML 과정에서 모델의 알고리즘을 이해하기 어려워지고 있습니다. 이와 같이 이해하기 어려운 모델을 Black-Box Model이라고 합니다. 이런 모델을 해석하기 위해 XAI의 필요성이 대두되었습니다.
AutoML
AutoML 기술은 점차 성숙되어 가고 있습니다. 이번 세미나에선 AutoML에서도 HPO, XAI 위주로 설명해주셨습니다.
HPO
Hyper-Parameter는 직접 설정해주기 때문에 어떤 값을 넣어주느냐에 따라 모델 성능이 달라집니다. 기존엔 숙련된 작업자가 유추를 통해 하이퍼파라미터를 설정하곤 했습니다.
HPO (Hyper-Parameter Optimization) 에 AutoML을 도입하면 여러기법을 통해 최적의 하이퍼파라미터를 알아낼 수 있습니다.
Grid Search
Hyper-Parameter의 탐색범위를 제한한 후 모든 조합을 순차적으로 탐색
- Min/Max, 간격을 통해 탐색범위를 제한
- 탐색할 Hyper-Parameter 조합들을 Grid에 보관
장점
- 쉽고 직관적
- 숙련된 작업자라면 적절한 탐색범위를 제한해 효율적으로 정확하게 비교분석할 수 있음
단점
- 균일한 간격으로 탐색하기 때문에 최적의 해를 지나칠 수 있음
- 느리다
Random Search
Hyper-Parameter의 탐색범위를 제한한 후 설정한 횟수만큼 임의의 조합을 탐색
- 균일 간격 탐색이 아니라 Random 탐색을 통해 최적해를 발견할 가능성을 높임
- 불필요한 반복 탐색 감소
장단점
- 탐색범위가 넓을 경우 일반화된 결과가 나오지 않음 (할 때마다 결과가 상이)
- 성과가 설정하는 탐색횟수에 의존적
Bayesian Optimization
Bayesian Inference
내가 알고자 하는 값은 동일 시험을 수만번 시행해서 가장 많이 나온 값
이를 위해 지금 알고 있는 정보와 현재의 증거로 내가 알고자 하는 값을 점차 추론해 나가는 것
이전 시행의 정보로부터 최적의 성과를 낼 수 있는 것 같은 Hyper-Parameter 추론
장단점
- 단순한 Search Method에 비해 적은 시도로 최적의 결과를 낼 수 있는 이론적 근거가 있음.
- 최적화 탐색의 속도 문제
- 기존이 탐색결과를 활용하는 순차적 접근이기 때문에 병렬처리 불가
- 활용과 탐색의 적절한 Trade-off
SHA (Successive Halving Algorithm)
적절한 중간 학습 과정에서 싹수가 없는 것은 Ealry Stop
HPO의 발전방향
- 처리속도 개선
- 탐색위치 추론
- 분산 컴퓨팅
XAI
XAI는 HPO보다 더 많은 내용을 설명해주셨는데요. 제 욕심에 HPO에 대한 내용을 너무 많은 내용을 옮겨적다보니 이젠 지쳤습니다..
XAI에 대해선 테크세미나를 직접확인하시기 바랍니다!!!ㅎㅎ
↓↓↓7월 테크세미나↓↓↓
https://devocean.sk.com/vlog/view.do?id=425&vcode=A03
