-
RVE
RUL 예측 시에는 CNN(Convolutional NN)이나 RNN(Recurrent NN)를 사용하는 게 좋다. CNN이 좋은 이유는 특징 추출에 좋다. RNN이 좋은 이유는 데이터의 시간적 특성을 모델링하기에 양방향에서 쉽게 찾을 수 있다.또한 데이터 라벨링에 의존하지 않기 위해 semi-supervised 방법이 개발되기도 한다. 하지만 블랙박스로 처리되어 설명력이 부족하여 인간이 봤을 때 의사결정을 하기 쉽지않다. -> 따라서 RVE에서는 시각 진단맵을 제공한다.(성능이 저하된 항공기의 포인트는 주변 영역으로 그룹화되고 반대로 정상 항공기에 속하는 포인트는 위치하도록 하는 맵)즉, RVE에서는 두 가지 진단을 한다. 1. 먼저 상태가 알려진 샘플에 대해 잠재공간 속의 근접성을 기반으로 특정 순간의 항공기 상태를 감지하는 시각적 진단맵, 2. 항공기의 남은 수명을 결정짓는 RUL 값을 명시적으로 보고하는 정량적 진단
입력 데이터의 압축된 표현(잠재공간)을 학습하기 위해 VAE(Variational AutoEncoder) 비슷한 것을 사용하여 입력 데이터의 잠재 공간을 뽑아낸다. 우리는 VAE대신 RVE(Recurrent Variationl Encoder)를 사용한다.
VAE의 한계 : 주로 생성작업을 지향, 데이터를 가능한 한 압축한 상태로 프로젝션하여 잠재공간을 정규화하기때문에 중복이 발생?
인코더 - 잠재공간 - 디코더(분류기)
RVE : 인코더( 양방향(hidden state를 이용해 과거의 정보 보존, 데이터를 역방향에서 순방향으로도 처리) LSTM으로 구성 - 가우스 분포를 근사화한다.) - 회귀
인코더 - 잠재공간 - 회귀(디코더 대신 회귀 - Dense 층 2개, input tensor - output tensor)칼만 필터 : 데이터의 노이즈를 줄이기 위해 사용하는 것,
RVE에서 중요한 요소는 window 길이, smoothing 강도 또는 순환 계층(Recurrent layer)의 내부 뉴런 수 이다.
-
Stacked DCNN
Level1 : DCNN 사용.(Conv - Batch Normalization - Activation Func - Pooling - Dropout) 잠재적으로 유용한 특성을 추출. input 신호의 time window 인코딩을 생성. (1. 높은 차원의 feature를 낮춤, 2. 노이즈 제거)
Level2 : DCNN 사용.(FC - ReLU) RUL 추정. NASA Score대신 RMSE를 loss로 하여 training 했다.인코딩은 raw 신호의 차원 축소 버전이기 때문에 레벨 2 모델은 모델의 수용 필드(receptive field)를 확장하고 시간에 따른 추세trend 로부터 학습할 수 있다. 또한 이 L1,L2에 최적의 하이퍼파라미터를 얻기 위해 베이지안 최적화를 진행했다.
그리고 교차 검증 중에서도 kfold 반복 무작위 하위 샘플링 검증을 사용하였는데, 그 이유는 그냥 kfold는 validation set의 크기가 감소하기 때문이다. (일반적으로 모델의 성능을 validation하려면 train 세트의 일부를 최종 test 세트로 저장해야 합니다. 따라서 train/validation 세트의 샘플 수가 감소합니다.) -
semi-supervised
Semi-supervised learning은 fine-tuning 절차에서 레이블이 지정된 훈련 데이터가 감소할 때 supervised learning에 비해 더 높은 RUL 예측 정확도를 수행합니다. 준지도 학습은 학습 데이터가 100% 레이블링된 경우 지도 학습에 비해 더 높은 RUL 예측 정확도를 제공합니다. 이는 unsupervised pre-training 단계가 무작위로 초기화되는 가중치보다 더 적합한 로컬 최소값을 사용하여 가중치를 초기화한다는 것을 나타냅니다. 특히 훈련 레이블의 60% 이상이 포함된 경우 만족스러운 RUL 예측 정확도를 제공합니다. 즉 semi-supervised learning의 활용도는 다음과 같이 훈련 레이블의 40% 이상을 제거할 때 눈에 띄게 나타납니다.L1 RBM(Recurrent Boltsmann Machine) : 레이블이 지정되지 않은 raw input data에서 추상적인 feature를 자동으로 학습하기 위해 비지도학습의 사전훈련단계로 활용된다.
L2,L3 LSTM : 숨겨진 정보를 드러내고 순차데이터의 장기종속성 학습.
L4 FNN : 추출된 모든 특징을 매핑
L5 FC : loss계산 및 RUL 예측GA : Genetic Algorithm - 하이퍼파라미터를 효율적으로 조정하기 위해.
드롭아웃은 서로 다른 아키텍처의 기하급수적인 수를 대략적으로 결합합니다. 따라서 딥 아키텍처는 입력 데이터의 일반화된 표현을 학습하여 특징 추출 능력을 향상시킵니다.
CNN과 LSTM은 모두 순전히 지도 학습에 의존합니다. 즉, 훈련 절차에서 레이블이 지정된 큰 훈련 데이터 세트가 필요합니다.
RNN : CNN이 이미지 데이터 처리할 때 좋듯, 순차(시계열) 데이터 처리할 때 쓰는 딥러닝 모델
RNN의 Recurrent 인 이유 : 이전 시점에 생성된 hidden state를 다음 시점에도 사용하기 때문이다.
RNN은 시스템이 언제 고장나기 시작하는지 감지할 수 있고 과거 상태 정보의 피드백을 제공함으로써 고장에 대한 일관된 응답을 학습할 수 있다. 반복 신경망은 이전 입력과 숨겨진 상태의 임의의 수를 설명할 수 있으며 강력한 숨겨진 상태를 학습할 수 있다.
단점 : 기울기 소실 문제가 발생(Vanishing Gradient) 엄청 긴 문장(장기 의존성 = Long term Dependency)를 다루기가 어렵다.
LSTM : 셀 안팎의 정보 흐름을 조절하는 메모리 셀을 도입했습니다. 결과적으로 메모리 셀은 장기간에 걸쳐 상태를 유지 장기 의존성과 단기 의존성을 모두 기억할 수 있다는 뜻이다. Long Short. 새로 계산된 hidden state를 출력값으로도 사용한다.
GA(Genetic Algorithm) 접근방식 : 하이퍼 파라미터를 조정하기 위해
CNN이 좋은 이유는 특징 추출에 좋다. [14,15,16]
RNN이 좋은 이유는 데이터의 시간적 특성을 모델링하기에 양방향에서 쉽게 찾을 수 있다.[17,18,19]
AR(AutoRegression)(자기 회귀) 모델은 이전 관측 값이 이후 관측 값에 영향을 준다는 아이디어에 대한 모형으로 자기 회귀 모델이라고도 함
