https://arxiv.org/pdf/2303.11413
Abstract
최근 몇 년간 진동 신호는 다양한 공학 분야에서 발걸음으로 인한 활동 유발 구조 진동과 같은 구조 건강 모니터링, 고장 진단 및 손상 감지를 포함한 분석 및 모니터링 목적으로 많이 활용되고 있다. 그러나 다양한 종류의 잡음이 존재할 경우 발걸음으로 인한 신호 분석의 정확도가 저하될 수 있다. 본 논문에서는 여러 신호 및 반복 및 합성곱 신경망 예측의 앙상블을 활용하는 새로운 앙상블 모델을 제안한다.
- 전처리 단계: Fast Fourier Transform 및 웨이블릿 변환을 사용하여 시스템의 기본 물리학적 동역학을 포착하고 공간 및 시간 특성을 추출한다.
- 하이브리드 모델링 단계: 잡음이 섞인 신호와 FFT 결과를 연결한 것을 바탕으로 양방향 LSTM을 사용하여 잡음을 제거하고, CNN을 사용하여 신호의 간결한 특성 표현을 얻는다.
- 앙상블 단계: 세 개의 완전 연결 신경망 레이어를 사용하여 최종 잡음 제거된 신호를 생성한다.
Background and Introduction
구조 진동 신호는 토목, 기계, 생체 공학 분야에서 널리 사용된다.
생체공학 분야에서의 진동 신호 활용이 증하고 있는데 활동으로 인한 구조 진동은 동물 및 인간의 움직임을 분석하는 강력한 도구이다. 특히 발걸음으로 인한 신호 연구는 개인의 보행, 체중, 자세와 같은 고유한 정보를 제공하여 생체 인식 기능으로 활용될 수 있다. 진동 신호의 잡음 제거는 정확한 분석을 위해 중요하며, 이를 위해 효율적인 잡음 제거 방법이 필요하다.
본 논문에서는 새로운 하이브리드 CNN-RNN 스택 앙상블 모델의 구조를 제안한다. 양방향 LSTM 아키텍처를 사용하여 모델이 신호의 전방 및 후방 시간 종속성을 모두 포착할 수 있고, CNN 아키텍처는 복잡한 동역학에 의해 지배되는 상호 잡음 제거를 위해 여러 진동 신호의 간결한 표현을 추출한다. 기본 구조적 동역학을 모델링하기 위해 일련의 PDE/ODE를 활용하고, 합성 데이터셋을 사용하여 모델의 성능을 기존 모델과 비교하여 평가한다.
Dataset
실제 구조 진동 신호의 정확한 값 획득은 잡음, 측정 오차, 디지털화 한계 등으로 어려울 수 있어서, 비용이나 계산 부담 없이 대규모 데이터셋을 생성하기 위해 PDE/ODE 솔버를 사용했다. 가우시안 잡음을 추가하여 100,000개의 합성 시계열 데이터셋을 생성했다.
이 연구는 발걸음에 의해 유발된 구조 진동의 동역학에 초점을 맞추고 있다. 이 진동은 Kirchhoff-Love 판 모델의 응답으로 모델링될 수 있으며, 이를 위해 PDE 시스템의 해를 구한다. 이는 판의 변위와 회전을 설명하는 두 개의 결합된 편미분 방정식으로 이루어져 있다. 해결된 시스템을 통해 발걸음에 의한 진동의 현실적인 시뮬레이션을 생성할 수 있다.
합성된 데이터는 다양한 잡음 원천에서 비롯될 수 있는 보조 잡음을 포함한 잡음이 없는 기저 신호를 모델링하고, 이를 횡방향 굴절 wi(x,t)로 나타낸다. 발걸음에 의해 유발된 바닥 진동의 측정치는 분산 진동 감지 노드를 사용하여 수집되며, 합성된 결과는 실제 측정치와 밀접하게 일치한다.
세 발걸음으로 인한 바닥 진동 신호를 나타내며, 서로 다른 고유 주파수와 감쇠 비율을 가진 매체들의 진동의 합이다.
실제 발걸음에 의해 유발된 바닥 진동의 실제 측정치와 근사치를 보여주는 샘플 합성 결과가 유사함
Methods, Results and Discussion
여러 신호의 앙상블과 순환 신경망(RNNs) 및 합성곱 신경망(CNNs)의 예측을 활용하는 스택 앙상블 모델을 제안한다. 전처리 단계, 하이브리드 모델링 단계 및 앙상블 단계로 구성된다.
-
전처리 단계: 각 신호가 그 자체의 Fast Fourier Transform (FFT) 결과와 연결되고, 각 이미지는 공간 및 시간적 특성을 추출하기 위해 일련의 웨이블릿 변환을 거친다.
→ 웨이블릿 변환은 비정상적인 잡음이 존재하는 경우, 잡음 제거에 유용함
-
하이브리드 모델링 단계: 양방향 LSTM 네트워크를 사용하여 FFT 결과와 결합된 잡음이 있는 신호를 잡음 제거하고, CNN은 신호의 압축된 특성 표현을 추출한다.
잡음이 섞인 구조 진동 신호를 분석하기 위해 ’many-to-many’ 양방향 LSTM 아키텍처를 사용했다. 양방향 아키텍처를 사용함으로써 모델은 과거와 미래의 시간 종속성을 모두 캡처하여 예측의 정확도를 향상시킬 수 있다. 또한, 드롭아웃 정규화를 사용함으로써 과적합을 방지하고 일반화 성능을 향상시킬 수 있다. 또한, 드롭아웃 정규화를 사용하여 과적합을 방지하고 모델의 일반화 능력을 향상시켰습니다. 동시에, 각 신호는 공간 및 시간적 특성을 추출하기 위해 웨이블릿 변환을 거쳤고, 이러한 특성은 CNN의 입력으로 사용되어 잡음 제거 성능을 향상시켰다.
-
앙상블 단계: 세 개의 완전 연결 신경망 레이어를 사용하여 최종적으로 잡음이 제거된 신호를 생성한다.
각각의 신호에 ReLU 활성화 함수가 적용된 순환 신경망과 CNN 모델로부터의 임베딩을 연결하여 입력으로 사용한다. 이 단계의 신경망의 마지막 레이어의 뉴런 수는 각 신호의 샘플 수와 동일하며, 출력은 잡음이 제거된 신호인 ˆ y로 나타낸다. 모든 잡음 신호에 대한 양방향 LSTM 및 CNN 모델의 출력 결과를 연결하면 앙상블 예측의 전반적인 정확도를 향상시킬 수 있다.
모델의 정확성과 일반화 사이의 균형을 맞추기 위해 새로운 비용 함수를 제안했다. 이를 위해 훈련 세트에서의 예상 loss를 L2-norm을 사용하여 포함시켰고, 모든 잡음 신호가 동일한 원천에서 비롯된다는 가정 하에 LSTM 모델 예측 간의 차이도 loss 항으로 추가했다. 또한, LSTM, CNN 및 NN 모델의 학습 가능한 모든 매개변수에 대한 정규화를 도입하여 모델의 일반화 능력을 향상시켰다.
안정적인 평가를 위해 데이터셋을 훈련, 보류 검증 및 테스트 세트로 60:20:20 비율로 분할했다. 모든 신경망은 무작위 가중치로 초기화되어 처음부터 256개의 미니배치와 500번의 반복을 통해 훈련되었다. 소음 제거 방법은 다른 알고리즘과 PSNR 및 WMAPE와 같은 메트릭을 사용하여 평가되었다. 결과적으로, 우리 모델은 넓은 범위의 잡음 수준에서 일관된 성능을 보이지만, 잡음 수준이 높아짐에 따라 오류 분산이 증가할 수 있음을 관찰했다.
노이즈 레벨이 증가함에 따라 노이즈가 있는 이미지에 대한 오류가 크게 증가하며, 오차 분산이 증가하여 모델의 전반적인 성능이 저하될 수 있다
기존의 신호 소음 제거 모델과 비교하여 제안된 소음 제거 방법을 평가했다. PSNR과 WMAPE에서 더 높은 성능을 보였으며, 전반적으로 우수한 성능을 나타냈다. 우리의 방법은 테스트된 데이터 세트에서 예외적인 성능을 나타내었는데, 이는 구조적인 역학에 기반한 특화된 훈련과 적층 앙상블 아키텍처의 장점 때문이다.
더 높은 PSNR과 더 낮은 WMAPE로 입증된 바와 같이 조사된 노이즈 레벨의 전체 범위에서 다른 모델에 비해 우수한 성능을 보인다.
Conclusion
건설, 기계 및 생물공학에서 흔히 발생하는 단일 및 다중 구조 진동 신호의 소음 제거를 위한 혼합형 CNN-RNN 추적 앙상블 모델을 제안한다. 이 모델은 전처리 단계, CNN-RNN 혼합 모델링 단계 및 앙상블 단계 총 세 단계로 구성되며, 주파수 및 시간 영역 특성을 추출하여 기본 패턴 및 압축된 특성 표현을 학습한다. 실험 결과, 제안된 모델은 PSNR, SNR 및 WMAPE에서 기존 알고리즘을 능가하는 성능을 보였다. 이는 구조 역학에 의해 규제되는 신호에 대한 특화된 훈련과 혼합 모델링 아키텍처의 성능이 이런 결과를 냈다.
