📚 Structural Vibration Signal Denoising Using Stacking Ensemble of Hybrid CNN-RNN

Abstract

진동 신호들은 최근 건강 모니터링, 고장 진단, 손상 감지, 특히 바이오 공학 분야 등에서 활발하게 활용되고 있음. 발바닥에 의한 활동 유발 구조적 진동은 인체 및 동물과 같은 생물학적 시스템의 움직임을 분석하는 데 유용하며, 걸음걸이/체중/자세 등에 관한 소중한 정보를 제공하여 인간-컴퓨터 상호 작용의 도구로 작용됨. 그러나 여러 종류의 잡음이 해당 신호 분석의 정확성을 저해할 수 있는데, 본 논문에서는 여러 신호와 RNN/CNN 예측을 활용하는 새로운 앙상블 모델을 제안함.

• 전처리 단계: Fast Fourier Transform과 wavelet 변환을 이용하여 내제된 시스템의 물리 역학과 공간적/시간적 특성을 추출

📌 FFT: 푸리에 변환 - 시간 영역의 신호를 주파수 성분으로 변환하여 시간 영역에서 발생하는 주기성/반복적인 패턴을 감지할 수 있음. 오디오 신호, 영상 처리, 통신 시스템 등에서 사용됨. 특히 FFT는 빠르고 효율적인 주파수 도메인에서의 분석을 가능하게 함.

• Hybrid 모델링 단계: bi-directional LSTM을 이용하여 노이즈를 줄이는데 사용 + CNN은 신호의 간결한 특성 표현 추출
• 앙상블 단계: FC 층을 사용하여 최종 소음이 제거된 신호 생성

제안된 모델은 구조 진동 신호 관련 문제에 대처할 수 있으며 PSNR, SNR 및 WWAPE를 사용하여 평가된 다양한 잡음 수준에서의 기존 알고리즘을 능가하는 성과를 보임.

1. Background and Introduction

다양한 공학 분야에서 구조 진동 음용이 보편화

-> 노후 구조물 안전 확인, 터빈, 펌프 등의 기계를 모니터링, 결함 진단의 효과적인 수행

💡 진동 정보와 미소음 수준의 고품질 데이터 획득이 중요함.

• 특히 생물 공학 분야: 발걸음에 의한 신호의 연구 = 보행, 체중, 자세, 움직임과 같은 정보를 포함
  => 신체 상태 정보, 부상을 나타내는 보행 패턴/지표
  => 현대의 보안 프로그램, 생채 인증

✅ 진동 신호는 다양한 분야를 아울러 잠재적인 응용 가능성이 큼 -> 잡음 제거가 중요해짐!

• 잡음: 전기 간섭, 환경 요인, 측정 오류와 같은 원인에서 발생
  -> 문제 해결을 위해 Fourier 변환과 wavelet 변환 등의 다양한 신호 처리 기술 사용

🚨 But, 기존의 방법은 복잡하고 비정상적인 신호 처리에는 제한이 있음.

=> 동적 신호를 지배하는 기본적인 구조 역학을 효과적으로 포착하는 강력하고 효율적인 잡음 제거 방법에 대한 필요성!

🐵 본 논문에서는 하이브리드 CNN-RNN stacking 앙상블 모델의 구조를 제안함.
-> 양방향 LSTM 아키텍처로 신호의 전방, 후방의 시간 의존성을 모두 포착 + CNN 아키텍처는 복잡한 동적으로 조절되는 상호 잡음 제거를 위해 여러 진동 신호의 간결한 표현을 추출함.

=> 기본적인 구조 역학을 모델링하기 위해 PDE/ODE 집합과 합성 데이터셋을 활용하여 기존의 모델들과 성능을 비교함.

2. Dataset

구조 진동 신호

• 구조 진동 신호의 실제 지표를 얻는 것에는 다음과 같은 어려움 요인 존재 => 잡음, 측정 오차, 디지털화 과정의 제한, 신호 직접 측정 불가

=> 구조 진동 시계열 데이터셋을 생성하기 위해 많은 비용이 드는 실험/시뮬레이션 대신에 PDE/ODE 해법을 사용하여 출력에 보조 잡음을 추가하여 합성 시계열을 만들어냄.

+) 추가된 가우시안 잡음은 ϵ(t) = N (0, σ^2_ϵ)

본 논문의 연구는 발걸음에 의해 유발된 구조 진동 역학에 초점을 맞춤. 해당 진동은 구조 역학에서 널리 사용되는 모델인 Kirchhoff-Love plate의 반응으로 모델링될 수 있음.

+) Kirchhoff-Love plate 이론

• 판의 길이와 폭에 비해 얇고 작은 변형에 노출된다고 가정 => 작은 변형에 노출된다는 것을 의미
• 판의 등방성(모든 곳이 균일한 재료 특성)

➡️ 현실적인 시뮬레이션 생성 가능

외부 자극에 대한 반응을 나타내는 편미분 방정식

• wi(x, t)는 횡방향 휘게
• Di는 외부 충격에 대한 구조물의 물성
• Ti는 시간에 따른 구조물의 반응
• ρihi는 외부 충격에 의해 생성되는 횡방향 휘게에 대한 감쇠
• Ki는 외부 충격에 대한 횡방향 휘게에 대한 강성
• δ(x, t)는 시간과 공간에 대한 델타 함수
• ϵi,j(x, t) 전자기/음향 간섭과 같은 다양한 원인으로부터 유래하는 보조적 잡음

✅ Transverse deflection 횡방향 휘게 - 외부 자극에 의해 흔들릴 때, 구조물의 표면이 수직 방향으로 얼마나 이동하는지를 나타낸 것!

💡 횡방향 휘게 wi(x, t) = 기본 신호로, 잡음 제거 모델이 복원하려는 신호

(a): 3개의 발자국의 바닥 진동 신호 -> 자연 주파수, 감쇠 비율 매체로부터의 진동이 합성되어 있음.

(b): 발걸음 유도 바닥 진동의 실제 측정과 근접한 💡합성 샘플의 결과

3. Methods, Result and Discussion

여러 신호의 앙상블과 RNN, CNN의 예측을 활용하는 Stacking Ensemble 모델을 제안함.

• 여러 센서를 사용하던 기존 기술 => 하나의 측정만 활용 가능한 경우에도 효과적인 잡음 제거 기능을 보임.

1. 전처리 단계

✅ FFT 결과와 연결, 각 이미지는 공간/시간 특성을 추출하기 위한 이련의 wavlet 변환을 거침.

입력 데이터로부터 유용한 특성을 추출

(1) FFT: 주파수 영역에서의 특성 추출 - 시스템의 기본 물리학적 상태를 캡처, 예측 정확도를 향상
(2) 양방향 LSTM: 위의 결과를 함께 추가 입력하여 예측의 정확도를 향상
(3) Wavlet 변환: 데이터로부터 공간/시간적 특성 추출 - 비정상적 잡음이 존재하는 경우 노이즈를 신호에서 분해하여 제거하는 데 유용

=> 모든 잡음 신호가 동일한 진동원에서 유래: 상호 연관된 내제 신호를 이용한 '공동 잡음 제거'는 서로 보완되는 상호 신호를 활용

• y[1]LSTM과 y[2]CNN은 각각 LSTM/CNN 모델의 입력으로 사용되는 첫 번째 레이어의 출력값을 의미, i는 0~m까지의 신호 인덱스

2. 혼합 모델링 단계

✅ 양방향 LSTM 네트워크가 FFT 결과와 연결된 잡음 신호를 제거하고, CNN은 신호의 간결한 특성 표현 추출에 사용됨.

• 하고 비정상적인 잡음이 섞인 구조 진동 신호를 분석하기 위해 dropout 비율이 0.2인 'Many to Many' 양방향 LSTM 아키텍처를 사용함.

=> 모델은 과거와 미래의 시간 의존성을 모두 포착할 수 있으며, 예측의 정학도 향상 가능

• 각 신호는 공간/시간 특성 추추을 위하여 wavlet 변환을 거침 => 구조 진동 신호의 잡음 제거 성능 향상

• 위의 특성들은 CNN 입력으로 사용되며, 동일한 padding을 가진 일련의 합성 곱 레이어로 구성

• ReLU와 FC Pooling을 거치고 나면 고도로 압축된 특성 => 앙상블로 사용됨

3. 앙상블 단계

✅ 3개의 Fully Connected Layer를 사용하여 최종 잡음이 제거된 신호를 생성함.

• 각 레이어는 ReLU 활성화 함수, 마지막 레이어는 선형 활성화 함수를 적용함.
• 해당 단계의 입력: 양방향 LSTM 및 CNN 모델의 임베딩들 => 모든 잡음 신호에 적용됨.

=> 마지막 레이어의 뉴런 수 = 각 신호의 샘플 수 => 출력값을 y^으로 잡음이 제거된 신호임.

💡 모델의 정확도와 일반화 모두 달성하기 위해 새로운 Cost Function을 제안

• L2-Norm을 사용 + 모든 trainable한 매개변수에 정규화를 도입하여 모델을 향상시킴.

Training

📌 60:20:20의 비율로 데이터셋 분할, 무작위 가중치, 미니배치 size: 256, 500번 반복, λLSTM, λCNN, λNN 및 λ와 같은 하이퍼파라미터는 검증 세트에서의 성능을 기반으로 선택

• 잡음 제거 방법은 PSNR(피크 신호와 잡음 비율)과 WMAPE(가중 평균 백분율 오차) 지표를 사용하여 다른 알고리즘과 비교/평가 되었음.

성능 평가

(a): 잡음 수준이 증가함에 따라 잡음 이미지의 오류가 크게 증가함. 본 연구의 모델에 의해 생성된 잡음 제거 신호는 일관되고 안정적인 분포를 보임을 확인.
=> 견고성을 평가하고자 잡음 수준 σϵ을 0~0.2까지 변화시키고 PSNR과 WMAPE의 추세를 분석하는 실험을 실시함.

(b): 모델이 넓은 범위의 잡음 수준에서 일관된 잡음 제거 성능을 유지함을 보여줌.

• 기존의 신호 잡음 제거 모델과 비교하기 위하여 PSNR, SNR, MAPE를 주요 지표로 사용함.

=> 전체적인 잡음 수준 범위에서 다른 모델보다 우수한 성능을 보여줌: 높은 PSNR과 낮은 WMAPE값

🚨 매우 높은 수준의 잡음이 있는 신호: 오차의 분산이 모델의 성능을 저해할 수 있음.

➡️ 본 논문이 제안한 잡음 제거 방법은 구조적 동역학에 따라 신호를 특수화한 후련, 주파수/시간 영역 기능을 활용한 "스태킹 앙상블 아키텍처"는 다른 알고리즘보다 우수한 성능을 보임.

4. Conclusion

• 본 논문은 단일/다중 구조 진동 신호의 잡음 제거를 위해 하이브리드 CNN-RNN 앙상블 모델을 제안하였음. 3개의 단계로 이루어져 있으며 PSNR/SNR/WMAPE 측면에서 우수한 성능을 보임을 입증함.

🐱 궁금한 점: 해당 논문은 CNN/RNN을 활용하였는데, 최근 더 높은 성능을 보이고 있는 Vision Transformer같은 아키텍처를 적용하면 성능이 더 높아질지 궁금함.