논문 리뷰 : Wi-Fi-based Fall Detection Using Spectrogram Image of Channel State Information

jswboseok·2022년 12월 1일

T. Nakamura, M. Bouazizi, K. Yamamoto and T. Ohtsuki, "Wi-Fi-based Fall Detection Using Spectrogram Image of Channel State Information," IEEE Internet of Things Journal, Early Access. 17 Feb. 2022

Introduction

본 논문은 COTS Wi-Fi 기기를 사용하여 얻을 수 있는 CSI(Channel State Information) 을 이용한 낙상 탐지 (Fall Detection) 기법을 제안하였다. 이 때, 수집한 CSI 데이터를 time domain과 frequency domain 모두에서 분석할 수 있는 spectrogram image 로 변환한 후 이를 ML 모델 추론을 통해 낙상인지 아닌지 탐지하고 성능을 분석하였다.

Background

Principal Component Analysis

다차원의 데이터를 정사영시킨 주성분(Principal Component)으로 변환하는 방법이다. PCA 변환을 하게 되면 기존 데이터를 잘 표현할 수 있는 새로운 축에서의 데이터인 주성분 PC (Principal Component)와 그 분산 $v$ 가 output으로 나오게 되는데, 분산이 클수록 해당 PC가 기존의 데이터를 잘 분석한다는 의미이다. 현재 논문에서 사용하는 CSI는 (packet number x antenna pair x subcarrier number) 와 같이 다차원으로 나타내어지는데, 이를 새로운 축으로 나타내어 noise를 제거하고, 이 후 spectrogram image 변환 시 로드를 줄이도록 한다.

Short Time Fourier Transform

Fourier Transform을 통해 time domain의 신호를 Frequency domain으로 변환하여 분석할 수 있었는데, short time Fourier transform은 단기간(short time)동안 신호를 Fourier Transform 시켜 분석하는 방법이다. 특정 window size를 정하고 그 window size만큼 window를 sliding해가며 Fourier Transform을 시킨 후 신호를 분석한다. 이를 통해 time과 frequency domain 모두에서 신호를 분석할 수 있다는 장점이 있다.

이 STFT를 적용한 후에 나오는 결과는 spectrogram image가 나오게 된다. 본 논문에서는 낙상과 낙상이 아닌 activity는 서로 spectrogram image가 다르다는 것을 주장하였다. 위 그림을 보면 서로 다른 환경이라도 Fall motion과 Lying Down motion은 spectrogram image의 형태가 대체로 비슷한 것을 볼 수 있다.

Proposed Method

1) Raw CSI signal을 받아 signal interpolation을 통해 어느 정도 비어 있는 부분을 메꿔 준다?
2) CSI Selection을 통해 낙상 탐지 시 의미 있는 CSI Stream만을 spectrogram image로 변환한다.
3) CNN 모델을 학습시킨 후 (test data에 대해서) 낙상인지 아닌지 추론한다.

Signal Preprocessing

Raw CSI signal은 $N_s * N_c$ (안테나 쌍 x subcarrier 수)의 다차원 신호이다. 소문자로 표시된 csi는 time 축에서 일련의 csi 신호의 stream을 의미한다.
Linear interpolation을 통해 packet loss등으로 인하여 손실된 CSI를 채워준다.
PCA를 적용한다. $N_s * N_c$ 를 새로운 차원의 데이터로 변환한다. 여기서 PC는 결국 $\widetilde{CSI}$ 가 된다.
CSI Selection을 진행한다. 변환된 PC인 $\widetilde{csi}$ 의 분산 비율인 $v_i$ 를 누적시킨 후 $v_t$ 와 비교하여 $v_i$ 가 $v_t$ 보다 적은 $\widetilde{csi}$ 를 선택한다. 예를 들어 $v_t=0.9$ 로 정한다는 의미는, 기존 데이터를 90% 만큼 나타냃 수 있는 $\widetilde{csi}$ 를 선택한다는 의미이다. 논문에서도 $v_t=0.9$ 로 정하였다.
선택한 $\bar{CSI}$ 를 Window Size (512 ms)와 Time Shift(128 ms)를 정해 Short Time Fourier Transform 시킨다. 이는 Fall의 peak value가 대부분 125Hz 부근에서 일어나기 때문이라고 한다.
마지막은 normalization 과정인데, CNN이 기본적으로 주변 픽셀의 RGB값을 비교하여 학습을 한다고 한다. 따라서 이 normalization 과정을 통해 보다 환경에 robust하게 CNN 모델을 학습할 수 있다.

Classification

CNN 모델은 위 4가지 모델을 사용하였다. 기본적으로 ResNet34를 사용하였으며 이 경우 성능이 가장 좋았고, 다른 3 가지 CNN 모델들과 성능을 비교하였다.

Experiment Set-up

사용한 컴퓨터 및 AP의 제원은 다음과 같다.

CSI 데이터 수집 환경은 다음과 같다. 두 가지 환경에서 CSI를 수집하였다.

9명이 데이터 수집을 진행하였고 빨간색 지점에서 화살표 방향으로 각각 다음 10가지 activity에 대해 수집하였다.

Fall
Sit on a chair
Sit on a floor
Stand up from a chair
Stand up from a floor
Lie down
Pick up an item
Jump
Walk
Upper body motion

이 때, 9명의 참가자들은 다음 3 가지 그룹으로 나뉘어 실험을 진행하였다
Group A : 4 명의 참가자들은 Room A에서만 데이터 수집
Group B : 3 명의 참가자들은 Room B에서만 데이터 수집
Group C : 2 명의 참가자들은 Room A와 Room B 모두에서 데이터 수집

각 모션들은 10초 간 수집되었으며 1000Hz의 sampling rate로 CSI packet을 수집하였다. 최종적으로 수집한 데이터의 수는 다음과 같다.

Evaluation

앞서 언급한 4 가지 모델들의 비교이다. 일반 CNN보다도 ResNet이 성능이 가장 좋은 것을 알 수 있고, ResNet 18보다도 ResNet 34가 가장 성능이 높은 것을 알 수 있다.

ResNet 18과 ResNet 34의 추론 시간이다. ResNet 18보다ResNet 34가 더 오래 걸리지만, 이는 실제 낙상 탐지 상황을 고려하면 그렇게 critical한 차이는 아니므로 저자들은 무조건 성능이 높은 것을 쓰는 것이 좋다고 주장한다.

Normalization을 적용한 spectrogram image와 적용하지 않은 spectrogram image 비교다. Normalization을 적용함으로써 같은 라벨의 spectrogram image 간의 차이를 없앨 수 있었다.

서로 다른 환경에서 테스트한 결과이다. 한 쪽 room에서 에서 모은 데이터로 CNN 을 학습시킨 후 다른 room에서 모은 데이터로 테스트한 결과이다. FallDeFi [1] 에 비해 저자들이 제안한 기법이 더 환경에 independent한 것을 보여주었다.

이번엔 FallDeFi 데이터셋을 통해 비교한 결과이다. 마찬가지로 저자들이 제안한 기법이 성능이 더 좋은 것을 확인하였다.
(그런데 실제 FallDeFi에서도 저 정도 성능밖에 나오지 않는지는 의문이다.)

Conclusion

CSI를 Spectrogram으로 전환한 후 이를 이용한 낙상 탐지 기법을 제안하였다.
pre-trained CNN을 사용함으로써 적은 데이터셋에서도 낙상 탐지 모델을 학습할 수 있었다.
환경에 robust함을 주장하기 위해서는 더 다양한 환경에서 테스트를 해야 하지 않았을까?

[1] Sameera Palipana, David Rojas, Piyush Agrawal and Dirk Pesch, “FallDeFi: Ubiquitous Fall Detection using Commodity Wi-Fi Devices,” Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, vol. 1, issue. 4, pp 01–26, 08 Jan 2018