A Hybrid Posture Detection Framework: Integrating Machine Learning and Deep Neural Networks

Propose a novel hybrid approach based on machine learning classifiers and deep learning classifiers

Accuracy 가 98%

Introduction

The negative impact of sedantary life-style

3 majors

• CNN & LSTM architecture for posture detection
• Deep Learning with the Machine Learningn methods to identify the posture (posture detection)

Monitor the human posture(activity)

Selection of ML, DL, or hybrid of ML and DL method

Multisensory and LoRa technology

• LoRa
  Long Range technology of transmition
  1) Wireless
  2) Collect and analyze data

low Transmitting frequency and small size of data transmission (LoRa)
때문에 multi-processing을 선택.

sliding windwo마다로 multi-processing. Feature selection은 Random forest.

TF-pose 가 open-pose보다 경량화

TF-pose (Depthwise Separable convolution)

Convilution layer by N filters

$D_k * D_k * M -> D_G * D_G * N$

Depthwise Separable Convlution by N filters

1) Filtering Stage

• $M * D_G^2 * D_K^2$
  2) Combination Stage (KPC)
• $N * D_G * D_G * M$

Total expectation costs of computational = $M * D_G^2 * D_K^2 + N * D_G * D_G * M$ =
$M * D_G^2 (D_K^2 + N)$

Example of N = 1024 and $D_K = 3$

9 times 빠른 효과성, real-time based

The sensor chair with pressure sensor & Pi camera로 이루어진 Sitting Posture Monitoring Systmes (SPMSs) 사용.

6 개의 자세

ML algorithm , Body weight ratio

4 sensors
S1 , S2 (left and right of Thigh)
S3 , S4 (left and right of buttock)

Data pre-processing (Data balancing)

1) KS algorithm , Kennard-stone algorithm (Total data에서 training 이랑 test set으로 split할때)

2) PCA, reduce the dimension of data (computational cost 줄임)

3) KNN

ML algorithm

• CNN, NB, DT, NN, MLR(?) , SVM
• CNN이 highest

A) Feature Extraction

• Feature determine
  • square skew, percentile(%), root, standard deviation, mean, kurtosis(outlier)

B) ML methods

• Learning methods with parameters of diff. algorithms

LDA

공통 공분산구조에 대한 가정

• outlier를 잡기 위해서 분산 대비 평균의 차이를 최대화 하는 축을 찾아서 그것으로 classification 진행 (Decision boundary를 통해서)

이변량 정규분포 (Bivariate Normal distribution)

• x, y라고 하는 확률 변수가 모두 정규분표 (Normal distribution) 을 따른다고 할때 결합분포로 확장하는 것
• 다변량 분포의 경우에 두 변수 사이의 관계를 모델리하기 위해서 사용.

QDA

LDA에서 공통 공분산구조에 대한 가정을 제외 (Discriminant Analysis)

공통 공분산 구조가 개별 공분산으로 변형되면서, X에 대하여 2차식 형태로 변형하여서 표현.

C) DL Methods

LSTM (Long Short-Term Memory)

RNN의 한 종류로, long dependence time learning에서 좋은 효과

매 각각의 cell step(각각의 state information을 store, 다음단계에 필요한 정보들 ex. 각각의 step이 진행되면서 소실되는 gradient 만 store)을 돌면서, 새로 구해야할 step 한단계전까지의 모든 과거 state를 업데이트하여, 그냥 업데이트 된것을 바탕으로 연산만 돌리면 된다는 편리성 & low computational cost

BiLSTM (Bidirectional LSTM)

2개의 LSTM으로 forward 랑 backward sequence 존재

• 과거와 미래의 정보 활용 Language modeling (NLP, 번역, 감성 분석, 개체명 인식 등의 작업에서 우수한 효과)

Propposed CNN framework

Convolutional , Max pooling, fully connected

Hybrid Model

1D-CNN, 2D-CNN, LSTM, BiLSTM

CNN은 10 layer로 지정해서 그걸로 실험.

Result)

Selected features part of ML and DL

hybrid deep learning method (Better performance)