[IOT] Sensor Data

센서: 물리적 현상, 물리적 수량을 측정하는 장치 -> electrical signal

MEMS(Micro-Electro-Mechanical Systems)

Data Ingestion Technology

HTTP may be too heavy for IoT Device-> using other protocol : MQTT,CoAP

MQTT: Publish/Subscribe Model protocol (Message Queueing Telemetry Transport)

• Client가 특정 이름을 단 데이터(topic)를 broker에게 publish
• Client가 특정 이름을 단 데이터(topic)를 Subscribe
• Client는 특정 이름을 단 데이터(topic)의 값이 바뀔때 알림을 받고 바뀐 값을 알 수 있음.

• Small Transport Overhead( fixed length header (2bytes))
• protocol exchanges minimized to reduce network traffic
• use of TCP/IP to provide basic network connectivity

브로커는 software bus를 구현해서..(queueing, buffering) 데이터를 store-> 순차적으로 전송

결론: iot환경에 적합함

MQTT Terminology

MQTT Broker
MQTT Client
Payload
Topic
Message
QoS: 0이면(최대 한번) 메세지를 단 한번만 보냄(온도 데이터를 보내는 센서, 누락 ok), 1이면(최소 한번) 수신자가 ack할때까지 보냄,2이면(정확히 한번) 메세지가 딱 한번만 보내지고 .. 딱 한번의 정확한 응답을 받아야 할때
Publish
Subscribe
Retain: 브로커에게 메세지를 전송하고 나서도 계속 저장할지 말지 물어보는 것.
Keep-alive Time: 얼마나 자주 브로커가 클라이언트에게 핑을 보내는지 시간.
Last Will & Testament : topic w/Payload... 클라이언트의 연결이 예상치 못하게 끊어질 것을 대비해서 브로커에게 미리 보내둔 메세지, 예상치 못한 연결 해제시 브로커가 구독자들에게 전송함.

The sensory data
– represents physical world observations and measurements
– requires time and location and other descriptive attributes to make the
data more meaningful
• Example:
– a temperature value of 15 degree (oC) will be more meaningful when it is
described with spatial (e.g. Seoul) and temporal (e.g. 8:15AM, 11-22-
2033), and unit (e.g. Celsius) attributes.
– 15, C, 08:15, 51.243057, -0.589444
• The sensory data can also include other detailed meta-data that
describe quality or device related attributes (e.g. Precision,
Accuracy).

In network Processing

전통적인 모바일 네트워크: 각각의 노드 들이 그냥 오리지널한 데이터만 전송
Wireless Sensor Networks : "정보"를 전달

예를 들어 건물에 불이 났을때 .. 온도센서의 값만 전달하는 것이 아닌..
"건물 15층 A구역에서 온도센서 값이 5분동안 100도 이상을 기록"이라 전달.

모든 센서들이 서버에게 RAW정보를 보내면 .. 높은 부하가 걸림
바로 데이터를 보내는 것이 아닌 Data Aggregation으로 데이터를 모아서 요약을 하고 .. 단순히 raw데이터가 아닌 의미를 가진 "정보"로 만들어서 보내면 의미를 가진 정보가 되는 것이고 네트워크의 부하도 줄일 수 있음.

예시: Data Aggregation

• 최소,최대,평균,합 등의 함수를 적용

• 고차원의 데이터를 낮은 차원으로 줄이는 근사 기술 등 더 진보된 솔루션 사용가능

• Aggregated Data는 더 작고.. 패턴이나 추상화된 것을 나타 낼 수 있음.

• Aggregation은 sink/gateway에서 할수도 있음.
  

• Use Temporal and Spatial Correlations(?)

• 데이터가 특정 인터벌 사이에 거의 변화가 없으면..굳이 최대 속도로 매번 전송해줄 필요는 없다-> 급격한 데이터 변화가 있을때만 전송해주기

• Redundancy

• 이웃하는 센서들의 신호는 거의 비슷할 것이다, 차이가 발생하는 센서의 값들만 전송하기

Efficacy of Aggregation Mechanisms

• Accuracy: difference between the resulting value or
representation and the original data
– Some solutions can be lossless or lossy depending on the applied
techniques
• Latency: delay time to compute and report the aggregated data
• Overhead: the main advantage of the aggregation is reducing the
size of the data representation
– Aggregation functions can trade-off between accuracy, latency and
overhead

결론: IoT에서 WSN은 RAW아닌 정보를 전달, iot의 제한된 환경때문에 In-Network Processing이 중요.

Sensor Data as Time Series Data

• 일반적으로 센서들은 시계열 데이터
• Sensor Stream : 시간에 따라 데이터를 제공하는 소스
• Using time-series processing techniques can help to reduce the
  size of the data that is communicated;

시계열 데이터를 처리하는 다양한 기술들

• 클러스터링,분류,회귀, 예측 등..

Data Reduction

목표: 데이터의 차원과 사이즈를 축소하기 위해, 패턴을 찾기 위해, 이상치를 찾기 위해, 비슷한 데이터를 조회하기 위해.

SAX(Symbolic Aggregate Approximation)

시계열 데이터를 글자 표현으로 근사시키는 방법.