Intelligent Tire Sensor-Based Real-Time Road Surface Classification Using an Artificial Neural Network

서론

자율주행 기술용 차량 전자 제어 시스템 신뢰성 향상을 위해 더 많은 차량 및 환경 정보 수집 필요
노면 조건은 차량 제어의 안전성과 성능을 향상시키는 핵심 요소
노면 조건 or 잠재적 타이어 접지력 추정을 위한 여러 시도
노면 정보는 전자 차량 제어 시스템 개선, 차량 가속, 제동, 조향을 위해 사용될 수 있음

노면 조건, 마찰계수 추정을 위한 선행 연구들의 방법들은
tire force-slip-based method
road property-based method
tire-road interaction-based method
가 있었음

tire force-slip-based method

차량역학모델을 이용하여 노면마찰계수 추정 가능
물리 모델의 파라미터 파악에만 실험결과가 필요하여 상대적으로 실험 횟수(데이터) 적음
차량 모델의 정확한 매개 변수 추정이 어렵고 일반적인 주행 상황 적용에 한계가 있음

road property-based method

광 감지, 거리 측정, 레이더, 초음파, 광학 센서와 같은 비접촉 센서로 노면의 물리적 특성을 추출하여 노면 분류
차량이 주행하지 않는 상태에서도 작동 가능

악천후 조건에서 성능이 크게 저하될 수 있음
카메라 이미지 기반 접근 시 날씨 조건, 조도 변화를 포함한 다양한 환경에서의 실험 데이터가 필요

tire-road interaction-based method

타이어 접촉 패치 마찰력에 의한 타이어 진동 or 변형을 측정하여 분류
낮은 자극에서도 도로 표면 특성 반영하는 유용한 신호 수집 가능
이 방법에서 요구되는 센서가 도로 특성 기반 방법 센서보다 저렴하고 외부 환경에 더 강함
그 중 타이어의 가속도or변형을 직접 측정하는 센서가 최근 많이 연구되고 있음

실험 데이터를 통해 센서 신호 파형으로부터 특징을 찾는 데 성공하였으나 실시간 노면 유형 분류 알고리즘은 제시되지 않음
심층신경망을 사용하여 실시간 노면 유형 추정 알고리즘 개발

실험 방법

타이어 내부의 3축 가속도계
블루투스 연결하여 1kHz 샘플링 속도로 DAQ 시스템으로 전송
차량 주행 상태 정보 수집을 위해 가속도계 센서 신호와 동기하여 차량 내부 컨트롤러 영역 네트워크(CAN)에서 100Hz 샘플링 속도로 스티어링 각도, 휠 속도, 브레이크 신호 수집

건조 아스팔트, 1mm 습식 아스팔트, 4mm 습식 아스팔트, 자갈, 비포장도로 조건에서 실험 수행
10~70까지 10km/h 단위 속도로 주행 실험 반복
자갈, 비포장 도로 조건에서는 각각 최대 50kph, 20kph
목표 차량 속도에서 10km 미만의 오차
유효 주행 거리가 800m 이상인 충분한 실험 데이터 확보 → 노면 접촉 센서 데이터 각각 400건 이상

목표 속도 ±10kph 이내, 조향 각도 15도 미만, 브레이크 제동 상태에 있는 조건을 유효 학습 데이터로
자유 롤링 상태에 가까운 타이어 조건에서 획득한 신호로 네트워크 훈련
유효 학습 데이터 기간부터 일정 간격으로 이동하는 길이 n인 window로 딥러닝을 위한 3축 가속도 데이터 수집 (model input length)

window의 3축 가속도 신호는 평균 0 표준편차 1 로 표준화(Standardization)
(크기별 효과를 배제하고 파형 특성만 학습할 수 있도록)
정규화 후 각 표본 데이터를 도로 표면 유형으로 레이블

FCNN, 1D-CNN 두 모델로 학습

실험 결과

적절한 네트워크 구조(크기)를 위한 실험

batch size 64, AdamOptimizer, learning_rate 0.01, 윈도우 길이 1000으로 FCNN, CNN 훈련
3축 가속도계의 각 단일 축 데이터로만 훈련
accuracy로 평가

FCNN 축 별 정확도 62%, 51.3%, 62.4%
CNN 축 별 정확도 92.7%, 85.6%, 93.4%
1D-CNN에서 x축 혹은 z축 가속도 센서 데이터가 노면의 유형에 대한 충분한 정보를 가짐

CNN의 클래스 별 정/오답률 확인

클래스 3, 4(4mm 습식 아스팔트, 자갈)는 95% 이상의 높은 분류 정확도를 가지나 나머지 클래스는 87~90%
건식 아스팔트와 1mm 습식 아스팔트 사이에 혼동이 있음
두 클래스의 파형은 인간이 보고 구분하는 데에도 어렵기 때문에 CNN 기반의 학습 과정에서 해당 파형 간 다른 특징점 파악이 어려움
자갈과 비포장 도로 간에도 혼동이 있음
해당 두 유형의 경우 가속도계 신호 파형이 다른 등급(건식 아스팔트나 습식 아스팔트)과는 확연히 달라 구분이 쉬우나 자갈과 비포장 두 도로를 구별하기에는 어려움
y축 가속도계 신호 역시 80% 이상으로 의미 있는 수준의 정확도를 보였으며, 이 신호 또한 노면 유형 구별할 수 있는 정보를 가지고 있음

표준화 또한 적용하지 않을 경우 x, y축 센서 데이터를 사용한 CNN 모델의 정확도가 각각 64.1%, 61.9%로 떨어짐
차량 속도 변화로 인한 가속 신호의 진폭, 오프셋 값 변화가 훈련 데이터 품질을 저하시키고, 표준화가 이 영향을 제거할 수 있음을 보여줌

건식 아스팔트와 1mm 습식 아스팔트를 동일 분류 클래스로 놓고 4등급에 대해 동일한 구조의 CNN에 학습
결과 각 축 데이터 세트에 대해 95.7%, 86.1%, 97.9% 정확도를 보임
이를 통해 자갈길과 비포장도로의 혼선 또한 감소하는데 건식 아스팔트와 1mm 습식 아스팔트의 차이를 훈련할 필요가 없기에 네트워크가 나머지 등급 구분에 더 할당 했을 수 있다고 볼 수 있음
자갈과 비포장 도로를 하나의 오프로드 클래스로 결합할 수 있으며 더 높은 정확도를 위해 3개의 클래스로 훈련시킬 수 있음

Multi Feature CNN

바로 위에 기술한 실험은 3축 가속도계 신호의 한 축에 대한 데이터 만으로 학습시킴
모든 축 신호로 네트워크를 동시에 학습
각 축 데이터의 입력으로 각각에 대한 Conv, Pooling 적용, 최종적으로 Flatten에서 합쳐지고 이후 FC Layer 지나 출력
(입력을 채널처럼 해서 1개의 ConvNet 사용하는 거랑 크게 차이가 있나?)

x, z만 학습, x, y, z 학습 모델의 정확도는 각각 95.3%, 95.9%
y 신호로부터 획득한 파형 패턴도 도로 상황 분류에 기여할 수 있음

실시간 도로 노면 분류

도로 상태 분류에 3ms 미만의 운영 시간 소요
네트워크에 대한 입력으로 1s (윈도우 크기에 따른)에해당하는 Sequential 데이터 필요하기에 실험별로 1초의 지연이 있음
10초 이내 건조한 아스팔트에서 자갈로의 전이를 명확하게 파악할 수 있었음

Window 길이와 정확도 간 trade-off

윈도우 길이가 1000인 경우, 1kHz 샘플링 속도에서는 실시간 노면 상태 추정을 위해 1초의 지연이 발생
제어 또는 알림 성능을 감소시킬 수 있으므로 지연을 가능한 줄이는 것이 좋음
동일한 구조, 매개변수를 가진 CNN 모델을 Window 크기를 꾸준히 줄이면서 실험
400개 미만의 입력 데이터 포인트로 학습 결과 보장이 어려움을 확인
최소 정확도 요건이 90% 이상인 경우 400이 최적, 95% 이상일 경우 1000이 최적