Module3. Safety for Self-Driving Car

아래 내용은 Coursera와 University of TORONTO 에서 제공하는 < Introduction to Self-Driving Car > 강의 내용을 정리한 글입니다.

• Lesson1. Safety Assurance for self-driving Vehicles 정리

  1. Autonomous Driving Crashes

     1. Waymo(2016) : 소프트웨어 - Decision 에서의 문제. 다른 차량의 모션을 예측하는 것은 어려움

     2. Uber(2016) : 차가 전복되는 사고. 다른 차량에 의한 disturbanc에 over-react 한 제어기의 문제. 예상하지 못한 시나리오였음

     3. GM(2017) : 차선 변경을 하려는 바이크에서 예상치 못한 시나리오로 딜레마에 빠져 decision을 적절히 내리지 못하여 추돌함.

     4. Uber(2018) : 프로그램 확장성 테스트 중에 자전거를 끌고 무단횡단을 하던 보행자와 충돌

        → real time checker 가 없었음. 객체 탐지 실패하여 객체 데이터 자체를 버림. 인지기술은 아직 perfect하지 않음. 1.3초 전에 비상정지를 하였으나 충돌을 방지할 수 없었음.

  2. Formal definitions

     1. Harm : 물리적 위해

     2. Risk : 어떤 사건이 일어날 확률과 일으킬 수 있는 해의 심각성을 통칭

        → safety : 생물에게 해를 끼칠 수 있는 unreasonable한 위험을 피하 과정

     3. Hazard : 위험 또는 위협의 잠재적 원천 요소(ex : 소프트웨어 버그)

  3. Major hazard sources

     1. Mechanical : 브레이크 시스템이 제대로 작동X
     2. Electical : 내부 연결 미흡
     3. Hardware : chip
     4. Software : 에러, 버그
     5. Sensor : 노이즈, 미흡한 인지
     6. Behavioral : 플래닝, Decision Making 단계에서 발생. 예상하지 못한 시나리오 등
     7. Fallback : 운전자에게 충분한 경고X
     8. Cyber : 해킹

     → 각 Hazard에 대해 전체 시스템 안전성을 평가할 때 서로 다른 평가 방식이 필요함.

  4. Safety requirements - 12가지

     1. System Engieering Approach to Safty → 프레임워크 문서에 적용SAE, ISO 표준 등
     2. Autonomy Design : NHTSA(2017)
        • ODD : 어떤 시나리오가 지원되고 안전한지에 대해서 평가할 수 있어야함 → 잘 설계된 ODD 권장
        • ODER : 인식 및 충돌 회피에 주요한 개체나 이벤트 감지에 대한 대응 시스템 필요 : ODER(Object and Event Detectiom and Response System)
        • Fallback : 운전자 경고 혹은 자율 폴백 매커니즘 권장
        • 운전자의 부주의를 항상 염두해야함
        • Traffic Laws : ODD 내에서 교통법규에 대해 지역, 국가, 연방 단위로 준수된 운전 시스템 설계
        • Cybersecurity : 해킹으로부터 구동시스템 보호
        • HMI : Human Machine Interface : 운전자, 승객에게 기계의 상태(센서, motion plan, 날씨, 환경 등)를 효과적으로 전달해야 함.
     3. Testing & Crash Mitigation : 테스트 및 충돌 완화
        • Test : 서비스 제공 전 강력하고 광범위한 시험 프로그램 권장 Simulation → Close Track Testing → Public Road Driving.
          
        • CrashWorthiness : 부상, 손상 완화
        • Post Crash : 연료 펌프 고정, 비상 요원 알람 등
        • Data Recording : 충돌 데이터 자동 기록, 과실 추적 등
        • Consumer Education & Training : 자율시스템의 기능과 한계 교육. 자동화에 대한 과신을 막는데 필수임.

• Lesson2. Indutry Methods for Safety Assureance and Testing 정리

  1. Industry Perspectives on Self-driving Safety

     Waymo Safety Report 2017 : 자율주행차 종합안전 전략 구성에 대한 분석
     
     NHTSA 의 12가지 개념 + 5단계 안전 접근 방식으로 구성
     
     - Behavioral Safety : 교통 규칙, ODD 내의 광범위한 시나리오 처리 → 차량 안전 유지
     - Functional Safety : 백업 및 이중화. 고장이 발생하더라도 2차 부품, 백업 프로세스로 전환 → 고장으로 인한 심각성 최소화, 안전 주행 유지
     - Crash Safety : 승객 피해 최소화 보장 시스템
     - Operational Safety : 인터페이스가 사용 가능하고 편리, 직관적. 승객이 어느정도 차량을 제어할 수 있지만 시스템 안전 유지에서만 가능
     - Non-Collision Safety : 시스템과 사호작용하는 응급대응자, 정비사, 하드웨어 엔지니어 등에 대한 위험을 최소화 하는 시스템 설계
     
     가능한 많은 시나리오 정의, 각각의 전략 및 안전보장 방법 분석, 위험 평가를 통한 안전 요구사항 정의, 위험 예비 분석, 운전 테스크의 관점에서 top-down 위험 평가(fault tree), 하위 시스템 고장 및 영향 분석
     
     Waymo는 매일 1000만마일 시뮬레이션으로 변화를 테스트하고 차량과 보행자 위치 및 속도를 무작위로 변경하여 극한의 시나리오를 체계적으로 테스팅함.
     
     비공개트랙에서 소프트웨어 테스트 : 후방, 교차로, 도로 이탈 및 차선 변경
     
     실제 공공도로에서 테스트

     GM의 안전 전략

     NHTSA 12개 영역을 개별적으로 다루며 안전 평가를 달성하기 위한 구현 전략에 초점. “시나리오 분석→ 소프트웨어 구성 → 시나리오 시뮬레이션 → 테스트”를 반복한 후 실차 실험 결과를 적용하여 반복적으로 개선해나감.

     Waymo - OEM에 의존, GM은 자동차 제조까지 하므로 하드웨어 전반에 걸쳐 일관된 표준으로 통합 설계가 가능함 → 모든 시스템이 안전, 신뢰성, 보안 등 내부적으로 정의된 표준을 따름. 자동차산업의 경험 덕분!

     Deductive Analysis : fault tree

     Inductive Analysis : Design&Process FMEA 귀납적 분석 수행

     Exploratory Analysis : HAZOP : Hazard & Operability Study, 위험 및 안전성 연구 → 탐색적 분석 수행, 시스템 오작동 시기를 파악함

     GM 차량의 안전 임계값 준수 필요

     1) Fail Safe, 백업시스템, n차 방지 등 명확한 기준을 세워서 작동하도록 함

     2) SOTIF 평가

     3) 매우 엄격한 테스트 매커니즘 : 성능시험, 요구사항 검증, 결함 인젝션, intrusive 테스트, 내구성 시험, 시뮬레이션 기반 시험 등

  2. Approaches to Demonstrating Autonomy Safety

     분석적 안전성 평가(Analytical Safety Assessmnt)

     • 시스템 분석 → 위험, 시나리오 평가를 바탕으로 안전 성능, 고장 확률을 정량적으로 정의
     • 한계 : 안전 성능에 대한 지침 정도만 가능

     데이터 중심 안전성 평가(Data-Driven Safety Assessment)

     • 특정 버전의 소프트웨어 사용 → ODD에 포함된 시나리오에서 타겟 고장 확률을 달성했을 때 안전을 보장함. 인간 수준 성능보다 낮을 때 ‘바람직함'. 현재 인간보다 100배 정확한 성능.
     • 그러나 여전히 위험하고 특정 시나리오에서 인간이 압도적으로 유리함

     인지, 예측 및 모션 플래닝은 여전히 어려움. 통계적 의미에서 자율주행차가 사망률 면에서 인간보다 안전하다는 것을 증명하기 위해서는 얼마나 많은 운전 경험이 필요할까? 안전 사례 검증을 위한 순수도로주행 테스트는 80억 마일 이상 데이터가 필요할 것이며 이는 100대 차량이 24시간 365일 운행할 때 400년이 걸린다. 따라서 다각적인 접근을 통한 자율주행 시스템 성능 향상 방법론 제안이 필요하다.

• Lesson3. Safety Frameworks for Self-Driving

  1. Generic Safety Frameworks

     1. Fault Tree : pre-analysis framwork

        시스템이 복잡해져도 꾸준히 확장 가능. fault 발생 시 가능한 모든 사건 및 고장을 식별하는 top-down 방식. 부울법칙을 활용하여 고장트리 분석 및 원인 사건과 전체 발생확률 등으로 문제의 원인을 파악함.

     2. FMEA : Failure Mode and Effects Analyses

        Bottom-up 프로세스. Failure Mode 는 전체 시스템의 특정 구성 요소가 시스템 고장을 일으킬 수 있는 모드 또는 방법. Effects Analysis는 failure가 야기하는 모든 효과를 분석함.

        우선순위로 failure를 분석함. 얼마나 심각하고 얼마나 자주 일어나고 이 failure를 인지하기 쉬운가? 로 카테고리화함.

        리스크를 정량화하고 대처할 수 있는 구조화된 방법임.

     3. HAZOP : Hazard and Operability Study : FMEA를 발전시킨 형태

        리스크를 브레인스토밍함. 설계 프로세스 초기에 개념 설계 단계를 정리하기 위해 사용됨.

  2. Autonomous/Automotive Safety Frameworks

     1. Functional Safety

        ISO26262

        Functional Safety : 고장으로 인한 오작동 또는 의도하지 않은 동작으로 인한 unreasonable한 위험이 없음

        왼쪽 V를 내려가면 높은 수준의 요구사항이 낮은 수준 구현으로 전환됨
        

     2. Safety of Intended Functionality

        ISOPAS 21448 - SOTIF : Safety of the Intended Functionality

        • 성능 재한, 시스템 오용과 관련된 기준
        • 센서 성능 제한 및 노이즈, 객체 탐지 실패 등 알고리즘에 의한 Failure
        • HW/SW 고장, 사용자에 의한 Failure는 다루지X
        • Designed for level 0~2
        • Functional Safety의 확장형