[칼럼리뷰] Explaining Why Explainable AI is Needed For Autonomous Vehicles And especially Self-driving Cars
XAI / Object Detection
0. Introduction
AI의 특정 분야에서는, XAI가 얼마나 중요한 지 설파하는 것은 의미가 없을 정도로, 중요하다고 할 수 있다. 그렇다면, XAI가 주로 어떤 분야에 적용될 수 있을까?
의학, 신용 등 여러 분야가 있을 수 있지만, 본 글에서는 자율주행 차량(혹은 탑승 장비; Autonomous Vehicles; AVs)를 다룰 것이다. AVs 는 주로 자율주행 차량, 자율주행 트럭, 자율주행 오토바이, 자율주행 잠수함, 자율주행 드론, 자율주행 비행기 등이 포함된다.
그렇다면, AVs 분야에서 왜 XAI가 필요할까? 우선 XAI가 AVs분야에서 중요한 요소 중 하나라는 것을 자율주행 차량(Self-driving cars)을 예시로 들어 설명해보자.
질문은 아래와 같다.
XAI는 어떤 방식으로 AVs의 등장에 중요한 역할을 하는걸까?
1. Understanding The Levels of Self-Driving Cars
아마, 진정한 자율 주행 차량은 AI가 차의 모든 작동을 통제하고, 인간의 도움을 필요로 하지 않는 차량으로 볼 수 있을 것이다.
현재 인간 운전자가 필요 없는 차량은 Level 4,그리고 Level 5로 여겨지며, 반면 인간 운전자가 필요한 차량은 Level 2, 그리고 Level 3(현재)으로 여겨질 수 있다. 차가 운전 업무를 분담하는 것은 반자동(Semi-auto..)으로 여겨지며, 전형적으로 다양한 ‘자동화된 애드온’을 포함하는데, 이를 ADAS(Advanced Driver-Assistance System)이라 한다.
딥러닝의 발전에도 불구하고, Level 5의 자율주행차량이 성취될 수 있는 지에 대한 의문은 차치하고, 얼마나 오래 걸릴지도 확신하지 못하는 상황이다. 하지만, Level 4의 성취를 위해서 매우 좁은, 선택적인 공공 도로에서의 시도를 통해 점진적으로 설득력을 얻어가고자 노력하고 있다. 물론, 이런 테스트가 허용되어야 하는지에 대한 논란은 있지만 말이다.
반 자동 자율주행 차량의 경우, 전통적인 차량과 크게 다른 점은 없기 때문에 이에 관해서 다룰 내용도 별로 없다. 다만, (자꾸 운전자들이 Level 2, Level 3 차량에서 졸음운전에 관한 동영상 등을 올리곤 하더라도), 최근 나타나는 불안한 양상들에 대해 사람들이 위험성을 알 필요성은 있다.
Level2, Level3에서 자율주행 차량은 절대 운전자들이 운전 업무에 대해서 신경을 꺼서는 안 된다.
2. Self-Driving Cars And XAI
아무튼, 레벨4, 레벨5의 진정한 자율주행 차량에는 인간 운전자의 노력이 필요하지 않다.
모든 사람이 승객이며, AI가 모든 일을 대체한다.
이에 관해 즉시 논의해야 할 것은 오늘날 AI 자율 주행 시스템에 포함된 AI가 그렇게 민감하지 않다는 것이다.
다시 말하면, AI는 컴퓨터 기반 프로그래밍과 알고리즘의 집합체이며, 대부분은 인간의 방식처럼 추론할 수 없다.
왜 이것이 ‘AI가 민감하지 않다’는 것에 관해 강조점을 두는 걸까?
왜냐면, AI 자율 주행 시스템의 역할을 논할 때 인간의 자질을 AI에 돌려선 안된다고 강조하고 싶기 때문이다. 오늘 날에는 AI를 의인화 하려고 하는 지속적인, 그리고 위험한 경향이 있다는 것을 염두하자. 본질적으로, 사람들은 오늘날의 AI에게 ‘인간과 같은’ 감성을 부여하고 싶어한다. 그러한 인간과 같은 AI는 현재 거의 없음에도 불구하고.
이제 대강 판을 꾸렸으니, XAI에 관한 이 주제의 무수한 양상에 대해 알아보도록 하자.
기존 자율주행차의 시도에는 XAI와 유사한 점이 거의 없다.
자율주행에 대한 최초의 믿음은 사람이 자율 주행 차량에 들어가고, 그들의 목적지를 제공하며, 도착할 때까지 조용히 위스키나 마시는 것이었다. AI와의 상호작용은 어떤 것도 없다. 그곳에서 설명이나 XAI능력은 전혀 중요하지 않다.
특정 사람이 차량 공유를 이용하고, 또다른 3자가 운전대를 잡았을 때 무슨 일이 일어날 지를 상상해보자. 그리고, 그로부터 위와 같은 가정을 재검토해보자.
아마 누군가는 Uber나 Lyft를 사용해본 적이 있을텐데, 그곳에는 분명 주행 도중에 무거운 침묵이 흐를 수 있다. 앱을 통해 이미 목적지를 제공했을 가능성도 크다. 스마트폰 게임을 할 수도 있다.
이는 완벽하다.
이 때, 주행 도중에 갑자기 운전자가 익숙하지 않은, 낯선 루트로 운전을 한다고 해보자. 그렇다면 당신은 운전자에게 왜 여기로 가냐고 물어볼 수도 있다. 이를 통해 아마 당신은 운전자로부터 완벽한 설명을 들을 수도 있을 것이다.
방금 말했다시피, 설명의 개념은 ‘차를 운전하는 맥락’에서 나온다.
그리고 아마 생각보다 설명이 필요한 상황은 많이 나타날 것이고.
보편적으로 사람은 대부분 질문에 답을 해주겠지만, 때로는 설명이 빈약할 수도 있다. 인간이니까. 하지만, 이론적으로, 적절히 작동하는 XAI는 찰떡 같은 설명을 제공할 수 있을 것이다. 분명 너무나도 어렵겠지만 말이다.
아무튼, 사고력 있는 자율주행 차량을 탔을 때 승객이 XAI로부터 어떤 것을 원할 지 다시 따져보자.
자율주행 차량은 당신을 집에 데려다 주고 있다. AI는 여전히 당신이 아는 경로와는 다른 경로를 채택할 수 있다. 이 때, 당신은 AI에게 왜 주행 경로를 이렇게 채택했냐고 물어보고 싶을 수 있다. 하지만, 최근의 자율주행 시도들은 당연히 이러한 설명을 제공할 능력을 탑재하지 않았으며, 자율주행 차를 관리하고 있는 오퍼레이터한테 연락을 해야 할 수도 있다.
XAI를 구축하는 것 대신에, 멀리 있는 인간에게 물어보는 것이다. 이는 딱히 좋은 상황은 아니다. 자율주행 차량이 한 두개가 아니지 않는가? 답변이 1분 안에 오지도 않을 것이다.
그렇기 때문에, AI driving system 최전방에 XAI가 탑재되어야 한다.
Alexa와 Siri처럼 자연어 처리(NLP)가 결합된다면, 경로를 변경하거나, 도착지를 변경하거나, 드라이브-쓰루를 들리거나 할 수 있을 것이다. 추가로, AI에게 질문 또한 할 수 있을 것이다.
또는 갑자기 차량이 브레이크를 밟는다면, 이 상황에 대해 운전자는 확실히 알고 싶을 것이다. 자율주행 시스템에 문제가 생겼다면, 운전하기가 너무 두렵지 않을까? 이걸 원격 관리자에게 물어본다면, 설명을 바로 듣지도 못할 것이고, 그 설명을 듣기 전까지는 분명 혼란스러워 할 것이다.
하지만, XAI가 자율주행 시스템에 탑재되어 있다면, XAI에게 어떤 일이 일어났는 지 판단할 수 있을 것이다. 개가 있었고, 차량에 뛰어들고 있었다든가 하는 설명 또한 제공해줄 수 있기도 하고 말이다. 혹은 거리 상으로 속도를 유지하면 부딪힐 만한 상황이였다고 말해줄 수도 있다.
개는 안전할 것이고, 당신 차량의 보닛 또한 지킬 수 있을 것이다.
즉각적인 설명은, 당신이 다시금 차량의 좌석을 뒤로 제끼고, 맛있는 음식을 먹으며, 유튜브로 귀여운 고양이 비디오를 볼 수 있게끔 안정시켜줄 것이다.
사설 내 결론은 패스
3. Let me say something
- Object detection 분야에서 vision 중심의 설명은 당장 user에게 필요하기 보다는, 모델의 위험을 개선해야 하는 연구자들에게 더욱 도움될 수 있다.
- 하지만 적어도 XAI는 유저들을 안심시키는 데에는 도움이 될 수 있으며, 물체를 AI가 무엇으로 판단했는지, 그리고 왜 그렇게 판단했는지에 대해 더욱 깊은 통찰을 줄 수 있을 것이다.
4. Reference
Explaining Why Explainable AI (XAI) Is Needed For Autonomous Vehicles And Especially Self-Driving Cars : https://www.forbes.com/sites/lanceeliot/2021/04/24/explaining-why-explainable-ai-xai-is-needed-for-autonomous-vehicles-and-especially-self-driving-cars/?sh=73fee9621c5a
