11.28 Jeff Dean - AI isn’t as smart as you think
출처 : https://www.youtube.com/watch?v=J-FzHIQ7SOs&t=928s
AI는 Neural Network 구조와 Computational Power 덕분에 많은 일을 해오고 있다. 객체 탐지, 이미지 분류, 번역, 음성인식 등 다양한 분야에서 뛰어난 성능을 보여주고 있다.하지만, 아직까지는 그 한계가 명확하다.
첫 번째는, 모델별로 하는 일이 한 가지 일 이라는 것 이다. 사람이 학습하는 방식을 보면, 하나의 일을 하면 유사성이 조금이라도 있는 다른 일은 이 전의 지식을 이용해서 더 쉽게 할 수 있다. 매우 간단히, 특정 운동을 익히면 다른 운동은 더 쉽게 배울 수 있다. 이러한 한계를 뛰어 넘어야 더 강력한 AI가 될 수 있다.
두 번째, 각각의 모델은 한가지의 modal 만 다룬다. 예를 들어, Image or text or speech 모델을 다룬다. 이러한 모델들은 각자 도메인에 대해서만 학습된 상태이기 때문에 하나로 합치는 것이 쉽지 않다. 따라서 모든 modality를 한번에 고려하는 것이 필요하다. (물론 요즘엔 multi-modal 이라고 해서 많은 시도 및 좋은 결과가 있었지만 모든 modality를 고려한 것은 아니기 때문에..)
세 번째, 구현한 모델들은 dense model 이다. 모든 층이 연결되어 있다. 간단한 task를 해도 모델의 pipeline, 즉 모든 층의 신경망을 통과해야 한다. 하지만 실제 우리가 사고하는 방식은 dense 하지 않다. 트럭이 자신에게 다가오면 일단 피하는 것은 sparse 한 model의 결과이다. 그러한 죽음의 상황에서 우리는 모든 화분에 물을 주는 그런 기억들의 층은 가지 않고 최단 경로로 추론하고 판단해서 움직이다. 쉽게 말해 dense model에서 sparse model로 바꾸어야 한다.
구글은 또한 AI Principle을 만들어서 AI의 악용이 안 일어나도록 원칙대로 실험을 하고 있다고 한다.
