원문기사 (Rob Toews, Forbes)
(1편) Oct 12, 2020 https://www.forbes.com/sites/robtoews/2020/10/12/the-next-generation-of-artificial-intelligence/?sh=6c73467859eb
(2편) Oct 29, 2020
https://www.forbes.com/sites/robtoews/2020/10/29/the-next-generation-of-artificial-intelligence-part-2/?sh=342480d57a30
1. 비지도 학습(unsupervised Learning)
오늘날 인공지능 분야에서 지배적인 패러다임은 지도 학습이다. 지도 학습에서 AI 모델은 사전에 정의된 카테고리에 따라 감독자가 체계화하고 지정한 데이터 셋을 학습하는 방식으로 미리 정의한 범주에 따라 큐레이션한다.
하지만 지도 학습의 경우 사람이 직접 수작업으로 데이터 라벨링을 수행해 머신러닝(ML)을 구현하기까지 많은 시간과 비용이 든다.
또 인간이 정의한 방식대로 학습하기 때문에 편협하고 제한적인 형태의 학습을 보인다. 주어진 데이터 집합의 잠재적 정보를 탐구하지 못하며 인간 감독자가 사전에 파악한 개념과 범주에 한정해 학습한다.
이에 대다수 AI 전문가는 비지도 학습이 미래 AI 기술로 꼽는다. 비지도 학습은 텍스트, 영상 등 다양한 데이터를 바탕으로 패턴과 관계를 관찰하고 시스템 스스로 환경을 이해한다. 정교한 데이터 라벨링 작업이 필요하지 않아 빠른 학습이 가능하다
- 연합 학습(federated learning)
연합 학습은 지난 2017년 구글 연구진이 처음으로 공식화한 개념으로 개인정보보호를 강화한 AI 학습 방식이다. - 트랜스포머(transformer)
트랜스포머는 2017년 구글이 처음으로 제안한 기술로 언어 AI를 위한 핵심이다. 최근 이슈로 떠오른 언어 AI 모델 GPT-3의 기술적 기반이기도 하다.
반복적 신경망은 데이터를 순차적으로 처리한다. 단어가 나타나는 순서에 따라 한 단어씩 처리한 것이다.
하지만 트랜스포머는 병렬 방식으로 언어 처리를 하기 때문에 주어진 텍스트를 동시에 분석한다. 트랜스포머는 병렬화 지원을 위해 '어텐션(Attention)'이란 AI 메커니즘에 의존한다. 어텐션은 AI 모델이 단어 사이 관계를 고려할 수 있도록 한다.
2021년 유망한 인공지능(AI) 기술 3가지
생성적 AI (Generative AI)
3D나 2D 이미지를 자동으로 생성하는 알고리즘은 점점 익숙해지고 있다.
연합학습 (Federated Learning)
구글의 논문 “Communication-Efficient Learning of Deep Networks from Decentralized Data”에 따르면 연합학습은 중앙 저장이 필요 없다. 사용자는 중앙저장기기 없이 대량의 데이터로 학습된 공유 모델을 함께 공유한다. 연합학습은 모델에 데이터를 주입하는 것이 아니라 데이터에 모델을 적용하는 방식이다.
인공신경망 압축 (Neural Network Compression)
2021년에는 인공신경망 경량화가 본격적으로 진행될 예정이다. 파라미터 가지치기, 데이터 공유, 양자화(quantization), 압축 합성곱 필터, 추천시스템 경량화에 쓰이는 낮은 랭크인수분해기법(low-rank factorization), 언어 모델 경량화에 쓰이는 지식 증류 기법(Knowledge Distillation) 등이 추가 연구될 것으로 분석된다.
