MIT Technology Review
AI 주권
네이버 AI랩 | 하정우 연구소장
네이버 클로바 | 성낙호 비즈 AI 책임리더
어제 오후 2시에 강연이 있어서 노드를 하던 도중에 달려가서 들었습니다.
현재 한국의 AI 시장 정세와 트렌드에 대한 강연이었죠.
내용이 좋아 잊어버리기 전에 적어봅니다.
(내용 요약 도와주신 이동형님 감사드립니다!)
요즘 메인 트렌드는 pretrain, fine-tuning, zero-shot, few-shot이다.
모델이 문제라기보다는 data가 문제였는데, unsupervised 학습의 트렌드가 되면서 해결되는 중이다.
그리고 gpt-3같은 빅 스케일 모델이 대두되고 있으며, finetuning도 없이 1시간 이내로 최소 80% 수준의 성능을 내는 모델들이 나오고 있다.
finetuning 에서는 잘 정리된 데이터가 필요했는데, gpt-3는 finetuning이 필요없어졌다. 그래도 기존 모델보다 더 좋은 성능을 낸다.
현재는 코딩도 필요없는 no-code AI로 가는 중이다.
한국어는 세계적으로 볼 때 비중이 작고 데이터가 작다. 0.6% 라고 볼 수 있는데 사이즈로 보면 엑사바이트 정도이다. 학습 시 테라바이트 수준이면 되기 때문에, 비율은 적을지언정 한국어 데이터의 절대적인 양이 결코 적다고 할 수 없다.
인터넷 상에서는 한국어 비율 0.6% 이지만, gpt-3에서는 0.015% 만 쓰였다. 외국에서 만들 때, 영어를 위해 한국어 비율을 강제로 눌러놓은 것이다.
글로벌 회사들이 한국어를 배제한다면, 한국이라는 국가가 제품을 만들어달라고 하기 어렵다. 그래사 AI 주권 개념 나오게 되었다.
빅 스케일 흐름을 타고있는 AI시장을 따라잡으려면 워낙 투자규모가 커야해서, 기술종속성 문제를 해결하기 위해 투자가 필요하다. 한국어 gpt-3도 네이버가 가장 먼저 했다.
AI가 산업에 어떤 도움이 되는가?
네이버는 플래폼 회사이다. 네이버만으로는 글로벌 회사들과 경쟁하기 쉽지 않다. 투자/기술공유 형태로 함께 생태계 만들어가야 한다. 방법은 API 공개 등 다양한 방법이 있을 것이다.
네이버에서 잘 만들어놓은 플랫폼을 이용하게 되는데, 사용자 입장에서의 고민이 있을 수 있다. 바로 기술종속성 문제이다. 네이버에서 제공하는 기술에 끌려다니게 되는 것은 아닐까하는 걱정이다.
AI를 사용해야 하는 방법은 3가지가 있을 것이다.
- 직접 제작하는 내재화
- 네이버와 같은 국내 플랫폼 이용
- 구글 등 외국 플랫폼 이용
네이버는 국내법 적용하기 때문에 안전장치 측면에서도 국내기업인 네이버가 낫다.
AI Transformation 준비가 잘 안된 기업들이 많아 보인다. 성공적 Transformation을 위한 방법은?
-
최고의사결정권자의 의지가 실제 실무자까지 내려가는 과정이 중요하다.
--> 그러기 위해선 노력, 꾸준한 커뮤니케이션, 공감, 이 방향이 맞다는 꾸준한 설득 등이 필요하다. 사람은 기본적으로 잘 변하지 않는다. '변하려면 어떤 동기가 있어야 하는가?'는 높은 사람들이 생각해야 할 몫이다. -
변화는 작게 시작하자. small start하다보면 성공이 쌓이고 점점 신뢰가 쌓이게 된다.
-
AI는 objective function을 최적화하는 문제이다. 그리고 현실 문제들은 목적 함수 형태로 도메인을 기술할 수 있어야 해결할 수 있다.
--> 내가 하는 일을 구조적 설계할 수 있어야한다. 안 되면 겉 돌게 된다. 정량적 사고 체계, 데이터 팀이 붙어도 융화가 되야한다. 그래서 필요한 사람이 도메인 전문가이면서 AI식으로 사고할 수 있는 사람이다.
모델은 거의 Transformer로 수렴되는 중이다.
모델 설계자의 특별한 가정이 적은 편이다. 이미지 인식을 볼 땐, Convolution에서 local 정보를 어떻게 취합하는지가 중요하고, RNN에서는 시계열에 대한 이해 필요하다.
그런데 Transformer에서는 구조 자체가 알아서 해준다. 데이터가 많을수록 재미를 본다.
결국 모델이 Transformer로 수렴되면서, 데이터의 양으로 성능의 승부를 보는 것이다. 그리고 지도학습에서 un/self-supervised로 가다보니 성능이 높아지기도 했다.
이제 필요한 것은 언어학습보다는 지식학습니다.
인공지능을 지금 4개월째 공부하면서 AI 찍먹 중인 나에게도 기술의 발전이 너무 빠르다는 게 느껴지는데, 아예 접하지 않았던 사람들에게는 얼마나 빠를지 감도 오지 않습니다.
이제는 빅 스케일 AI가 대세라서 데이터를 때려 박아서 성능의 승부를 본다고 한다. 정말 기업 만큼의 인프라가 없다면 앞으로 뛰어난 AI를 보긴 힘들겠구나...
네이버가 NLP AI계에서는 최전선에 있는 것 같아보였다. 들어가고 싶네...
