원문: Google Research, 2022 & beyond: Language, vision and generative models

내마음대로 해석

Language, Vision and Generative Models

Language Models

지난 10년동안 ML연구에서 가장 흥미로운 영역 중 하나는 더 크고 강력한 언어모델에 대한 진보였다. 이 과정에서는 sequence-to-sequence 학습과 같은 새로운 접근 방식과, 지난 몇 년동안 이 분야에서 이루어진 대부분 기반이 되는 Transformer 모델의 도약이 포함된다.
언어 모델은 이전 토큰이 주어진 텍스트 시퀀스에서 다음 토큰을 예측하는 단순한 목표도 훈련하지만, 대규모 모델은 충분히 크고 다양한 텍스트 말뭉치 (데이터셋)을 훈련할 때, 일관되고 상황에 맞는 자연스러운 답변을 생성할 수도 있다. 창의적 콘텐츠 생성, 언어 번역, 코딩 작업 지원 등 다양한 작업에 응용할 수도 있다.
현재 Google의 언어모델 작업 LaMDA 같은 경우는 안전하고 근거 있는 고품질 대화에 사용해, 상황에 맞는 multi-turn conversations을 가능하게 하는 법을 연구한다.

자연스러운 대화는 컴퓨터와 사람이 상호작용할 수 있는 중요하고 새로운 하나의 방법이다. 컴퓨터의 한계를 가장 잘 수용하는 방식으로 상호작용하기 위해 자연스러운 대화를 통해 다양한 작업을 수행할 수 있다.

22년 4월, Google은 Pathways 소프트웨어 인프라를 사용하여 5,400억 개의 파라미터를 훈련한 언어모델 PaLM을 설명했다. 본 작업은 다음 토큰을 예측 하는 목적으로만 훈련되었음에도 불구하고 다양한 언어, 번역, 코딩 작업을