Gemini

Google의 LLM은 이름이 다양해서 혼용될예정...

Bard는 2월 Gemini로 리브랜딩되었다.. Bard Good Bye..

구글에서 발표한 LLM List

이름 / 날짜 / 파라미터 / 데이터 학습량

GLaM/2021.12/1.2T/1.6T
Gopher/2021.12/280B/300B
LaMDA/2022.1/137B/168B
Chinchilla/2022.3/70B/1.4T
PaLM/2022.4/540B/768B - 2021 Pathways 아키텍처(영상,텍스트 등 멀티 학습)에 기반한 모델
Minerva/2022.6/540B/38.5B
PaLM 2/2023.5/340B/3.6T - 여러 언어를 사용할 수 있게 되었음. 의료 전문 지식을 갖춘 Med-PaLM2 도 이 때부터 공개되었음.
Gemini 1.0/2023.12/Unknown/Unknown - 인풋만 멀티모달이 아닌 아웃풋까지 멀티 모달인 모델
Gemini 1.5/2024.2/Unknown/Unknown

Pathways Architecture

• 단일 모델로 수백만 가지의 Task를 처리 가능
• 영상, 이미지, 텍스트 input을 받을 수 있음
• 특정 작업을 할 때 전체적인 신경망이 작동하는게 아닌 일부분의 신경망만 작동함