Gemini
구글이 OpenAI의 GPT-4 추론 능력을 뛰어넘는다는 Gemini(제미나이)를 출시했다.
Gemini는 현재 Pro가 GCP Vertex AI 및 바드에 적용되었고 유료버전인 Gemini 울트라는 기업용으로 유료로 제공될 예정이다.
Gemini 울트라는 자사 최신 LLM인 PaLM2보다 더 정확한 응답을 생성할 수 있다고 구글 CEO는 말한다.
Gemini 울트라는 수학, 물리학, 역사, 법률, 의학, 윤리 등 57개 고등 교과목 지식을 조합해 추론 능력을 테스트하는 대규모 다중 작업 언어이해(MMLU)에서 90.04% 점수를 기록했다고 하고 오픈AI의 GPT-4는 86.4%에 그쳤다고 한다...
현재 LLM 관련 업무를 하고 있는데 이에 대한 연장선으로 구글의 PaLM2, Gemini 답변을 테스트 해볼 수 있는 간단한 앱을 구현했다.
(사실 어플리케이션까지 구현하지 않아도 GCP의 Vertex AI를 통해 콘솔에서 쉽게 테스트가 가능하다^^)
어플리케이션 구현
Veretx AI의 콘솔 화면이다 Studio에서 Language로 들어가면 옆에 모델을 선택할 수 있는데 Gemini Pro가 새로 생겼다!
'GET CODE' 버튼을 통해 코드로 구현하기 위한 구조를 확인했다.
이는 아직 Preview라 나중엔 조금 변동될 수도 있지만 기존 PaLM2의 text-bison과는 파라미터를 받는 형식이 조금 달랐다.
PaLM2(text-bison)
Gemini Pro
두 가지 구조를 확인하고 streamlit을 통해 어플리케이션을 구현해볼 것이다.
(PaLM2처럼 그냥 response.txt를 해줬을 때 응답 결과는 아래와 같았다.
때문에 response.candidates[0].content.parts[0].text를 해줘야 한다.)
최종 구현 화면
PaLM2와 Gemini
※temperature와 같은 파라미터값들은 두 모델이 모두 동일하게 설정되어 있다.※
질문 : 안녕하세요
PaLM2는 안녕하세요 뒤에 올 수 있는 말들을 지어낸다. 아래 사진 외에도 다른 다양한 답변이 나온다. 하지만 Gemini는 저는 챗봇입니다 무엇을 도와드릴까요? 라고 간결하고 명확하게 답변한다.
PaLM2
Gemini
질문 : 세계에서 제일 돈 많은 사람이 누구야?
이것도 검색을 해보니 Gemini가 더 정확한 답변을 했다.
PaLM2
Gemini
질문 : 세계에서 가장 큰 동물이 뭐야?
둘 다 정확한 대답을 했지만 이제 여기서 특징을 알 수 있다. Gemini 물어본 것에 대해 간결하게 해당되는 답변만을 내놓고 PaLM2의 경우 부연 설명을 덧붙여 결과를 내놓는다.
PaLM2
Gemini
질문 : GCP에서 데이터 플랫폼을 구축하려 하는데 가장 이상적인 아키텍처가 뭐야? 온프레미스에서 마이그레이션 할거야.
여기서도 비슷한 느낌으로 PaLM2의 경우 GCP에서 데이터 플랫폼을 구축하기 위한 기술에 대한 설명, 그리고 온프레미스에서의 마이그레이션할 수 있는 방법을 중점적으로 설명해준다.
하지만 Gemini의 경우 정확히 GCP에서 데이터 플랫폼을 구축하기 위해선 어떤 서비스를 사용하면 되는지 용도별로 나누어서 그 서비스만을 알려준다.
PaLM2
Gemini
질문 : 금천구 사는 27살 김민형 누군지 알아? 모르면 모른다고 대답해.
이상한 답변 안하고 모르는 건 모른다고 솔직하게 대답하는 Gemini..
PaLM2
Gemini
ChatGPT와 Gemini
앱에 GPT도 녹인 건 아니지만 그냥 따로 비교해봤다.
여기서 중점적으로 비교해볼 건 코드 생성 기능이다.
질문 : streamlit 코드를 짜야하는데 가운데에는 사진 하나가 있고 "Title"이라는 문구가 있어. 그리고 그 밑에 소제목으로 "sub title"이 있고 그 밑에는 검색할 수 있는 검색창을 만들어줘.
근데 중요한게 하나 있어. 검색창 밑에 버튼을 a, b로 두 개 만들어줘. 각각의 Logic이 따로라서 a 버튼을 클릭하고 검색했을 때와 b 버튼을 클릭하고 검색했을 때가 다르게 실행될 예정이야.
조금 다르지만 코드도 곧잘 짜준다. 하지만 마찬가지로 정말 요구사항에 대한 코드만 내놓고 GPT처럼 설명을 따로 해주진 않는다.
ChatGPT
Gemini
질문 : Docker 컨테이너에서 호스트 머신(VM)의 8501 포트로 포트 매핑이 올바르게 되어 있는지는 어떻게 확인해? 명령어를 알려줘
GPT의 경우 컨테이너와 VM의 포트 매핑 정보를 확인할 수 있는 방법 + 만약 매핑이 되어있지 않다면 ~~ 하고 후속 조치법을 알려주기도 한다. 하지만 역시나 Gemini는 정확히 질문에 대한 답변만 내놓는 것을 확인할 수 있다.
ChatGPT
Gemini
+개인의견
Gemini가 기존의 PaLM2보다는 성능이 좋은 것 같지만 질문한 것에 대한 부연 설명이 GPT에 비해 조금 부족한 면이 있다. 프롬프트를 던질 때 부연설명도 같이 해달라고 하면 조금 다를까..? 현시점 아직 Preview라곤 하나 GPT의 대항마까지는.. 좀 더 두고봐야 할 것 같다.
[Gemini 참고]
https://zdnet.co.kr/view/?no=20231207080855
