[2023_12_09]
Google 개발자 커뮤니티 행산인 DevFest Cloud 2023에 참여했다.
이번 컨퍼런스는 생성형AI를 주제로 LLM, Embeddings, RLHF, Gen, GCP등 다양한 토픽의 세션들이 있었다.
Kaz Sato님의 Emgbedding과 RAG 세션을 가장 관심있게 들었다.
(그 다음 주 화요일에 스터디에서 Embedding 발표를 해야 했음..)
강연 후에 Sato 님께 평소 Embedding 공부하며 궁금 했던 것들을 물을 수 있는 Networking 시간도 주어져서 정말 유익했다.
단어 혹은 문장사이의 유사성을 계산 할 때, 가령 "빨간 사과를 먹고있는 소녀가 그려진 티셔츠" 와 같은 item의 categories가 많은 데 (빨간 / 사과 / 소녀 / 티셔츠) 이러한 각 Categories 별로 유사성을 계산하는 것인지, 우선순위를 어떻게 계산하는지 에대해 질문 드렸다.
실제 Google Searching System을 예시로 설명해 주셨는데,
이는 Embedding 발표 자료 만들면서 다시 자세히 정리 해 보겠당.
==> Link (RNN: Image Captioning 참고)
(cloud.google.com/AI & Machine Learning Developers & Practitioners)
RAG는 간단하게 말하자면 외부 소스에서 정보를 가져오며 LLM이 높은 신뢰성과 정확도를 가진 답을 향상시키기위한 프로세스이다. "비교적" 프로세스 구현이 쉬워서 Data set을 추가해서 모델을 더 훈련 시키는 것 보다 비용이나 시간이 덜 든다고한다.
(RAG 논문| Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks)
https://arxiv.org/abs/2005.11401
Google, MS, AWS 등 에서 이미 RAG의 사용일 위한 아키텍처들을 제공하고 있다.
Google Cloud 사용해서 RAG을 사용해 보고 다른 게시물로 자세히 정리하려 한다.
이것저것 많이 받아 왔당. (뽑기해서 당첨되어서 책도 받음)
MS AI School 하면서 자연스럽게 Azure만 썼었는데 이번 강연자님들의 여러 시연영상들을 보며 집가서 Google cloud로 해봐야 겠다는 생각 계속 했다. 더 깔끔한 느낌이 들었음..
