# LLaMA
생성형 AI에 대해 찍먹으로 공부한 것들..
생성형 AI에 대해서 알아 본 것을 정리 해보려 합니다.생성형 AI를 한번에 이해시킬 수 있는 단어는 최근 세계적인 관심도가 높은 'Chat GPT'라고 할 수 있습니다. 생성형(Generative) AI란?사람이 AI에게 입력값을 요구하면 그 요구에 맞춰 결과를 만들
[ML/DL] Rotary Embeddings
Rotary Positional Embeddings 은 Relative 기반의 방법이고, Additive form 이 아닌 Multiplicative 기법에 Sinusoid 아이디어를 활용한 것임
[Paper Review] LLaMA: Open and Efficient Foundation Language Models
Meta AI 에서 Open 하여 공개한 LLM 모델로, 7B ~ 65B 규모의 foundation language models. GPT-3 (175B), Chinchilla (70B) 모델과 비교하여 우수한 성능을 보이며, public data 만을 사용
[Project] Promptie: The Best Prompt Tool Ever
생성형 AI는 우리가 원하는 결과를 얻기 위해 적절한 명령을 내려야 하며, 이러한 명령을 효과적으로 설계하고 개선하는 기술을 프롬프트 엔지니어링(Prompt Engineering)이라고 한다. 본 프로젝트는 프롬프트 엔지니어링을 돕는 도구 개발 프로젝트를 소개한다.
[잡담] 일론 머스크 vs 마크 저커버그 PK 누가 이길까? GPT, Bard, LLaMA에게 분석 맡겨보기.
chatbot이 분석하는 세기의 결투, 머스크 vs 저커버그
[AI] Meta, 오픈소스 기반의 Llama 2를 공개하다.
어제 메타에서 대형언어모델 라마(Llama) 2를 공개했습니다.오픈소스고, 다운받아서 로컬에서 사용이 가능하며 파인튜닝도 가능합니다.또한 1에서 2로 넘어오며 상업적 사용이 가능해졌습니다.상업적 사용이 가능한데 로컬로 돌릴 수 있는 대형언어모델!GPT를 사용하는 것 보
[LLaMA 관련 논문 리뷰] 02-Scaling Instruction-Finetuned Language Models (Instruction Tuning)
이전 글에 이어서 Instruction Tuning 관련 논문을 리뷰하겠습니다. 오늘 리뷰할 논문은 Instruction Tuning에 CoT prompting을 추가하여 모델의 resoning ability를 증진할 수 있는지 실험한 논문입니다. Scaling In
[LLaMA 관련 논문 리뷰] 01-FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS (Instruction Tuning)
Open and Efficient Foundation Language Models
Meta AI에서 개발한 ChatGPT의 대항마, LLaMA
LLaMA: Open and Efficient Foundation Language ModelsChatGPT로 세계가 떠들썩한 2023년 2월 24일, 메타AI (페이스북)에서 라마(LLaMA)를 발표했습니다.사실 메타가 언어 모델을 발표한 것은 이번이 처음이 아닙니다.
LLaMA, (Ko)Alpaca, Dalai (!)
요즘 LLaMA 가 핫하길래 순전히 내 궁금증 해소 차원에서 메모를 남긴다.기술블로그 포스팅은 다른 사람이 정보를 이해하기 쉽도록 일목요연하게 쓰면 좋겠으나그러려면 글을 쓰는 수고가 많이 들 테고, 나는 내 궁금증만 해결하면 되는데 너무 input 이 크다.(사실 라마
.jpeg)
List of Open Sourced LLM like ChatGPT
ChatGPT와 유사한 chat기반의 오픈소스 모델들이 최근 속속 공개되고 있다. (Dall-E 유료 공개 후, Stable Diffusion이라는 오픈소스가 등장한 것과 유사한 맥락인 듯)최근 LLaMA 65B를 4비트 양자화해서 개인 랩탑에서도 돌리던데(https&