PAPER_REVIEWS

오늘은 pre-training 및 fine-tuning에 대한 논문인 GPT-1에 대한 글을 읽어보고 정리해보았다.❗Before Read ❗완벽하게 순서대로 논문을 인용한 것이 아니고 부분부분 첨부하여 순서가 조금 다르거나 없는 부분이 있을 수 있습니다.중간중간

LLaMA는 7B에서 65B 사이즈의 언어모델이다. 공개적으로 사용 가능한 데이터셋으로 SOTA 모델들을 학습할 수 있다는 것을 보여준다. LLaMA-13B 모델은 GPT-3를 대부분의 기준에서 능가하고, LLaMA-65B는 Chinchilla-70B나 PaLM-540

오늘은, 문장간 유사도를 계산하는데 사용되는 평가지표인 BERTScore에 대한 논문에 대해 공부한 내용을 정리해보았다.❗Before Read ❗완벽하게 순서대로 논문을 인용한 것이 아니고 부분부분 첨부하여 순서가 조금 다르거나 없는 부분이 있을 수 있습니다.중간중간

❗Before Read ❗완벽하게 순서대로 논문을 인용한 것이 아니고 부분부분 첨부하여 순서가 조금 다르거나 없는 부분이 있을 수 있습니다! LLM 기반 evaluator는 정답없이 평가가 가능하다하지만, 단일 agent시 bias 존재해 한계가 있다bias : age

Llama 3의 성능을 pre-trained, post-trained, safety 측면에서 실험했다.Llama 3와 크기가 유사한 다양한 모델과 비교했다. 경쟁 모델의 결과는 공개된 결과 또는 Meta에서 재현할 수 있었던 결과 중 최고 점수를 기준으로 비교했다. 아