AIcrowd - LLM finetuning

아마존에서 주최한 LLM을 활용하여 여러 task를 푸는 대회에 참가하였습니다..track이 총 5개가 있습니다.그 중 제가 참가한 대회는 track2:Shopping Knowledge Reasoning 입니다..!https://www.aicrowd.com/

후기 2탄.. 지난 후기는 모델선정하는 과정(?) 을 적었는데 이번엔 대회에서 원하는 출력이 무엇인지 알아보고 튜닝에 필요하는 학습데이터셋을 알아보도록 하겠습니다.

학습에 대한 내용을 적어보도록 하겠습니다.이제 학습코드가 잘 작동하는 것을 확인했고 학습을 진행했습니다.본 글은 후기를 적는 것이기에 코드는 제공하지는 않겠습니다..!어차피 구글링하면 나오기도 하고 각자 수정하여 본인에 맞게 사용해야 하기에..llam3-8B-bnb-4

앞서 대회를 마무리하고 후기를 남겼는데요...본선에 진출을 했습니다..?!baeline인 클라우디보다 더 좋은 성적이 나온 팀들은 모두 본선으로 갔습니다..본선도 똑같이 파인튜닝을 해야할 것 같은데 성능이 더 업그레이드 됐습니다.T4 gpu가 4개로 2배 업그레이드 됐