llama
1.LLama2 파인튜닝 삽질기
trnasformer 4.34.1, 4.33.1 기반으로 llama2 fine tuining을 시도 했었는데. 아는 지인을 통해서 80기가 gpu에서 kor-squad를 데이터로 하여 학습을 수행해봄. 파운데이션 모델 : llama 7B 학습 데이터 : kor-squ
2023년 11월 6일
2.텍스트 임베딩 서버를 뛰워서 임베딩하기
RAG를 구현해 보려고, 수집기를 작성해서 24시간 동작시켜 놨는데수집기에서 수집된 데이터를 엘라스틱서치에 색인 하는 과정에서 embedding을 하기 위해 emdebbing 모델을 한번 사용하고 나면 해당 모듈이 끝나고 난후에도 Cuda메모리 사용량이 줄어 들지가 않
2024년 5월 24일