2024/11/13 개인과제를 받았다.
LLM,RAG를 활용 하여 AI챗봇을 구현 하라는 과제다
참고 데이터는 3가지
과정은
- 사용환경준비
- 모델 로드하기
- 문서로드하기
- 문서 청크로 나누기
- 벡터 임베딩 생성
- 벡터 스토어 생성
- FAISS를 Retriever로 변환
- 프롬프트 템플릿 정의
- RAG 체인 구성
- 챗봇 구동 확인
등 이 있다.
사용환경준비와 모델 로드하기는 참고 코드를 사용하였고.
이것 저것 준비 하여 VScode에서 패키지를 먼저 설치 하였는데...
시작 부터 꼬이기 시작했다.
모든 패키지를 설치하였지만 아무래도 호환성 문제로 설치가 안되거나 Windows버전으로 나오지 않는 패키지들이 있다. 나온다 한들 pip install나 conda install로도 설치가 잘 되지않고 최신버전은 사용이 불가능하거나 해서 구버전을 설치 해야한다. 또 시스템환경변수 설정에서 따로 지정을 해줘야하는데 적용이 안되는 경우도 있다. 윈도우의 단점인지 뭔지 모르겠지만 하여튼 열심히 짜놓은 로직도 안돌아간다.
패키지 설치만 2시간 찾다가 결국 나는 침대로 뻗어 버렸다....
pip install faiss-cpu....
pip install faiss-gpu.......
나는 하드웨어가 좋은편이라 gpu를 선택 하였지만. 백번 천번 터미널에서 실행해도 설치가 안된다..
'이건 여러번 pip install faiss-gpu치고 난 뒤 오류
pip install faiss-cpu을 사용 하였지만..
나는 코딩 초보자라 해결할 능력이 없다 그냥 패스
라고 포기를 할려고 했지만 VScode를 포기하고 구글colab으로 개발 환경을 바꾸었다.
colab은 기본적인 프로그래밍언어와 패키지들이 준비 되어있어 호환이 매우 잘되는 것을 확인하고.
사용 하고자 하는 패키지들도 모두 잘 호환이 었다.
이전에 딥러닝을 위해 cuda코어를 사용 할때에도 파이토치gpu버전을 설치하는데도 엄청 힘들었는데 이번에도 비슷한 경험을 한것같다. AI개발에 있어 개발환경의 중요성을 매우 매우 느꼈다.
