개발코스 4주차 WIL

1. 4주차 한일

전처리한 데이터를 vector DB(chroma DB)에 담는 작업을 진행하였다.

처음에는 코랩에서 코드를 돌려 AWS EC2 서버로 데이터를 적재하려고 했으나 14만개의 데이터로 인해 생각보다 많은 시간이 걸렸고, 중간에 네트워크 유실로 끊길 우려가 발생할 수 있었을 뿐더러. 아무래도 직접 서버에서 돌리는 것이 아니기 때문에 정확히 적재된다고 볼 수 있을까? 싶은 우려가 있었다.

따라서 AWS EC2 서버에서 터미널을 통해 작성한 .py 파일과 json을 업로드하고 실행시켜 DB에 직접 적재하는 과정을 거치고 있었다. 이도 역시 시간이 오래 걸렸을 뿐더러 실행 시켜놓고 잤지만, 새벽에 서버가 중단되는 바람에 애를 먹었다. 결국 실패.. 시간도 꽤나 오래 걸릴 것으로 보였음.

마지막으로 개선 코드와 ijson을 통해 이전의 코드보다 안정적으로 서버의 vector db에 데이터를 적재할 수 있었다.

이후 조원들의 langchain과 langraph 작업이 끝나고.
중간데모데이 발표자료를 제작하는 역할을 맡았다.

2. 중간의 변경사항

처음에는 데이터를 1000개씩 적재했다가 속도 이슈와 중간에 터질 수 있으므로, 데이터를 200개 -> 100개 -> 50개씩 줄여가며 분할하여 적재하였다. 최종적으로는 100개씩 적재하고 진행상황을 표시하도록 진행하였음.

3. 앞으로 진행할 일

langchain과 langraph를 다른 팀원이 작업하였기에, 내가 해당 부분에 대해서는 정확히 알지 못한 상태이다. 따라서 관련된 공부를 우선적으로 진행할 예정이다.
또한 서버의 성능이 현재 좋지 못해 ollama를 서버에서 가동하는데 문제가 발생하고 터지는 이슈가 있어서, 가장 효율적인 방법으로 서버의 성능을 향상 시키는 방법을 찾아볼 예정이다.

4. 소감

여러가지 시행착오를 겪으며, 사실 좀 재미도 봤던 것 같다. 어렵다기 보단 문제가 해결되고 상황이 진척되는 모습을 보며, 피곤함보다는 뿌듯함을 더욱 느꼈던 것 같다.
또한 발표자료를 제작할 때, 사실 figma 사용은 처음이라 많이 버벅였지만. 오히려 덕분에 지금이라도 이런 협업도구를 알게 되어 유익했던 것 같다.