개발일지
1.[LLM] chunk size를 결정하는 방법
입력 텍스트 크기가 클 수록 노이즈가 발생하거나 개별 무장이나 구문의 중요성이 희석될 수 있음인덱스를 쿼리할 때 정확한 일치 항목을 찾는 것이 더 어려워짐집중도가 떨어지고 관련성이 떨어지는 결과가 발생 가능chunk에 여러 아이디어(내용)이 포함되는 경우 가장 중요한
2.[LLM] RAG 성능 높이는 방법 - Reranker
Reranker는 retriever가 찾아낸 문서들의 순위를 재조정하는 역할을 한다.문서들을 준비한다.Retriever를 이용해 관련 문서 결과를 받는다.검색된 문서를 Reranker를 통해서 다시 재순위를 매긴다.출처: https://x.com/ecarden
3.[주피터 노트북] - 셀에서 회색이 나타나는 경우 (셀 버그)
주피터 노트북을 실행하던 중에 너무 큰 결과물을 출력했는지 .ipynb에서 다음과 같은 현상이 일어났다. 다음과 같은 현상이 일어나면, Output을 전혀 볼수 없음 시도한 방법은 여러가지가 있는데 먼저 reload window 시도 캐시가 남아있기 때문에
4.[Python] 웹소켓(Websocket)
클라이언트와 서버 간 양방향 실시간 통신을 가능하게 하는 프로토콜HTTP와 달리 한 번 연결되면 꼐속 데이터를 주고 받을 수 있음풀 이중 통신(Full-Duplex) → 클라이언트와 서버가 동시에 데이터 주고받을 수 있음.실시간성 → 서버가 클라이언트 요청 없이도 바로
5.[Python] GIL & multi-thread
파이썬는 Interpreter 언어이기 때문에 기본적으로 싱글 쓰레드에서 순차적으로 동작→ 병렬처리를 하기 위해서 별도 로직을 구현해야함.threading 모듈을 사용하여 구현 가능python의 GIL 때문에 I/O작업(파일 처리, 네트워크 요청)에서 효과적이며, CP