Image Embedding Search
1.pgvector 설치
postgresql-16 이 설치되있는 상태로 pgvector 를 설치하는 과정을 기록합니다.환경은 Centos8 으로 구성했습니다.설치과정은 pgvector github 를 참고해서 진행했다가 너무 개고생했는데.. 다른 방법으로 쉽게 설치가 가능했습니다 ㅠㅠrpm 파
2.chromaDB 설치
VectorDB 중 하나인 chromaDB를 설치해보자.python 기반으로 pip 명령어만으로도 쉽게 설치가 되고, OS환경은 WSL(Ubuntu) 기반에 Server로 띄워 사용하려고 한다.client는 윈도우에서 python으로 접속해서 쓰고자 한다.python
3.이미지 Embedding 하여 VectorDB에 저장하기
이번에는 Image 를 Embedding 해서 VectorDB에 저장하고, 새로운 이미지에 대해 가장 유사한 이미지를 찾아보는 실험을 해보도록 하겠습니다.Image Embedding 방법은 imagenet으로 pre-trained 된 EfficientNetV2B1 모델
4.Swinv2-tiny 모델을 통한 이미지 Embedding
지난번에 EfficientNetV2B1 모델을 통해 FC Layer 이전의 Pooling 에서의 1280 차원의 텐서를 Embedding 값으로 하여 VectorDB 에 저장하고, 새로운 이미지를 통해 유사한 이미지를 추출하는 실험을 해보았습니다.다만, 기대했던 결과가
5.CLIP 모델 뜯어보기
CLIP(Contrastive Language-Image Pretraining) 모델을 간단히 설명을 하면, 텍스트와 이미지간의 유사도를 계산하는 모델입니다.좀 더 구체적으로 설명하자면, 텍스트 인코더를 통해 임베딩된 값과 이미지 인코더를 통해 임베딩 된 값을 대조(c