Open-Clip 래포의 pre-trained weight 사용하기

step 1. ReadMe에 설명된 방법

1.1. pretrained models

• https://github.com/mlfoundations/open_clip?tab=readme-ov-file
• pretrained models 리스트 보기
• 방법 1: 아래 코드를 입력하면, 볼 수 있다.

>>> import open_clip
>>> open_clip.list_pretrained()

• 방법 2: https://github.com/mlfoundations/open_clip/blob/main/docs/PRETRAINED.md
  • 구체적으로, 어떻게 pretrained-model을 사용할 수 있는지 나와있음.
• 참고:
  • 많은 기존 체크포인트들이 QuickGELU 활성화 함수를 사용
  • 이 활성화 함수는 실제로 최근 버전의 PyTorch에서 기본 torch.nn.GELU보다 효율이 떨어짐
  • 모델 기본값은 이제 nn.GELU이므로, OpenCLIP pretrained models weight를 사용하기 위해서는, -quickgelu 접미사가 있는 모델 정의를 사용해야 함
  • 미래에 훈련된 모델들은 nn.GELU를 사용할 것입니다.

1.2. model loading

• 모델은 아래 예시에서 보여진 것처럼 open_clip.create_model_and_transforms로 로드
• 모델 이름과 해당 사전 훈련된 키는 open_clip.list_pretrained()의 출력과 호환

# pretrained also accepts local paths
model, _, preprocess = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k') 

• 사전 훈련된 인수는 로컬 경로도 받아들입니다.
  • 예를 들어, /path/to/my/b32.pt.
  • huggingface로부터 체크포인트를 이런 방식으로도 로드할 수 있음
    • 그렇게 하려면, open_clip_pytorch_model.bin 파일을 다운로드하세요
    • (예: https://huggingface.co/laion/CLIP-ViT-L-14-DataComp.XL-s13B-b90K/tree/main),
    • 그리고 pretrained=/path/to/open_clip_pytorch_model.bin를 사용하세요.

step 2. 방법 2의 ReadMe

• Full collection of available models on a suite of 38 datasets in a zero-shot setting (i.e., without fine-tuning).
  • https://github.com/mlfoundations/open_clip/blob/main/docs/openclip_results.csv
  • 위 링크는, downsteream task에 대한 성능도 표로 제공하고 있다.
  • 아쉽게도, Video-task에 대한 결과는 나와있지 않다.