VLM

TODO: 블로그 글도 추가로 공부해보기?https://arxiv.org/pdf/2304.08485https://www.youtube.com/watch?v=n58UZziEieo예시prompt: 세상에서 가장 뛰어난 축구선수 이름은 뭐니?completi

https://arxiv.org/pdf/2310.03744https://velog.io/@jk01019/Visual-Instruction-Tuningreferencehttps://ostin.tistory.com/247https://k

왼쪽이 사전 학습 단계. 많은 데이터를 이용해서 학습시킨다. 이 단계에서의 데이터를 어떻게 모으나면 (예상임)"image-text" pair를 인터넷에서 모은 후,"text"만을 이용해서, GPT를 활용해 Question-Answer 쌍을 만든다.예를 들면: text가

VideoChat-text 용어 정리 -1 종합 예시 비디오 설명 상황 한 소녀가 공원에서 자전거를 타며 강아지가 뒤따라오는 장면을 포함한 비디오. Action Labels: "자전거 타기", "강아지 달리기" Frame Summaries: "소녀가 자전거를 타고