Documnets Loader

• 문서를 불러올 수 있는 기능. 엄청 다양한 유형의 데이터를 불러올 수 있으니 공식 문서를 참고하기.
• Recursive Charater 를 이용해 data를 chunck 단위로 나눌 수 있음. Python Coder... 여러 가지 Indexes 를 가져올 수 있음
• .map_reduce
• pdf의 텍스트를 가져와서 작업 할 수 있음
• 이렇게 가져온 Documents 들은 Text Splitter에 의해 원하는 크기 단위로 쪼개질 수 있다.

Index

• document를 가져온 후 구조화 하는 데 도움을 주는 것

Vector database

• 비슷한 데이터끼리 묶어서 저장됨. unstructed data.
• use case? 추천, 비슷한 이미지 찾기, 연관된 문서 찾기.
  

Embedding

• unstructured data에 대한 numerical represetation

최종 골