데이터베이스

내가 아직 다뤄본 적이 없는 nosql 데이터베이스 시스템에 대해서 정리해보고자 이 글을 작성한다. (사진은 테이블이 없는 몽고db의 특징 ㅋㅋ)위처럼 sql과 몽고db의 사용용어가 다르다. 컬렉션의 경우 문서들의 집합이며 각 문서는 필드와 값의 쌍으로 구성된다. 이때

지난 포스팅과 이어서 계속 몽고디비에 대해서 학습해보자 기본적인 쉘 데이터 표현 MongoDB에서 데이터는 JSON과 유사한 형식인 BSON(Binary JSON)을 사용해 저장된다. 예를들어 m = {ename: "smith"}는 ename이라는 필드에 "smith

필자는 지금 리눅스 환경에서 sqlloader를 이용해 csv파일을 데이터베이스에 적재하려고 한다. centos를 사용하였으며 oracle 데이터베이스를 활용하였다. 근데 계속 csv 파일이 넣어지지 않는 현상이 일어나서 n시간동안 삽질해 해결한 내용을 기록한다.한국어

프로젝트를 진행하려는데 open api를 이용해 데이터를 가져오고 그 데이터를 데이터 베이스에 넣기 위해 json 데이터이기에 몽고db를 사용하기로 하였다. 그래서 그 과정을 적어보고자 작성한다. mongodb 설치 우선 필자는 M2 pro 맥북을 가지고 있다.

필자는 지금 부트캠프를 다니고 있고... 이미 2차 프로젝트 때 weaviate를 사용했었다. weaviate를 선택한 이유는 아래와 같다. 벡터 데이터베이스이기 때문!벡터 db는 데이터의 의미적 유사성을 기반으로 검색을 수행한다. 그래서 nlp 애플리케이션에서 유사한

전 글에서 작성한 것처럼 weaviate를 연결해야지 해당 게시글에 있는 코드가 실행된다는 점!!! 더불어 이건 2024-06-21 기준 가장 최신버전에 있는 코드로 작성했기 때문에 현시점 근처에서 실행하는 경우 weaviate버전을 확인해보고 실행해야한다. 예전 버

필자는 현재 논문 검색 및 사용자 pdf 관련해서 vectorization을 통해 rag 챗봇을 만드는 프로젝트를 진행중이다. 그래서 weaviate를 사용하기로 했고 공식문서롤 봐도봐도 기억이 리셋돼서 장기메모리에 남기 위해 글을 작성해보겠다. 그리고 python c

필자는 pdf 기반으로 텍스트를 임베딩하여 챗봇을 생성하려고 한다. 그래서 벡터 임베딩을 위해 weaviate를 사용중이고 즉 rag를 이용해서 챗봇을 구현하려고 한다.우선 generative search란 무엇일까?생성형 검색은 task 프롬프트와 함께 대규모 언어

weaviate에서 컬렉션을 생성해줄 때 벡터화 모듈을 설정해줄 수 있다.이때 필자는 허깅페이스를 사용할 것이다. 공식문서 와 현재 보편적으로 사용되는 코드가 있는데 이건This section of the documentation is deprecated and wil

weaviate를 사용중인데 현재 필자는 batch fixed 만 사용해서 데이터를 적재했는데 이것 외에 다른 방법들에 대해서 궁금해서 찾아보고 정리하고자 한다.기본적으로 데이터를 저장하려면 아래와 같이 넣는다.당연히 json 형식으로 적재하고 title이라는 속성이

서론 weaviate에서는 search 기능을 아주 다양한 방법들이 구현되어 있다. 그 방법으로는 공식문서 를 참고하면 더 자세히 알 수 있다. Vector similarity search, Image search, Keyword search, Hybrid sear

현재 필자는 원티드에서 진행하는 백엔드 프리온보딩 인턴십 교육에 참여중이다. 세션을 진행하던 중 restful api에 대해서 깊게 고민할 수 있는 시간을 가졌다. REST API라는 규격이 생겨난 이유는 사람마다 회사마다 각자의 규격으로 설계하기에 비용을 절감하고 이