자연어처리에 있어서 다른 평가 지표에 가장 기본이 되는 것은 다른 task와 마찬가지로 Precision, Recall, F1-score이다. 따라서 해당 평가 지표들이 자연어처리에서 어떤 의미를 가지는지 간단하게 살펴본 이후 Precision, Recall, F1-s

RAG와 관련된 공부를 하던 와중에 EnsembleRetriever에서 sparse retriever와 dense retriever를 결합하여 사용한다는 내용을 봤다. sparse retriever는 키워드를 기반으로 쿼리와 관련 문서를 찾는 데에 효과적이며, dens

Part 10 Multi-Query

다른 사람들이 작성한 딥러닝 모델 학습 코드를 살펴보면 argparse가 자주 등장한다. argparse 모듈은 CLI 환경에서 파이썬 스크립트를 호출할 때 인자값(argument)을 다르게 줌으로써 다른 동작을 하고 싶은 경우에 유용하게 사용할 수 있다. 주로 bat

[Part 1] Overview RAG의 주요 동기는 LLM이 내가 관심있는 데이터를 보지 못했다는 점에 있다. 개인의 데이터나 최근의 데이터는 LLM이 사전 학습하지 못했기 때문에 원하는 답변을 얻지 못할 가능성이 크다. LLM이 입력으로 받을 수 있는 contex

[Part 5] Multi-Query Query Translation은 input query가 모호할 수 있기 때문에 다양한 각도에서 의도를 파악하여 각각 관련된 정보를 탐색하는 방법이다. input query가 모호하다면 그에 매칭되는 정보나 문서 역시 모호할 가능

1. BERT의 기본 개념 BERT는 Word2Vec과 같은 context-free 임베딩 모델과는 달리 context-based 임베딩 모델이다. BERT는 모든 단어의 문맥상 의미를 이해하기 위해 문장의 각 단어를 문장의 다른 모든 단어와 연결시켜 이해한다. 2.

장기 의존성 문제(long-term dependacy) : RNN이 은닉 상태(hidden state)를 통해 과거의 정보를 저장할 때 문장의 길이가 길어지면 앞의 과거 정보가 마지막 시점까지 전달되지 못하는 현상트랜스포머(transformer)는 RNN에서 사용한 순

Seq2Seq(sequence to sequence)란 입력 시퀀스(input sequence)에 대해서 출력 시퀀스(output sequence)를 만들기 위한 모델로서, 주로 기계 번역(Machine Translation)이나 챗봇(Chatbot)뿐만 아니라 내용

RNN(Recurrent Neural Network, 순환신경망)은 연속성이 있는 데이터를 처리하기 위해서 고안된 신경망이다. RNN은 기존 신경망들과는 달리 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내는 동시에, 은닉층 노드의 다음 계산을

컴퓨터구조와 관련된 지식에는 크게 2가지가 있다. 컴퓨터가 이해하는 정보컴퓨터의 4가지 핵심 부품컴퓨터는 0과 1로 표현된 정보만을 이해한다. 이렇게 0과 1로 표현된 정보에는 데이터와 명령어가 있다.데이터 : 컴퓨터가 이해하는 숫자, 문자, 이미지, 동영상과 같은 정