# MRC

25개의 포스트

[부스트캠프 AI-Tech] 15주차 Day 4~5

CHoRaL: Collecting Humor Reaction Labels from Millions of SocialMedia Users 논문 리뷰최종 프로젝트 관련 조사베이스라인 수정 및 실험 (하이퍼 파라미터 위주로)강의 1~7강 수강삶의 지도, 이력서 작성빠르게 베

2022년 5월 6일
·
0개의 댓글

[부스트캠프 AI-Tech] 15주차 Day 3

Sparse embedding의 한계차원의 수가 매우 크다 → compressed format으로 극복 가능유사성을 고려하지 못함Dense Embedding더 작은 차원의 고밀도 벡터 (length = 50~1000)각 차원이 특정 term에 대응되지 않음대부분의 요소

2022년 5월 6일
·
0개의 댓글

[부스트캠프 AI-Tech] 15주차 Day 2

Generation-based MRC주어진 지문과 질의를 보고, 답변을 생성 (생성 문제)평가 방법EM, f1 Score (Extraction-based MRC와 동일한 방법)모델 구조Seq-to-seq PLM 구조Prediction 형태Free-form text 형태

2022년 5월 6일
·
0개의 댓글

[부스트캠프 AI-Tech] 15주차 Day 1

MRC (Machine Reading Comprehension)기계 독해주어진 지문을 이해하고, 주어진 질의의 답변을 추론하는 문제MRC 종류Extractive Answer Datasets질의에 대한 답이 항상 주어진 지문의 segment(or span)으로 존재Des

2022년 5월 6일
·
0개의 댓글

TAPAS: Weakly Supervised Table Parsing via Pre-training 논문 설명

테이블 QA 문제를 해결하기 위해 질문을 의미구조로 변경하는 작업을 생략하고 테이블 속 사용할 셀위치를 학습하는 방법을 고안함

2022년 2월 9일
·
0개의 댓글
post-thumbnail

Automatic Reference Counting

오래 기다렸다. ARC가 무엇일까? 자바의 Garbage Collector와는 무엇이 다를까? 장단점은 무엇일까? 어떤 원리로 동작하는 것일까? 발생하는 문제점은 무엇일까? 어떻게 해결할 수 있을까? 이러한 내 궁금증들을 담았다.

2022년 2월 5일
·
0개의 댓글
post-thumbnail

QA with Phrase Retrieval

Error propagationReader가 아무리 뛰어나도 Retreiver가 제대로 된 context를 전달하지 못한다면 전체 프로세스의 성능이 떨어진다.Query-dependent encdoingquery에 따라 answer span의 encoding이 달라진다.

2021년 10월 20일
·
0개의 댓글

Negative in-batch

query batch는 기존대로 유지한다. passage batch가 달라진다.1개의 positive passage와 batch_size개의 negative passage로 총 batch_szie + 1 개의 데이터로 하나의 batch를 구성한다.passage batc

2021년 10월 18일
·
1개의 댓글
post-thumbnail

Reducing Training Bias

Bias는 지양대상이 아니다. 하지만 일부 bias로 인해 모델의 성능에 악영향을 끼치는 경우가 있고, 이러한 bias issue는 해결해야 한다.ML/DLinductive bias(ref)학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추

2021년 10월 18일
·
0개의 댓글
post-thumbnail

Linking MRC and Retrieval

앞선 Passage retrieval과 다르게 웹 전체, 혹은 위키피디아 전체와 같이 광범위한 Domain에서 Passage retrieval을 수행해야 한다. Context가 따로 주어지지 않는다. World Knowledge에 기반해서 QA 진행Modern sear

2021년 10월 17일
·
0개의 댓글
post-thumbnail

Passage Retrieval - Scaling up

Passage retrieal and Similarity Search Approximating Similiarity Search FAISS

2021년 10월 17일
·
0개의 댓글
post-thumbnail

[Day 47] Boostcamp AI-Tech

2021년 10월 15일 Day 47

2021년 10월 15일
·
0개의 댓글
post-thumbnail

[Day 46] Boostcamp AI-Tech

2021년 10월 14일 Day 46

2021년 10월 14일
·
0개의 댓글
post-thumbnail

Dense Embedding

Passage Embedding 중 Spare Embedding은 보통 90% 이상의 벡터값들이 0이다.차원의 수가 매우 크다.compressed format으로 극복 가능유사성을 고려하지 못한다.매우 유사한 단어라도, character가 달라지면 전혀 다른 차원으로

2021년 10월 14일
·
0개의 댓글
post-thumbnail

[Day 45] Boostcamp AI-Tech

2021년 10월 13일 Day 45

2021년 10월 13일
·
0개의 댓글
post-thumbnail

Passage Retrieval

Passage Retrieval query에 맞는 문서(Passage)를 검색(Retrieval)하는 것.

2021년 10월 13일
·
0개의 댓글

Boostcamp week11 day2 MRC with BERT, T5

샘플된 KorQuAD 데이터에 대해서 BERT를 fine-tuning 시키는 코드를 실습해보며, max_train_samples 를 조절하면서 원하는 개수만큼 학습 데이터를 선택할 수 있다.제공되는 코드를 기반으로 중요한 포인트에 집중하여 공부해보세요.Point 1.

2021년 10월 13일
·
0개의 댓글
post-thumbnail

Generation-based MRC

context와 question을 보고 답변을 생성하는 task.Extraction-based MRC가 context의 token별로 정답 확률을 추출했다면, Genration-based는 이름처럼 Generation task다.즉, Extraction-based MR

2021년 10월 13일
·
0개의 댓글

[Day 44] Boostcamp AI-Tech

2021년 10월 12일 Day 44

2021년 10월 12일
·
0개의 댓글

Unicode, Tokenization

e.g., U+AC00'U+': unicode를 뜻하는 접두어'AC00': 16진수 code pointord: character to unicode code pointchr: unicode code point to character완성형 한글 11,172자len을 적용

2021년 10월 12일
·
0개의 댓글