# MRC
Generation-based MRC
boost course의 딥러닝으로 만드는 질의응답 시스템을 보고 복습차원에서 정리한 것입니다. Generation-based MRC 주어진 지문과 질문을 보고 답변을 생성하는 문제 (generation) 모든 Q&A task는 Generation-based MRC
Extraction-based MRC
boost course의 딥러닝으로 만드는 질의응답 시스템 강의를 보고 복습차원에서 저일한 것입니다. Extraction-based MRC 질문에 대한 답변이 지문내에 span으로 존재하는 경우 문제를 정답을 생성하는 것이 아닌 text의 위치를 파악하는 문제로 바

Machine Reading Comprehension
boost course 딥러닝으로 만드는 질의응답 시스템 정리입니다. MRC - 주어진 문단을 이해하고 문단에 기반하여 주어진 질문에 대한 답변을 맞추는 문제 Input - context(문단), question(질문)output - answer(문단에 대한 정답)Go

ARC에 대하여
운영체제에서는 메모리에 프로그램을 위한 공간을 할당해줍니다!그 공간을 총 4가지로 나눌 수 있는데욥https://velog.velcdn.com/images/hello_hidi/post/c16bd056-4b5b-42d0-a307-5ab27d0840f2/image

[야우쓰] 2주차(2) MRC
자 저번에 메모리 기초를 봤는데 일단 ARC를 보기 전에 옵제씨 사용 틀딱 시절엔 힙 영역에 어케 할당하고 해제했는지를 먼저 보려고 한다.
[부스트캠프 AI-Tech] 17주차 Day 1~5
Generation based MRC 구현, BM25 구현, Elastic Search 구현, 하이퍼 파라미터 튜닝Open Domain Question Answering task를 완벽하게 이해하기체계적인 실험관리 하기다양한 실험해보기Hyperparameter Tuni
[부스트캠프 AI-Tech] 16주차 Day 3
Retriever-Reader의 한계5-10개의 문서만 reader에게 전달 (Error Propagation)query에 따라 정답이 되는 answer span에 대한 encoding이 달라짐 (Query-dependent encoding)Retrieve-Read 두
[부스트캠프 AI-Tech] 16주차 Day 2
Closed-book Question Answering이미 pre-train으로 대량의 지식을 학습했다면, pre-trained model 자체가 하나의 knowledge storage라고 해석가능사전학습 시 전혀 본 적없는 Natural Question 데이터셋에 어
[부스트캠프 AI-Tech] 16주차 Day 1
Bias 종류학습에서 Biasinductive bias (학습할 때 특정 형태의 함수를 선호)현실에서 Biashistorical bias (현실이 편향되어 모델에 원치 않는 속성이 학습)co-occurrence bias (표면적인 상관관계 때문에 원치 않는 속성이 학습
[프로젝트 회고] ODQA
어제자(22.06.17)로 부스트캠프 AI Tech 3기 과정이 모두 종료되었다.과정 회고는 추후 작성하도록 하고 밀린 프로젝트를 하려고 한다. (사실 프로젝트가 끝난 후 했어야 하는데 부캠 과정은 프로젝트가 끝나고 바로 프로젝트가 시작되는 구조였어서 그러지 못했다.
[부스트캠프 AI-Tech] 15주차 Day 4~5
CHoRaL: Collecting Humor Reaction Labels from Millions of SocialMedia Users 논문 리뷰최종 프로젝트 관련 조사베이스라인 수정 및 실험 (하이퍼 파라미터 위주로)강의 1~7강 수강삶의 지도, 이력서 작성빠르게 베
[부스트캠프 AI-Tech] 15주차 Day 3
Sparse embedding의 한계차원의 수가 매우 크다 → compressed format으로 극복 가능유사성을 고려하지 못함Dense Embedding더 작은 차원의 고밀도 벡터 (length = 50~1000)각 차원이 특정 term에 대응되지 않음대부분의 요소
[부스트캠프 AI-Tech] 15주차 Day 2
Generation-based MRC주어진 지문과 질의를 보고, 답변을 생성 (생성 문제)평가 방법EM, f1 Score (Extraction-based MRC와 동일한 방법)모델 구조Seq-to-seq PLM 구조Prediction 형태Free-form text 형태
[부스트캠프 AI-Tech] 15주차 Day 1
MRC (Machine Reading Comprehension)기계 독해주어진 지문을 이해하고, 주어진 질의의 답변을 추론하는 문제MRC 종류Extractive Answer Datasets질의에 대한 답이 항상 주어진 지문의 segment(or span)으로 존재Des
TAPAS: Weakly Supervised Table Parsing via Pre-training 논문 설명
테이블 QA 문제를 해결하기 위해 질문을 의미구조로 변경하는 작업을 생략하고 테이블 속 사용할 셀위치를 학습하는 방법을 고안함

Automatic Reference Counting
오래 기다렸다. ARC가 무엇일까? 자바의 Garbage Collector와는 무엇이 다를까? 장단점은 무엇일까? 어떤 원리로 동작하는 것일까? 발생하는 문제점은 무엇일까? 어떻게 해결할 수 있을까? 이러한 내 궁금증들을 담았다.

QA with Phrase Retrieval
Error propagationReader가 아무리 뛰어나도 Retreiver가 제대로 된 context를 전달하지 못한다면 전체 프로세스의 성능이 떨어진다.Query-dependent encdoingquery에 따라 answer span의 encoding이 달라진다.
Negative in-batch
query batch는 기존대로 유지한다. passage batch가 달라진다.1개의 positive passage와 batch_size개의 negative passage로 총 batch_szie + 1 개의 데이터로 하나의 batch를 구성한다.passage batc

Reducing Training Bias
Bias는 지양대상이 아니다. 하지만 일부 bias로 인해 모델의 성능에 악영향을 끼치는 경우가 있고, 이러한 bias issue는 해결해야 한다.ML/DLinductive bias(ref)학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추