# MRC

aksen1317

boost course의 딥러닝으로 만드는 질의응답 시스템을 보고 복습차원에서 정리한 것입니다. Generation-based MRC 주어진 지문과 질문을 보고 답변을 생성하는 문제 (generation) 모든 Q&A task는 Generation-based MRC

aksen1317

boost course의 딥러닝으로 만드는 질의응답 시스템 강의를 보고 복습차원에서 저일한 것입니다. Extraction-based MRC 질문에 대한 답변이 지문내에 span으로 존재하는 경우 문제를 정답을 생성하는 것이 아닌 text의 위치를 파악하는 문제로 바

aksen1317

boost course 딥러닝으로 만드는 질의응답 시스템 정리입니다. MRC - 주어진 문단을 이해하고 문단에 기반하여 주어진 질문에 대한 답변을 맞추는 문제 Input - context(문단), question(질문)output - answer(문단에 대한 정답)Go

sopt_official

운영체제에서는 메모리에 프로그램을 위한 공간을 할당해줍니다!그 공간을 총 4가지로 나눌 수 있는데욥https://velog.velcdn.com/images/hello_hidi/post/c16bd056-4b5b-42d0-a307-5ab27d0840f2/image

hello_hidi

자 저번에 메모리 기초를 봤는데 일단 ARC를 보기 전에 옵제씨 사용 틀딱 시절엔 힙 영역에 어케 할당하고 해제했는지를 먼저 보려고 한다.

kangmin

Generation based MRC 구현, BM25 구현, Elastic Search 구현, 하이퍼 파라미터 튜닝Open Domain Question Answering task를 완벽하게 이해하기체계적인 실험관리 하기다양한 실험해보기Hyperparameter Tuni

kangmin

Retriever-Reader의 한계5-10개의 문서만 reader에게 전달 (Error Propagation)query에 따라 정답이 되는 answer span에 대한 encoding이 달라짐 (Query-dependent encoding)Retrieve-Read 두

kangmin

Closed-book Question Answering이미 pre-train으로 대량의 지식을 학습했다면, pre-trained model 자체가 하나의 knowledge storage라고 해석가능사전학습 시 전혀 본 적없는 Natural Question 데이터셋에 어

kangmin

Bias 종류학습에서 Biasinductive bias (학습할 때 특정 형태의 함수를 선호)현실에서 Biashistorical bias (현실이 편향되어 모델에 원치 않는 속성이 학습)co-occurrence bias (표면적인 상관관계 때문에 원치 않는 속성이 학습

gyounghwan1002

KoELECTRA라는 자연어 모델로 MRC API를 만들어보고자합니다

ivorrr987

어제자(22.06.17)로 부스트캠프 AI Tech 3기 과정이 모두 종료되었다.과정 회고는 추후 작성하도록 하고 밀린 프로젝트를 하려고 한다. (사실 프로젝트가 끝난 후 했어야 하는데 부캠 과정은 프로젝트가 끝나고 바로 프로젝트가 시작되는 구조였어서 그러지 못했다.

kangmin

CHoRaL: Collecting Humor Reaction Labels from Millions of SocialMedia Users 논문 리뷰최종 프로젝트 관련 조사베이스라인 수정 및 실험 (하이퍼 파라미터 위주로)강의 1~7강 수강삶의 지도, 이력서 작성빠르게 베

kangmin

Sparse embedding의 한계차원의 수가 매우 크다 → compressed format으로 극복 가능유사성을 고려하지 못함Dense Embedding더 작은 차원의 고밀도 벡터 (length = 50~1000)각 차원이 특정 term에 대응되지 않음대부분의 요소

kangmin

Generation-based MRC주어진 지문과 질의를 보고, 답변을 생성 (생성 문제)평가 방법EM, f1 Score (Extraction-based MRC와 동일한 방법)모델 구조Seq-to-seq PLM 구조Prediction 형태Free-form text 형태

kangmin

MRC (Machine Reading Comprehension)기계 독해주어진 지문을 이해하고, 주어진 질의의 답변을 추론하는 문제MRC 종류Extractive Answer Datasets질의에 대한 답이 항상 주어진 지문의 segment(or span)으로 존재Des

hsp

테이블 QA 문제를 해결하기 위해 질문을 의미구조로 변경하는 작업을 생략하고 테이블 속 사용할 셀위치를 학습하는 방법을 고안함

wansook0316

오래 기다렸다. ARC가 무엇일까? 자바의 Garbage Collector와는 무엇이 다를까? 장단점은 무엇일까? 어떤 원리로 동작하는 것일까? 발생하는 문제점은 무엇일까? 어떻게 해결할 수 있을까? 이러한 내 궁금증들을 담았다.

naem1023

Error propagationReader가 아무리 뛰어나도 Retreiver가 제대로 된 context를 전달하지 못한다면 전체 프로세스의 성능이 떨어진다.Query-dependent encdoingquery에 따라 answer span의 encoding이 달라진다.

naem1023

query batch는 기존대로 유지한다. passage batch가 달라진다.1개의 positive passage와 batch_size개의 negative passage로 총 batch_szie + 1 개의 데이터로 하나의 batch를 구성한다.passage batc

naem1023

Bias는 지양대상이 아니다. 하지만 일부 bias로 인해 모델의 성능에 악영향을 끼치는 경우가 있고, 이러한 bias issue는 해결해야 한다.ML/DLinductive bias(ref)학습 시에는 만나보지 않았던 상황에 대하여 정확한 예측을 하기 위해 사용하는 추