PAPERNLU는 tedtual entailment, QA, semantice similarity assessment, 문서 분류과 같은 다양한 task를 구성함.large unlabeled text corpora🔺/ 특정 task를 학습하기 위한 labeled da

PAPER새로운 type의 deep contextualized word representation을 소개(1) 단어 사용의 복잡한 특성들 (e.g. syntax and semantics)을 모두 만족시키는 표현(2) 언어적 맥락에서 어떻게 다양하게 사용되는지 (i.e.

BERT와 같은 Transformer 기반의 모델들은 NLP에서 매우 성공적인 deep learning model이 되었음.하지만, full attention mechanism을 수행으로 인한 sequence 길이에 따른 quadratic dependency가 주요 한

PAPERAbstractBART는 seq2seq 모델을 사전 훈련시키기 위한 denoising autoencoder(DAE)(1) noising funcion으로 corrupt시키고 (2) original text로 복원 하도록 학습되어짐.standard Transfo

PAPERBERT의 T가 Transformer의 약자이기 때문에 Transformer 논문을 먼저 읽고 읽는게 좋을 것 같다. BERT는 Transformer의 Encoder 구조만을 활용한 모델이다!BERT: Bidirectional Encoder Representa

PAPER ABSTRACT 더 정확하고, 다양하고 설명 가능한 추천을 위해서는 user-item interaction과 side information을 추가하는 것이 필요함. FM(factorization machine)과 같은 Traditional method는

PAPER 본 논문은 기존의 협업 필터링 방식에 그래프를 접목한 논문이며 LightGCN은 기존의 그래프 기반 추천시스템에서 불필요한 부분을 없애고 추천에 필요한 부분만 사용해서 말 그대로 light하면서 좋은 성능을 보인 모델입니다❕ ABSTRACT 기존 GCN(G

우선순위 큐 >FIFO인 큐와 다르게 우선순위를 가지고 있어서, 우선순위가 높은 데이터부터 처리된다. 같은 우선순위를 가지면, 먼저 들어온 순으로 처리한다. 배열, 연결리스트, 힙(Heap) 모두 구현할 수 있지만 일반적으로는 시간복잡도가 적은 힙(Heap)을 사용함

다이나믹 프로그래밍 >복잡한 문제를 더 작은 하위 문제로 나누어 해결하는 알고리즘 설계 기법 💡 DP 사용 조건 ✅ 큰 문제를 작은 문제로 나눌 수 있다. ✅ 작은 문제에서 구한 정답은 그것을 포함하는 큰 문제에서도 동일하다. ➡ 큰 문제를 작게 나누고, 같은

순차 탐색 >리스트 안에 있는 특정한 데이터를 찾기 위해 앞에서부터 데이터를 하나씩 차례대로 확인하는 방법 ✅ 정렬되지 않은 리스트에서 데이터를 찾아야 할 때 사용 ✅ 리스트 내에 데이터가 아무리 많아도 시간만 충분하다면 항상 원하는 데이터를 찾을 수 있음 💡

자료구조 >데이터를 표현하고 관리하고 처리하기 위한 구조 삽입(Push) : 데이터를 삽입 삭제(Pop) : 데이터를 삭제 overflow : 자료구조가 수용할 수 있는 데이터의 크기를 이미 채운 상태에서 삽입 연산을 수행할 때 발생 underflow : 자료구조

Abstract 기존의 sequence transduction 모델들은 encoder와 decoder를 포함한 RNN, CNN을 기반으로 함. 좋은 성능을 보인 모델들은 attention mechanism을 통해 encoder와 decoder를 연결했음. ➡ att

논문 원본 - https://arxiv.org/pdf/1301.3781.pdf Abstract large data set으로부터 단어들의 연속적인 벡터 표현을 계산하기 위해 두 가지 새로운 모델 구조를 제안함. representation의 quality는 단어 유사

📌 JOIN이란? 두 개 이상의 테이블간의 데이터를 결합하여 데이터를 검색하는 방법 검색하고 싶은 컬럼이 다른 테이블에 있을 경우 주로 사용 여러 테이블을 마치 하나의 테이블인 것처럼 활용하여 효율적으로 조회할 수 있음 INNER JOIN 기본 JOIN (아무런

linearity assumption은 가정일 뿐, 언제나 선형 모형을 따를 수는 없습니다. 따라서 이번 챕터에서는 항을 추가하거나, transformation을 함으로써 비선형성을 따르는 모형들을 살펴보고자 합니다. Polynomial Regression 종속변수

최근 LM들은 긴 contexts를 input으로 받을 수 있기는 하지만, 그것을 얼마나 잘 활용하는지에 대해서는 잘 알고 있지 않다. 우리의 input text 내에 관련된 정보가 있는 2가지 task에 대해 성능을 분석함.multidocument question a

Intro Session : 사용자가 웹 사이트, 모바일 앱 등을 통해 상호작용하는 일련의 과정 Example) 쇼핑몰에 들어가서 상품을 검색하고 클릭하고 상세정보를 읽고 구매를 하는 모든 과정 해당 페이지를 벗어나거나 로그아웃 등의 행위를 하게 되면 sessio

Subset Selection Best Subset Selection ✔ 가능한 모든 모델을 고려하여 가장 좋은 모델을 선택

Cross-Validation The Validation Set Approach K-fold Cross-validation The Bootstrap

Linear Regression Review - Linear Regression model parameter β를 추정하기 위한 학습데이터 (x1, y1), . . . ,(xN , yN)