# ALBERT

nellcome

ALBERT에 대해 알아보자

dlwngud3028

헷갈리는 모델에 대해 정리...Challenge: BERT와 같은 Pre-training language represenation 모델은 일반적으로 모델의 파라미터 크기가 커지면 성능이 향상됨. 하지만 다음과 같은 문제 발생 1\. Memory Limitation:

jus6886

pretrained model은 downstream tasks에서 우수한 성능 향상을 보였지만 모델의 커진 사이즈로 GPU,TPU 메모리가 제한적이고 training 시간이 길어졌다.이 문제를 해결하기 위해 파라미터를 줄이는 두 개의 기술을 제시한다. 또한 SOP도 제

s6820w

문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는

khhiq1000

이 논문은 앞으로 gpu 메모리 한계와 긴 training 학습의 한계점이 올 것이라고 예측을 하고, 이러한 문제를 해결하기 위한 두가지의 파라미터 축소 방법을 제공을 한다. 이를 통해 적은 메모리 사용과 학습 시간을 빠르게 가져갈 수 있는 이점을 가진다.제시할 두 가

tacorico

ALBERT 논문 리뷰

dlehd1989

2021 boostcamp AI tech / Day 20 / 2021.02.19