# ALBERT
총 7개의 포스트

PLM (Pretraining Language Model)
헷갈리는 모델에 대해 정리...Challenge: BERT와 같은 Pre-training language represenation 모델은 일반적으로 모델의 파라미터 크기가 커지면 성능이 향상됨. 하지만 다음과 같은 문제 발생 1\. Memory Limitation:
2022년 7월 7일
·
0개의 댓글·
0
[논문리뷰] ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
pretrained model은 downstream tasks에서 우수한 성능 향상을 보였지만 모델의 커진 사이즈로 GPU,TPU 메모리가 제한적이고 training 시간이 길어졌다.이 문제를 해결하기 위해 파라미터를 줄이는 두 개의 기술을 제시한다. 또한 SOP도 제
2022년 5월 29일
·
0개의 댓글·
1
[NLP] Natural Language Understanding
문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는
2022년 2월 22일
·
4개의 댓글·
0
리뷰-albert: A lite BERT
이 논문은 앞으로 gpu 메모리 한계와 긴 training 학습의 한계점이 올 것이라고 예측을 하고, 이러한 문제를 해결하기 위한 두가지의 파라미터 축소 방법을 제공을 한다. 이를 통해 적은 메모리 사용과 학습 시간을 빠르게 가져갈 수 있는 이점을 가진다.제시할 두 가
2022년 1월 11일
·
0개의 댓글·
0
ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
ALBERT 논문 리뷰
2021년 10월 1일
·
0개의 댓글·
2