# ELECTRA

8개의 포스트
post-thumbnail

[NLP] ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately) 모델

본 게시물은 개인적으로 공부하기 위해서 참조한 사이트에서 필요한 부분만 '쏘옥' ? 가져왔다기보다는 몽땅 가져왔다는 게 맞겠습니다. 자세한 정보는 아래 참조사이트에서 참고해주세요.kcElectra를 활용해서, Text Classification Model을 fine-t

2023년 5월 11일
·
0개의 댓글
·
post-thumbnail

ELECTRA에 대해 알아보자

ELECTRA에 대해서 알아보자

2023년 3월 4일
·
0개의 댓글
·

특허분야 특화된 한국어 AI언어모델 KorPatELECTRA 개발

특허분야 특화된 사전학습 언어모델 KorPatELECTRA(Korean Patent ELECTRA) 개발

2022년 8월 30일
·
0개의 댓글
·
post-thumbnail

ELECTRA 논문 리뷰

ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THANGENERATORS(2020) 논문을 읽고 내용 요약 및 정리

2022년 4월 26일
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS

논문 리뷰에 앞서, 이해를 돕기 위해 ELECTRA를 짧게 정리해놓는다."통계적 언어 모델"고정된 확률을 할당하고, 각 단어를 모두 독립된 단어로 취급, 따로 훈련 필요없이 데이터셋이 주어지면 확률 확인한다. "신경망기반 언어모델"단어를 분산표현으로 전환–고차원벡터 :

2022년 4월 11일
·
0개의 댓글
·
post-thumbnail

[NLP] Natural Language Understanding

문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는

2022년 2월 22일
·
4개의 댓글
·
post-thumbnail

ELECTRA로 Binary Classification

Pytorch Lightning으로 ELECTRA Binary Classification 구현

2021년 12월 29일
·
1개의 댓글
·