profile
프리미어와 IDE만 있다면 무엇이든 만들 수 있어
post-thumbnail

[논문리뷰 | NLP] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks (DAPT, TAPT)

대회와 프로젝트를 진행하며 정말 많이 들었던 DAPT와 TAPT. 2020년에 ACL에서 최우수 논문으로 선정되기도 했으나 제대로 읽어본 적이 없어 아쉬웠다. DAPT와 TAPT를 진행하면 성능이 상승된다는 얘기도 들었으나 정확한 구현방식을 알지못해 사용해보지 못했던

어제
·
0개의 댓글
post-thumbnail

How to implement Dynamic Masking(feat. RoBERTa)

RoBERTa 논문에서는 기존에 MLM과는 다른 masking인 dynamic masking을 사용한다고 말한다. 기존 MLM은 계속 동일한 단어를 epoch마다 예측하기에 의미 없는 단어를 계속 masking하고 있을 수 있으며 overfitting이 발생할 수도 있

3일 전
·
0개의 댓글
post-thumbnail

[NLP | 논문리뷰] STS에 대한 모델과 라벨의 Pearson Correlation은 효과적이지 못한가? (Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity)

SBERT 논문을 읽던 중에 어떤 모델이 가장 성능이 높은지를 분석하기 위해 STS Dataset의 label과 그것에 대해 모델이 내보낸 값에 대한 상관관계로 Pearson 상관관계가 아닌 Spearman 상관계수를 사용했다고 말한다. 그러면서 이유를 저자의 다른 논

4일 전
·
0개의 댓글
post-thumbnail

Cross-Encoder와 Bi-Encoder (feat. SentenceBERT)

💡 개요 곰파다 프로젝트를 하면서 문장 간 유사도를 계산하는 모델을 구성할 때에 Bi-Encoder 구조 중 하나인 SentenceBERT를 사용해 학습시키고자 했다. 당시에 Cross-Encoder와 Bi-Encoder 방식을 사용할 때 성능 뿐만이 아니라 속도

4일 전
·
0개의 댓글
post-thumbnail

Transfer Learning과 Fine-Tuning

fine-tuning을 두 번 한다는 것이 가능한가? 그것을 전이학습(Transfer Learning)이라고 할 수 있는가? 그렇게 된다면 효과가 무엇인가라는 질문으로 시작해 둘에 대한 정의와 공통점 및 차이점을 공부하는 시간을 가졌습니다.해당 내용은 노션에 정리한 것

5일 전
·
0개의 댓글
post-thumbnail

[NLP | 논문리뷰] Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 리뷰

RoBERTa에서도 알 수 있듯 Attention을 활용한 Encoder를 쌓은 BERT 구조는 매우 강력한 성능을 자랑한다. 데이터만 확보가 된다면 문장들을 임베딩해 높은 성능의 결과물도 내보내게 된다.하지만 BERT는 Encoder지만 Encoder 본질의 역할보다

2022년 6월 24일
·
0개의 댓글
post-thumbnail

[NLP | 논문리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰

대회와 프로젝트를 진행하며 가장 많이 사용했던 RoBERTa 모델. KLUE에서 Huggingface에 공개하기도 했고 한국어로 pre-trained가 매우 잘 되어 있어 여러 task에 fine-tuning하기 적합했다.하지만 BERT 기반에 학습법만 다르게 했던 모

2022년 6월 22일
·
0개의 댓글
post-thumbnail

Self Training Methods란?

Self-training methods 방식은 대표적인 ELMo, GPT, BERT 모델들을 학습시키는 방식높은 확률값이 나오는 데이터 위주로 다시 학습에 가져가겠다는 것. 예를들어 로지스틱 회귀분석(logistic regression) 결과 한 데이터에 대한 1일 확

2022년 6월 22일
·
0개의 댓글
post-thumbnail

Automatic Mixed Precision

대회를 진행하면서 정말 많이 사용한 방식인데 이에 대해 이해가 부족한 것 같아 내 방식대로 정리해보았다. 종류FP32 (Single Precision, 단정밀도)FP64 (Double Precision)FP128 (Quadruple Precision)FP16 (Half

2022년 6월 20일
·
0개의 댓글
post-thumbnail

Transfer learning and fine-tuning

https://d2l.ai/chapter_computer-vision/fine-tuning.htmlKeras 문서를 기반 작성했다. Transfer Learning과 Fine-tuning의 차이에 대해 깊이 있게 다룬 문서가 없어 직접 작성해보았다.Transf

2022년 6월 20일
·
0개의 댓글
post-thumbnail

네이버 부스트 캠프를 마치며

5개월간의 돌아보면 상당히 짧은 여정을 마쳤다. 하지만 그 짧은 기간 동안 정말 많은 성장을 이루어낼 수 있었던 것 같다. 학업적으로도 인격적으로도 정말 많은 부분을 느끼고 배우게 된 것 같다.돌아보면 정말 우연하게 시작했다. 그리고 좋은 팀원들과 멘토님 그리고 동료들

2022년 6월 14일
·
0개의 댓글
post-thumbnail

나는 어떤 개발자일까?

멋들어진 형용사 한 단어를 섞어서 만든 자신을 소개하는 한 문장.최근에 네이버 부스트캠프 슬랙에 이력서 피드백을 위해 다들 본인 나름대로 꾸민 이력서들이 올라온다. 그중에서 가장 눈에 띄었던 것은 다들 자신을 \_\_\_한 개발자라고 소개하는 부분이었다. 한 사람을 임

2022년 5월 8일
·
3개의 댓글
post-thumbnail

[NLP | 논문리뷰] Skip-Thought Vectors

부스트캠프 스터디원분들과 진행한 논문 스터디에서 이번주에는 Skip-Thought Vectors라는 생소한 논문을 리뷰했다. Skip-gram과 Word2Vec, Seq2Seq까지 Transformer가 나타나기 이전에 word embedding에서 한 획을 그었다 할

2022년 4월 30일
·
0개의 댓글
post-thumbnail

안타도 아웃도 아닌 공, 파울볼

얼마 전 딴짓을 조금 하고 싶어서 영화를 봤다. <파울볼>이라는 독립영화이며, 2012년 창단해 2014년 해체한 최초의 국내 독립야구 구단 고양 원더스의 이야기를 리얼 다큐멘터리 형식으로 촬영했다. 야구를 좋아했기에 당연히 알고 있던 팀이었고 어떤 논란이 있었는

2022년 4월 18일
·
3개의 댓글
post-thumbnail

[ TIL / 통계 기초부터 다지기] 정규분포함수 유도하기

일반적으로 정규분포함수는 두 가지 방식으로 유도된다. 1) 첫번째로 과녁 맞추기를 이용한 유도 2) 두번째로 이항분포를 이용한 유도이다. 먼저 과녁 맞추기를 통한 유도부터 보여주고자 한다. 과녁의 중심을 향해 우리가 다트를 던질 때 중심으로 갈 수록 그 확률밀도가 높을

2022년 4월 7일
·
0개의 댓글
post-thumbnail

[ TIL / 통계 기초부터 다지기] 중심극한 정리 #3. 표본평균의 적률생성함수

최종적으로 표본평균의 적률생성함수를 구하고 그것을 정규분포의 적률생성함수와 비교할 것이다. 둘이 동일함을 입증하면, 두 확률분포가 동일함을 입증할 수 있기 때문에 중심극한정리를 증명할 수 있다.먼저 n개의 표본을 추출하자이때 앞선 포스트에서 볼 수 있듯이 표본평균의 평

2022년 4월 7일
·
0개의 댓글
post-thumbnail

[ TIL / 통계 기초부터 다지기] 중심극한 정리 #2. 정규분포의 적률생성 함수

중심극한정리로 나아가기 위해서는 정규분포의 적률생성함수와 표본평균의 분포의 적률생성함수가 동일함을 보이면 된다. 그렇게 되면 두 분포가 동일함을 보일 수 있기 때문이다.이에 대한 내용이 궁금하면 이전 포스트를 참고정규분포의 확률밀도함수는 다음과 같다.이를 통해 정규분포

2022년 4월 7일
·
0개의 댓글
post-thumbnail

[ TIL / 통계 기초부터 다지기] 중심극한 정리 #1. 두 확률변수의 확률분포가 동일할 조건

중심극한 정리는 총 3번에 나누어서 정리가 될 것이다. 중심극한정리란 아래와 같다.모집단의 분포와 상관 없이 표본의 크기 n이 커질수록 표본 평균 $\\bar{X}$ 의 분포가 정규분포와 가까워진다.이를 증명하기 위해서는 가장 먼저 한 가지 선행조건이 필요하다.두 확률

2022년 4월 7일
·
0개의 댓글
post-thumbnail

[ TIL / 통계 기초부터 다지기] 적률생성함수

중심 극한 정리는 아래와 같다.모집단의 분포와 상관 없이 표본의 크기 n이 커질수록 표본 평균$\\bar{X}$ 의 분포가 정규분포와 가까워진다.이를 증명하기 위해서는 먼저 적률생성함수에 대해서 알아야 한다. 이는 아래와 같다.적률생성함수는 moment generati

2022년 4월 7일
·
0개의 댓글
post-thumbnail

[ TIL / 통계 기초부터 다지기] 테일러 급수

중심 극한 정리는 아래와 같다.모집단의 분포와 상관 없이 표본의 크기 n이 커질수록 표본 평균 $\\bar{X}$의 분포가 정규분포와 가까워진다.이를 증명하기 위해서는 먼저 테일러급수에 대해서 알아야 한다. 테일러 급수는 아래와 같다.즉, 어떤 함수든지 다항함수로 교체

2022년 4월 6일
·
0개의 댓글