profile
공부한 것들을 정리하는 블로그

[논문리뷰] RoBERTa : A Robustly Optimized BERT Pretraining Approach

Abstract BERT는 상당히 undertrained 됐다. RoBERTa로 GLUE, RACE, SQuAD nlp task에서 SOTA를 달성하였다. 이 결과는 설계에 중요성을 강조했다. Introduction 기존의 버트에서 수정한 사항 training th

6일 전
·
0개의 댓글

[책 정리] 분류, 재표본추출, 선형모델 선택 및 regularization

반응변수의 클래스가 두 개일 때, 로지스틱 모델을 사용한다.로지스틱 모델은 적합을 위해 최대가능도 방법을 사용한다. 계수 추정치는 가능도함수를 최대화하도록 선택한다.계수 추정치의 정확도는 표준오차를 계산해서 측정할 수 있다. 일반적으로 레벨(수준)이 3이상인 질적 반응

2022년 5월 8일
·
0개의 댓글
post-thumbnail

[책 정리] 선형 회귀

기계학습의 근간은 컴퓨터가 스스로 복잡하고 다양한 자료에서 상관관계를 분석하고 학습하여 유의미한 결과를 도출하는 통계적 학습이다. 다양한 통계학습 방법들에 기본적 이해는 알고리즘의 구현 및 적용, 결과에 대한 이해, 해석능력을 높여주는데 중요한 자산이 될 것이다옹 따라

2022년 5월 3일
·
0개의 댓글
post-thumbnail

[논문리뷰] XLNet : Generalized Autoregressive Pretraining for Language Understanding

NLP domain에서 unsupervised representation learning이 매우 성공적인 결과를 보여주고 있다. 많은 양의 unlabeled corpus를 이용해 Pre-training을 하고, 얻어진 representation을 직접적으로 활용하거나

2022년 4월 19일
·
0개의 댓글
post-thumbnail

[논문 리뷰] ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS

논문 리뷰에 앞서, 이해를 돕기 위해 ELECTRA를 짧게 정리해놓는다."통계적 언어 모델"고정된 확률을 할당하고, 각 단어를 모두 독립된 단어로 취급, 따로 훈련 필요없이 데이터셋이 주어지면 확률 확인한다. "신경망기반 언어모델"단어를 분산표현으로 전환–고차원벡터 :

2022년 4월 11일
·
0개의 댓글
post-thumbnail

[논문리뷰]Recent Trends in Deep Learning Based Natural Language Processing(2)

이 논문은 리뷰논문이기에 여러 자연어처리 기법을 알 수 있지만 어떠한 분석기법이 상세하게 나와있지 않아 필요한 부분을 따로 하나씩 공부해나감이 좋을 것이라고 생각한다. 3. 콘볼루션 신경망 워드 임베딩이 인기를 끌고 그 성능 또한 검증된 이후, 단어 결합이나 n-gr

2022년 4월 6일
·
0개의 댓글
post-thumbnail

[논문리뷰]Recent Trends in Deep Learning Based Natural Language Processing(1)

NLP 공부를 하고 있는데 기본을 알아야하지 않나 싶고 요즘 트렌드도 알아야한다 생각해서 기사읽고 블로그 찾아보고 리뷰논문 읽다가 논문 'Recent Trends in Deep Learning BasedNatural Language Processing'에 대해서 중요하

2022년 4월 1일
·
0개의 댓글
post-thumbnail

TabNet

TabNet은 tabular 데이터의 훈련에 맞게 설계됐으며 Tree기반 모델의 변수선택 특징을 네트워크 구조에 반영한 모델이다. 이는 딥러닝 모델이 해석하기 어려운 문제를 sequential attention mechanism을 이용하여 해석을 용이하게 만들었다. t

2022년 3월 26일
·
0개의 댓글

논문 읽는 법

무작정 논문을 읽었던 나는,,,, 유투브와 블로그를 찾아보고 앞으로 어떻게 효율적으로 논문을 읽고 정리할지 정리를 하게 된다....!리뷰논문 -어떤 주제에 대한 연구들모아 정리해둔 논문리서치논문 읽기 전에, 논문 제목 , 저자이름 , 발행된날짜 확인하기.논문에 중심내용

2022년 3월 26일
·
0개의 댓글

[kaggle] 텍스트전처리부터 모델링까지

1월부터 캐글 스터디를 진행했다.매주 캐글에서 데이터를 찾아 성능이 높거나, 알아보고 싶은 코드를 분석해서 발표하는 형식이다. nlp에 관심이 있어 스팸 메일 관련 데이터를 골라 이번주에 발표를 준비했고, 준비하면서 알게 된 개념들을 간략히 정리한다.

2022년 3월 8일
·
0개의 댓글

텐서플로우 버전 확인 방법 및 파이썬 파일 열기

어떤 코드를 보고 따라할 때, 텐서플로우가 버전이 계속 업데이트 되고, 이에 따라 코드가 조금씩 바뀌어서 따라하기 어렵더라구요. 이럴 때 버전을 확인하고 변경해줄 때도 필요하고, 업데이트할 일도 있는데 이때 참고! 그리고 시작부터 데이터를 못 열면 안되겠죠?

2022년 3월 6일
·
0개의 댓글

깃 동작원리2

며칠전 학교 특강으로 깃 동작원리에 대해 설명해주는 것을 듣고 내용 요약 및 정리를 해보았다.자신의 history를 남기는 것도 중요하지만 깃을 사용하는 이유는 협업하기 위해 익혀야한다는 말을 새겨 들으며..\~~참여할 프로젝트 fork 복사fork 한 프로젝트 다운로

2022년 3월 5일
·
0개의 댓글
post-thumbnail

Fast R-CNN

Fast R-CNN, Mask R-CNN 개념 설명

2022년 2월 7일
·
0개의 댓글
post-thumbnail

R-CNN

object detection, R-CNN 개념 설명

2022년 2월 6일
·
0개의 댓글
post-thumbnail

Catboost

공모전 데이터를 보고 공부를 하던 중, gradient boosting library에 새로 나온 'Catboost'를 알게 되었다. 기존의 부스팅 기법의 문제를 해결하고, 범주형 변수들이 많을 때 이용하기 좋으며 비슷한 데이터 사이즈에서 다른 gradient boos

2022년 1월 11일
·
0개의 댓글
post-thumbnail

Transformer, BERT

BERT에 대해 알기 위해서는 Transformer의 구조부터 알아야합니다! 인코더, 디코더 구조를 지닌 딥러닝 모델.전통적인 RNN based인 encoder, decoder는 순차적으로 계산한다. 문맥벡터가 고정된 크기여서 책과 같은 긴 입력값은 처리가 어렵다. 하

2022년 1월 9일
·
0개의 댓글

차원축소

많은 피처로 구성된 데이터세트의 경우, 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어진다. 또한 개별 피처간에 상관관계가 높을 가능성도 크다. 선형회귀와 같은 선형 모델에서는 입력 변수 간의 상관관계가 높을 경우 이로 인한 다중공선성 문제로 모델의 예측

2022년 1월 5일
·
0개의 댓글
post-thumbnail

빅데이터분석기사필기/실기 합격

강남으로 빅데이터 분석기사 실기를 보고 왔던게 결과가 나왔습니다!한국데이터진흥원에서 실시한거고 이 자격증이 생긴지 얼마 안돼 이번이 2번째 시험이라고 합니당 저번에 필기는 붙었고 실기 준비하려는데 기출이 없어서 어떻게 준비할지 잘 모르겠었지만 기본적으로 데이터 전처리하

2022년 1월 5일
·
0개의 댓글

[git error] fatal: No configured push destination.

push 해주려는데 오류떴당,,,후에 이렇게 떴당,,그래서 그대로 git remote add origin http어쩌고~시도했는데 또 오류뜸,,,라고 뜨길래 그대로 시도했더니 또 오류뜸!힌트에 pull하라길래 단순히 git pull 하고 다시 push 했더니 똑같은 오

2022년 1월 5일
·
0개의 댓글

머신러닝 내용 요약 및 정리

공모전에 참가하게 되어 분류데이터 분석하고 있는데 필요한 머신러닝 내용 정리해보았습니다~!정밀도(from sklearn.metrics import precision_score)positive로 예측한 것 중 실제값이 positive인 것중요한 지표인 경우ex) 스팸메일

2022년 1월 4일
·
0개의 댓글