- 전체보기(33)
- AI Tech(23)
- 2021 부캠(22)
- BERT(4)
- Graph(3)
- NLP(2)
- code(2)
- GNN(1)
- Learning rate schedule(1)
- Pre-training(1)
- 거대 연결 요소(1)
- warm restart(1)
- trend(1)
- 군집성(1)
- GPT-1(1)
- Node2Vec(1)
- 페이지랭크(1)
- GPT-3(1)
- 군집 구조(1)
- weight decay(1)
- transformer(1)
- huggingface(1)
- NER(1)
- ALBERT(1)
- ELECTRA(1)
- 에르되스-레니 랜덤 그래프(1)
- Networkx(1)
- louvain(1)
- Light-weight Models(1)
- 작은 세상 효과(1)
- 추천시스템(1)
- Normalized weight decay(1)
- SQuAD(1)
- 귀납식 임베딩 방법(1)
- AdamWR(1)
- cosine annealing(1)
- L2 regularization(1)
- 내용 기반 추천(1)
- 연결성의 두터운 꼬리 분포(1)
- DeepWalk(1)
- Fusing Knowledge Graph(1)
- GPT-2(1)
- Topic modeling(1)
- 협업 필터링(1)
- AdamW(1)
- Girvan-newman(1)
Image Classification start overview
data explore 분류 : 마스크 착용여부 (3:Wear, Incorrect, Not Wear) 성별(2: Male, Female) 나이 기준(3: =30 and =60) 총 18개 클래스 => multi task learning을 사용해야 좋을 지? 참고 :
Topic modeling with BERT
LDA 및 NMF와 같은 토픽 모델이 좋은 출발점으로 나타났지만, 의미있는 토픽을 만들기 위해서는 하이퍼 파라미터 조정에 상당한 노력이 필요하다. 사전 훈련된 모델은 단어와 문장의 보다 정확한 표현을 포함해야 하므로 특히 유용하다. 여러 차원감소 알고리즘 중에서 U
AdamWR, cosine annealing, warm restart
AdamW글의 포스트가 2개로 나뉘어져 있어, 두번 째 포스트 또한 adamw에 대한 내용일 줄 알았는데 AdamWR에 대한 내용이다. AdamWR에서는 learning rate annealing과 warm restart에 대한 내용을 바탕으로 시작된다. https://hiddenbeginner.github.io/deeplearning/paperrevi...
AdamW, L2 regularization, weight decay
L2 regularization에 대하여 자세한 정보를 찾아보던 중 좋은 글을 찾았다. AdamW의 논문에 대한 분석으로 총 2페이지로 구성이되어 있었다. L2 regularization과 weight decay에 대한 자세한 설명과 이로 인해 AdamW가 나오게 된 이유로 그림과 수식들을 통해 설명되어있다. https://hiddenbeginner....
Sentiment analysis with huggingface BERT(code)
작년 2020년 내가 AI를 공부하면서 많은 기술들을 보았지만, transformer, bert, gpt에 대한 내용을 많이 볼 수 있었다. 이전에 인턴기간 다녔었던 판교 회사에서도 bert를 이용한 챗봇을 강조하면서 홍보를 했었다. transformer에 대한 내용을 boostcamp에서 이해하였고, 이에 대한 코드를 간단하게 찾아 구현해 보았다. 아...