profile
All About Data Science

[Algorithm] 에라토스테네스의 체

고대 그리스 수학자 에라토스테네스가 고안한 N까지의 수열에서 소수만을 골라내는 알고리즘입니다. 소수를 대량으로 빠르게 판별할 수 있는 장점이 있습니다

2020년 9월 19일
·
0개의 댓글

미분 공식 증명

미분 공식을 이해하고 내면화하기 위해 대표적인 미분 공식 증명을 정리해 보겠습니다.

2020년 9월 6일
·
0개의 댓글

Enriching Word Vectors with Subword Information(fasttext)

Fasttext 논문(Enriching Word Vectors with Subword Information)을 리뷰해 보았습니다.

2020년 8월 16일
·
0개의 댓글

Bias-Variance Decomposition

머신러닝의 학습의 판단 기준이 되는 error를 bias, variance, irreducible error의 관점에서 분해해보고 좋은 품질의 데이터가 필요한 이유와 bias 및 variance의 trade-off가 발생할 수밖에 없는 이유를 알아보겠습니다.

2020년 7월 28일
·
0개의 댓글

Taylor Series

테일러 급수, 매클로린 급수, 자연상수의 근사다항식에 대해서 알아보겠습니다.

2020년 7월 16일
·
0개의 댓글

Random Forest

Random forest = Bagging + Random subspace method(feature bagging)Bagging은 Bootstrap aggregating의 약자 Bootstrap은 모집단에서 복원 추출한 sample들을 뜻합니다. 배깅 방법은 unif

2020년 7월 15일
·
0개의 댓글

Probability Notation

확률과 관련된 공부를 하면서, semicolon(;), commam(,), vertical line(|)이 포함된 probability notation을 많이 보았습니다. 그러나 그 의미가 혼용되어 사용되는 것을 발견하고 그것을 정리하기 위해 포스팅을 작성합니다.

2020년 7월 12일
·
0개의 댓글

"Attention Is All You Need" Review

"Attention Is All You Need" 논문을 읽은 후 관련 자료를 정리한 내용을 바탕으로 논문 리뷰를 진행 해보겠습니다.

2020년 6월 16일
·
0개의 댓글

logit, sigmoid, softmax의 관계

왜 NN의 출력층에 sigmoid, softmax 함수를 사용할까요? 이는 출력층의 값을 '확률'로서 표현하기 위한 필연적 결과입니다. 본 글에서는 logit, sigmoid, softmax의 관계에 대해서 정리해보았습니다.

2020년 6월 6일
·
0개의 댓글

BPE(Byte Pair Encoding)

최근 NLP에서 tokenizer로 많이 사용되고 있는 BPE에 대해서 코드와 함께 간단히 정리해 보았습니다.

2020년 6월 5일
·
0개의 댓글

클래스 상속 및 super 함수의 역할

파이썬 클래스 상속 및 super 함수의 역할에 대해 정리해 보았습니다.

2020년 5월 30일
·
0개의 댓글

skim 앱 셋팅

skim 앱 셋팅 방법을 정리 차원에서 공유합니다.

2020년 5월 22일
·
0개의 댓글

연속 확률 변수

이상화 교수님의 확률 및 통계 5강 '이산 확률 변수와 연속 확률 변수' 강의를 듣고 간단하게 내용을 정리해보도록 하겠습니다.0과 1사이의 '모든' 실수값에서 '0.5'를 뽑을 확률을 정의해보자. 0과 1사이에는 무수히 많은 숫자들이 있을 것이고. 그 중에서 0.5라는

2020년 5월 21일
·
0개의 댓글

Feature Importance

Gini Impurity를 구하는 공식은 다음과 같다.$$Gini \\space Impurity=\\sum{i}^{k}P{i}(1-P\_{i})$$해당 feature로 감소시킨 gini impurity의 모든 tree의 평균

2020년 5월 18일
·
0개의 댓글

MAB(Multi-armed Bandit)

MAB와 관련된 베타 분포, 톰슨 샘플링, 베이지안 확률에 대해서 정리합니다.

2020년 5월 17일
·
1개의 댓글

NLP transfer learning history

BERT는 자연어 처리(NLP) 분야의 언어모델(language model) 중 하나로서 기존의 symbolic(규칙/지식 기반) approach, statistical(확률/통계) approach 방법의 단점을 보완하여 자연어처리의 다양한 task에서 SOTA를 달성

2020년 3월 5일
·
0개의 댓글

Attention Mechanism

어텐션 메커니즘(attention mechanism)이란, 새로운 모델이 아니라 기존 seq2seq의 장기 의존성 문제(long term dependecy problem)을 해결하기 위해 인간의 시각적 집중(visual attension) 현상을 모방한 변형 seq2s

2020년 3월 5일
·
0개의 댓글