profile
data scientist
post-thumbnail

[MATOMO] javascript tracker 방식 vs image beacon 방식

MATOMO를 이용하여 Java script tracker 방식으로 로그를 수집하면 아래와 같은 경우에 대해서 로그 수집이 불가능해진다.JavaScript를 disable 해둔 사용자 로그내가 제어하지 않는 웹사이트에서 페이지가 조회된 경우(타사 마켓 플레이스 등)뉴스

2022년 3월 26일
·
0개의 댓글
post-thumbnail

MATOMO 기본 작동원리

## MATOMO? - 분석 데이터 수집 및 저장하는 오픈소스 라이브러리(유료 cloud버전도 있기는 함) - 저장된 데이터에 대한 보고서 제공

2022년 3월 26일
·
0개의 댓글
post-thumbnail

Evaluation metric survey

imbalanced되어있으면서도, ranking이 중요한 데이터에 대해서(e.g. click이 잘 일어나지 않지만, ctr의 순위를 잘 결정하는것이 중요한 데이터에 대해서) 평가 지표를 찾는다.accuracy, f1score, ROC AUC, PR AUC 등의 여러 지

2022년 3월 18일
·
0개의 댓글
post-thumbnail

[책 리뷰]ADAPT -팀하포드

세계는 복잡하고 빠르게 변화하며 그 안에 존재하는 문제들 또한 복잡하고 빠르게 변화한다. (기후변화에 대응할 수 있도록 경제체제를 변경하는 방법, 가난한 나라를 부유하게 만드는 방법, 투자은행들이 또다시 금융 시스템을 붕괴시키지 못하도록 제어하는 방법 등)이런 문제들을

2022년 2월 14일
·
0개의 댓글
post-thumbnail

[Paper review]PinText : A Multitask Text Embedding System in Pinterest

pinterest 에서 19년에 kdd에 냈던 논문.https://dl.acm.org/doi/10.1145/3292500.3330671multitask text embedding solution 제안word level semantic vectors 생성함. 이

2022년 2월 10일
·
0개의 댓글
post-thumbnail

[Anomaly detection] Traditional way - Distance-based methods

이상치 데이터는 거리상으로 멀리 떨어져있을 것이라는 가정이때엔 거리만으로 이상치 여부를 판단하고, normal class에 대해서 어떠한 사전분포도 가정하지 않는다.parzen window density estimation 에서 p(x)=k/(N\*V) (k=영역에 존

2022년 1월 23일
·
0개의 댓글
post-thumbnail

Auto encoder 의 시간에 따른 성능 열화 실험

뉴스 기사의 multi lingual bert emb 를 차원 축소시키는데에 auto encoder를 이용하게 될 예정.model 의 학습에 쓰이는 feature를 정기적으로 재학습 시키고 update하는 과정을 꼭 해야만 할지 알아보기 위해 실험을 진행한다.5월에 학

2022년 1월 14일
·
0개의 댓글
post-thumbnail

Auto encoder 와 pca 의 차원 축소 성능 비교 실험

model 의 feature 로 뉴스기사 제목과 내용의 embedding 을 사용하고 있다. 이때 768차원의 bert embedding 결과물을 축소할 방법으로 auto encoder, pca 둘 중 어떤 방법이 적절할지를 실험을 통해 비교한다.각 방법으로 차원축소한

2022년 1월 14일
·
0개의 댓글
post-thumbnail

Multi lang bert emb의 auto encoder 압축 실험

Multi-lingual bert 의 차원을 축소시킬 방법으로 auto encoder 를 사용할 수 있을지(loss 값이 줄어드는 등 학습이 잘 진행되는지), 적절한 layer 갯수와, layer dimension은 무엇일지 확인한다.실험결과, auto encoder

2022년 1월 14일
·
0개의 댓글
post-thumbnail

TFX(Tensorflow Extended)란 무엇이고, 어떻게 구성되어있는가

TFX 가 뭐고, 어떤 구성요소, 라이브러리를 포함하는지 확인한다. 또한 우리 시스템에 적용이 가능한 부분이 있는지 확인한다.특히 TFX라이브러리 중 TFT(TensorFlow Transform)부분만 독립형 라이브러리로 사용해본 바 있는데, 아래 네개 구성요소에 대해

2022년 1월 6일
·
0개의 댓글
post-thumbnail

[Blockchain] Bitcoin mining process

"새로운 블록과 비트코인이 블록 체인 네트워크 상에 추가되는 과정"채굴자블록 생성 위해서 어려운 수학문제를 푸는데 필요한(해시값을 찾아내기 위한) 네트워크에 컴퓨팅 파워 제공(PoW:Proof of Work)하고 보상(bitcoin 등)을 제공받는다. 이때 블록 생성

2021년 12월 21일
·
0개의 댓글
post-thumbnail

[Blockchain]Bitcoin mining step by step

Detailed mining process 비트코인의 분산화된 합의는 네트워크상의 노드들 사이에서 독립적으로 일어나는 아래의 프로세스에 따라 이루어진다. 모든 full node 가 각 거래에 대해 독립적으로 검증 작업 증명(PoW) 알고리즘을 이용하여, 마이너들

2021년 12월 21일
·
0개의 댓글
post-thumbnail

Shap repo 삽질기

개발했던 deep learning 추천 시스템에 shap(https://github.com/slundberg/shap) 을 적용해보았다.이때 발견했던 해당 레포의 문제점들과, 삽질들, 해결과정을 기록한다.아래 내용은 2021년 9월 29일에 적용해보았던 내용으

2021년 12월 20일
·
0개의 댓글
post-thumbnail

차원 축소 알고리즘을 비교해보자 (PCA, T-sne, UMAP)

차원 축소 알고리즘들은 축소하는 방법에 의해 두 가지로 나눌 수 있음matrix factorization 계열 - pcaneighbour graphs - t-sne, umapmatrix factorization 을 base 로 함 (공분산 행렬에 대해서 svd 등)분산

2021년 12월 9일
·
0개의 댓글
post-thumbnail

[Paper review]Deep double descent

DEEP DOUBLE DESCENT: WHERE BIGGER MODELS AND MORE DATA HURT (2020, ICLR)classical한 통계분야에서 '모델이 너무 크면 좋지 않다'라는게 기본적인 인식있음(Bias-variance trade-off: 모델 복

2021년 12월 2일
·
0개의 댓글

CBDC

중앙은행이 발행하는 전자화폐(!) - 이전까지 중앙은행은 실물 화폐만을 발행해왔으나 최근 각국 중앙은행들은 암호화폐와 같은 디지털 화폐의 발행을 검토하고 있다기존의 실물 화폐와 달리 흔히 아는 암호화폐처럼 가치가 전자적으로 저장되며 이용자간 자금이체 기능을 통해 지급결

2021년 11월 16일
·
0개의 댓글
post-thumbnail

Stable coin

화폐가 상품과 서비스를 구입하는데 사용되기 위해서는 그 가치의 안정성이 보장되어야한다.예를 들어, 오늘 2천원을 주고 빵을 삼에 있어서, 내일 당장 이게 500원으로 급격히 떨어질 가능성이 있다면 오늘 이 빵을 사기 위해 기꺼이 2천원을 지불하기는 힘들 것이다.그러나

2021년 11월 14일
·
0개의 댓글
post-thumbnail

Token과 ERC Standard

이전에 작성한 여러 글에서 설명했듯이 코인은 자체 운영하는 블록체인 네트워크를 가진 암호화폐이며, 그 네트워크에 참여하는 블록 채굴자들에게 채굴 보상으로 제공이 된다.반면, 크립토 토큰은 대개 기존 블록체인을 기반으로 스마트 컨트랙트에 의해 생성되며, Dapp 내에서의

2021년 11월 14일
·
0개의 댓글
post-thumbnail

Token Economy

토큰 이코노미는, 블록체인에서 사용하는 **코인** 또는 **토큰**을 활용하여 서비스를 제공하고 이윤을 창출하면서도, 참여자들에게 **보상을 주어 참여자들에게 특정 활동을 독려**하는 경제 생태계다.

2021년 11월 14일
·
0개의 댓글
post-thumbnail

bitcoin, ethereum 이후의 blockchain -3세대 블록체인 EOS

1세대 (e.g. 비트코인) : 제3자 개입 없이 전자 지불 거래를 가능케 함(거래내역 저장)2세대 (e.g. 이더리움) : smart contract 기능으로 화폐 이상의 기능(거래내역 외 코드, 다양한 계약사항 저장)3세대 (e.g. EOS)2017년 개발되었고,

2021년 11월 1일
·
0개의 댓글