profile
Machine Learning Engineer: recsys, mlops

[Personal Cheat Sheet] - boto3

s3 list 가져오기

2021년 9월 14일
·
0개의 댓글
post-thumbnail

🤔알고 있다고 착각하기 쉬운 표본 공간! 제대로 알고있니??😵 (Feat. 몬티홀 딜레마)

1-1 수학자들은 왜 몬티홀 문제로 싸웠을까? 확률론에서 사건의 확률에 대한 문제를 풀다보면 풀이가 오묘해질 때가 많다. 오답을 마치 정답처럼 설명해도 맞게 들리고, 정답을 오답처럼 설명하면 틀린 것 같고, 나의 풀이는 왜 틀린 것인지 머리속이 복잡해지

2021년 9월 8일
·
1개의 댓글
post-thumbnail

😱 예비수학 교사도 모르고 있는 확률변수! 🤔 P([X=1])의 의미를 찾아서..

우리는 확률 변수가 사실 함수라는 사실을 이전에 배웠다. 근데 뭔가 확률 함수로 보이는 것 안에 X = 1 라는 표현이 있다. 함수인데 괄호가 생략된 것이 좀 짜증난다.괄호가 생략되었는데 equal 기호가 있는 것도 좀 어색하다..엥 이게 뭐지..?

2021년 9월 3일
·
1개의 댓글
post-thumbnail

Feature store - Basic Architecture

간단하게 Feature store의 스펙들을 생각해보며 구조를 맞춰 보자. 함께 심플하게 Feature store의 구조를 세워보고 나면 다른 Feature store 끼리의 비교가 쉬워질 것이라고 생각한다.

2021년 9월 1일
·
0개의 댓글
post-thumbnail

Feature store - 핵심 개념

1. 개요 모든 Feature store의 특성상 모든 feature store가 가지고 있는 핵심 개념들이 있다. 이 개념들은 각각의 feature store에서 명칭만 살짝식 다를 뿐 대부분 가지고 있는 개념이다. 이러한 개념들에 대해 알아보자.

2021년 9월 1일
·
0개의 댓글
post-thumbnail

Prefect 핵심개념 - Projects, Labels, Storage

ETL작업의 개수는 시간이 지날수록 계속 늘어나 정신차려보면 몇백개가 되어있는 경우가 많다. 만약 ETL작업들이 같은 화면에 몇백개가 한번에 보인다면 큰 스트레스일 수 있다.이럴 때 작업들을 그룹단위로 묶어주게 하기 위해 prefect에는 Projects라는 상위 그룹

2021년 8월 31일
·
0개의 댓글
post-thumbnail

😱 예비수학 교사도 모르고 있는 확률변수! 🤔 제대로 알고 있니?

확률 변수는 머신러닝, 통계학의 근간을 이루는 개념으로 대부분의 논문, 자료에서 계속 나타나는 개념이다.매우 자주 나타나고 보통은 제대로 이해하지 못했는데도 불구하고, 이해했다고 생각하고 넘어가기 쉽기도 하다.통계학 및 머신러닝을 학습하다가 뭔가 이해가 안 될 때는

2021년 8월 21일
·
1개의 댓글
post-thumbnail

코딩 없이 pandas 예쁘게 시각화 하기

matplotlib을 사용해서 한땀 한땀 그래프 설정을 만들고 건드는 것은 정말 짜증나고 귀찮은 일이다. 이럴 때 쓸 수 있는 여러 시각화 툴을 알아보자

2021년 8월 16일
·
0개의 댓글
post-thumbnail

Prefect 주요 구조 - Agent, UI sever

prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,

2021년 8월 16일
·
0개의 댓글
post-thumbnail

Feature Store - why?

feature store를 이해하기 위해서는 offline data, online data 개념에 대해 이해해야한다. offline, online에 대한 개념은 aws sagemaker feature store, feast, hopsworks 등 모든 feature s

2021년 8월 16일
·
0개의 댓글
post-thumbnail

Prefect란? - Task, Flow, Parameter

airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저

2021년 8월 16일
·
0개의 댓글