"절대 성공하지 못할 거야"는 넷플릭스 설립자인 마크 랜돌프가 쓴 책이고, "규칙없음"은 리드 헤이팅스가 쓴 책이다. "절대 성공하지 못할 거야"를 인상적으로 읽고 나서, 현 넷플릭스 CEO인 리드 헤이팅스의 이야기 또한 궁금해졌다. "절대 성공하지 못할 거야"는 넷플

bentoML은 많이 알려진 머신러닝 모델 배포 관리 도구 중 하나이다. bentoML에 대한 번역글, 튜토리얼 코드 등이 널리 알려져 있다. 하지만 bentoML의 핵심 개념인 Models, Services, Runner 등의 서로 사이의 관계와 각각의 역할이 무엇인

넷플릭스의 창업 스토리는 창업자 리드의 아폴로13 영화 비디오의 연체료에 짜증을 느낀 것을 계기로 연체료를 내지 않아도 되는 온라인 비디오 대여점 사업을 떠올렸다고 알려져있다. 하지만 넷플릭스의 창업 스토리는 그렇게 단순하지 않다. 넷플릭스의 공동창업자인 마크 랜돌프는

1. MaskNet논문 정리 Papers with code의 criteo dataset에서 1등을 한 모델에 대해 PPT로 정리해봤습니다. [원본 링크](https://doc-10-0g-prod-01-apps-viewer.googleusercontent.com/vie

UCB에 대해 이해해보자

Abstract Differential Neural Architecture Search 방법은 NAS 방법 중 가장 유명한 방법임 모델학습과 모델 서치를 같이하며 모델 파라메터를 공유하며 gradient decent기반이기 때문에 간단하

- 일종의 체계적인 view 시스템 - `ELT`: Extract→Load→`Transform` (NOT `ETL`)

일단 uniform하게 0~1사이의 숫자를 뽑을 수 있다고 가정하자. $X \\sim U(0,1)$선형합동 or 메르센 트위스터 참고 uniform 분포로 부터 정규분포(or 감마, 베타 등등 다양한 분포)를 어떻게 하면 생성해낼 수 있을까? 컴퓨터는 uniform

주어진 그래프를 spectral 도메인으로 해석하는데 laplacian matrix를 사용한다. laplacian matrix가 무엇이길래, graph를 표현하는데 쓰이는걸까? laplacian matrix의 의미에 대해 알아보자. Adjacaemcy matrix는 그

관측 데이터로 인관관계 파악이 가능할까? Confounder와 collider에 대해서 알아보자

athena는 S3에 있는 데이터에 쿼리를 날릴 수 있는 서버리스 쿼리엔진이다. S3에 데이터만 잘 준비해있으면 바로 쿼리를 날릴 수 있기 때문에 매우 편하다.Athena UI에서 쿼리를 날릴 때는 별 준비사항이 없는데, 파이썬으로 쿼리 결과를 받아오려면 어떻게 해야할

AWS에는 Inf1이라는 인스턴스 타입이 존재한다. Inf1은 aws의 inference 전용 칩인 NeuronCore을 사용한 기계학습 추론용으로 나온 인스턴스이다특별한 목적(기계학습)을 가지고 나온 인스턴스인 만큼, 머신러닝 모델 추론에 특화 되어 싸고 빠르게 모델

1. Intro python 프로그램에 인자를 전달하고 싶을 때 보통 argparser를 쓰게 된다. argparse는 인자가 하나 추가될 때 마다 코드를 한줄 한줄 추가해줘야 한다. argparse는 또한 비슷한 라인이 중복되며 덕지 덕지 달라 붙게 되어, 읽기도 불

상관계수는 두 변수 사이의 '상관관계'를 계량화한 수치이다. 상관계수는 측정하는 방식에 따라 매우 다양하지만, 우리가 보통 상관계수라고 부르면 맥락상 Pearson correlation coefficient을 뜻 한다. Pearson correlation coeffic

왜 필요한지 이해하기 위해 예시를 들어보자. One flow 비트코인데이터를 RDS로 적재한 후 RDS에 쌓인 데이터로 주식 가격 예측을 위한 feature를 생성한다고 가정해보자. 이를 위해서 비트코인데이터를 RDS로 적재하는 task A를 만들었다. 또한 RDS에

spark을 쓰기 위해서 EMR 클러스터를 띄우고 운영하는 것은 어려운 일이다. EMR 클러스터가 각종 이유로 장애에 빠질 수 있기 때문이다.또한 효율적으로 운영하기도 힘들다. 아마존에는 lambda 처럼 serverless spark 서비스가 존재한다. aws glu

prefect clound는 run당 돈을 과금하는데 이게 헤비하게 사용하면 생각보다 부담이 될 수 있다 hourly 잡이면 효율적으로 쓸 수 있을 것 같은데, minutely job이 run당 과금 방식의 한계로 인해 상당히 돈이 아까워 진다.돈을 한푼이라도 아끼려면

1. Intro aws는 남아도는 인기없는 instance를 효율적으로 판매하기 위해 spot이라는 서비스를 제공한다. aws의 ec2 instance의 life cycle은 크게 RI, on-demand, spot 3개가 있다 1-1 on-demand 가장 기본 형

우리는 다양한 자료에서 확률변수의 연산을 볼 수 있다. 예를 들면 아래처럼 다양한 표현이 있다. - $Z = f(X,Y), f(x,y)=x+log(x)+x^y$ - $Z = X+Y$ - $Z = E(X|Y)$ 확률변수가 함수라는 것을 알면 이 표현이 쉬워

이전 글에서 Feature store의 핵심 개념 및 핵심 구조에 대해 살펴보았다. 이번 글에서는 여러 feature store 중 AWS의 Feature store에 대해서 알아보자.