profile
developer hamdoe

Airflow 조그맣게 시작하기 - Connections 메뉴 오류 해결

airflow를 잘 쓰고 있었는데 갑자기 UI에서 Connections 메뉴에 들어가면 오류가 발생하기 시작했다.

2021년 9월 14일
·
0개의 댓글

[클린 아키텍처] 8. OCP: 개방-폐쇄 원칙

소프트웨어 개체의 행위는 확장할 수 있어야 하지만, 이때 산출물을 변경해서는 안된다. 2장을 읽었다면 알겠지만, 이것이 소프트웨어 아키텍처를 공부하는 가장 근본적인 이유라고 할 수 있다.

2021년 8월 24일
·
0개의 댓글

[클린 아키텍처] 7. SRP: 단일 책임 원칙

SOLID 원칙 중 SRP에 대해 알아보자.

2021년 8월 24일
·
0개의 댓글
post-thumbnail

라즈베리파이 4로 햄스터 훔쳐보기

작년 11월 뜬금없이 알리에서 라즈베리파이를 구매했다. 새로 나온 라즈베리파이4가 작은 크기에 비해 꽤 스펙이 좋다는 소식을 듣고 샀던 것 같다.

2021년 8월 22일
·
0개의 댓글
post-thumbnail

Ray, Apache Arrow, zero-copy

분산/병렬 ML 프레임워크인 Ray에 대해 알아보다가, 직렬화 오버헤드가 적은 Apache Arrow를 사용하여 Zero-Copy 직렬화를 수행한다는 것이 이해가 되지 않아 조사한 내용

2021년 8월 12일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 5 – Dependency Parsing

이번 시간에는 자연어의 의미를 이해하기 위해 자연어의 구조를 파악하는 방법을 알아본다.

2021년 8월 2일
·
0개의 댓글

아직도 수행중인 이 배치는 처음부터 느리진 않았다

사실 원래 느린 배치이긴 했다. 그래도 하루 단위 배치이고 처리해야 하는 데이터 양이 작을 때에는 괜찮았다. 데이터 양이 급속도로 늘어났다고는 하지만 고작해야 몇백만건을 처리하는 배치의 수행시간이 하루를 넘어가기 시작했다.

2021년 8월 2일
·
0개의 댓글

[클린 아키텍처] 6. 함수형 프로그래밍

함수형 프로그래밍이라는 개념은 람다 계산법(알론조 처치, 1930)이라는 형태로 프로그래밍보다 앞서 등장했다.

2021년 7월 22일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 4 – Backpropagation and computation graphs

예시와 함께하는 backpropagation 계산과정

2021년 7월 12일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 3 – Word Window Classification, Neural Networks, and Matrix Calculus

드디어 Neural network에 대해 알아보고, matrix calculus를 시도해본다.

2021년 7월 12일
·
0개의 댓글

[클린 아키텍처] 5. 객체 지향 프로그래밍

좋은 아키텍처를 만드는 일은 객체 지향 설계 원칙을 이해하고 응용하는 데에서 출발한다. 그럼 대체 객체 지향이란 무엇인가?

2021년 7월 11일
·
0개의 댓글

[클린 아키텍처] 4. 구조적 프로그래밍

프로그래밍은 어렵고, 프로그래머는 프로그래밍을 잘 하지 못한다. 단순한 프로그램도 복잡한 세부사항을 담고 있고, 하나라도 간과하면 예상 외 방식으로 실패한다.

2021년 6월 26일
·
0개의 댓글

[클린 아키텍처] 3. 패러다임 개요

패러다임은 어떤 프로그래밍 구조를 사용할지, 언제 이 구조를 사용해야 하는지를 결정한다.

2021년 6월 22일
·
0개의 댓글

[클린 아키텍처] 2. 두 가지 가치에 대한 이야기

소프트웨어 시스템이 이해관계자에게 제공하는 두 가지 가치: 행위와 구조

2021년 6월 22일
·
0개의 댓글

[클린 아키텍처] 1. 설계와 아키텍처란?

프로그램이 동작하도록 만드는 데에 엄청난 지식과 기술이 필요하지는 않지만, 프로그램을 제대로 만드는 일은 어렵다. 이를 위해서는 적정 수준의 지식과 기술을 겸비해야 하지만, 대다수의 젊은 프로그래머는 이 수준에 도달하지 못했다.

2021년 6월 22일
·
0개의 댓글

Airflow 조그맣게 시작하기 - dag 완료 후 알림 받기

on_success_callback과 on_failure_callback이 너무 많은 알림을 보낼 때 해결방법

2021년 6월 15일
·
0개의 댓글
post-thumbnail

[CS224N] Lecture 2 – Word Vectors and Word Senses

이번 강의에서는 지난시간에 배운 word2vec을 마무리하고 GloVe를 배운다. Manning 교수님이 진행하는 강의인데 본인이 쓴 논문이라 GloVe를 열심히 소개하는 듯.

2021년 6월 13일
·
0개의 댓글

sklearn 모델 품질 측정하기

헷갈리는 metrics 정리

2021년 5월 10일
·
0개의 댓글

Airflow 조그맣게 시작하기 - 다양한 parallelism

하나의 task를 가진 dag를 여러 dag_run으로 띄울 수 없는지 찾아보다가 발견하게 된 airflow dag를 더 빠르게 수행하는 법.

2021년 5월 2일
·
0개의 댓글
post-thumbnail

Airflow 조그맣게 시작하기 - 각종 트러블슈팅

튜토리얼은 매우 쉬웠지만 에어플로우를 운영 환경에서 사용하기 위해 도입하는 과정에서 크고 작은 문제들이 있었다. 해결한 문제도 있고 땜빵만 해둔 문제도 있지만 일단 정리해보자.

2021년 5월 2일
·
0개의 댓글