최근 새롭게 시작하는일이 많아지고 기분전환이랄까..해야할 이유는 없긴 하지만 그냥 기분이다 하고 깃헙 블로그로 옮기게 됐다.블로그 주소는 여타 깃헙 블로그와 같다.

The Ultimate Hands-On Hadoop: Tame your Big Data!이 강의를 따라 Hadoop에 대해 공부하려고한다.강의에서는 Ambari에서 배포하는 하둡 배포판을 사용하지만 직접 설치하여 구성하고 강의를 들어보려고 한다. 클러스터 구성도 싱글

Airflow를 운영하다보면 이런 저런 이유로 task나 DAG를 재시작해야할 일이 있다.한 두개 정도는 Web UI를 통해 쉽게 가능하다. clear 버튼만 누르면 재시작 되니까클리어 버튼 옆에 몇 가지 옵션이 있는데,Past: 해당 task의 과거 시점 task를

CeleryExecutor 구성과 어려움 최근 Airflow에서 CeleryExecutor를 사용하면서 공유 스토리지를 사용할 필요가 생겼다. 3개의 노드로 구성된 클러스터를 만들어 사용하는데, 각 태스크 간의 데이터 전달을 위해 파일을 떨어뜨려 읽어오는 방식을 선택했

카카오의 코딩테스트는 언제봐도 쉽지 않다.문제 링크문제를 요약하자면,지원자들에 대한 정보들이 주어지고 (1 <= info <= 50,000)지원자를 분류하기 위한 쿼리가 주어짐 (1 <= query <= 100,000)쿼리에 맞는 지원자들이 몇 명

여러개의 서버를 효율적으로 관리할 수 있게 해주는 환경 구성 자동화 도구플레이북에 실행할 환경을 정의해 두면, 자동으로 실행시킬 수 있음웹서버 구성, DB구성 등을 미리 선언해두면 필요할 때 마다 쉽게 배포할 수 있음Control Node앤서블을 실행하는 노드플레이북

최근 심각하게 많은 업무가 몰려오면서 눈코뜰새 없이 바빴다. 그 와중에 이거는 꼭 정리해두면 나중에 쓸모가 있겠구나 싶은 내용이 있어서 정리하려고 한다. 혼자 공부할때나 취준/학생일 때는 폐쇄망이라는 것을 염두할 이유가 저어어어언혀 없다. 나도 그랬고 인터넷이 없는

키바나는 강력한 시각화 도구이다. 이번에는 지도정보 데이터를 바탕으로 시각화를 해볼 것이다.실제 프로젝트에서는 API 등을 통해 실시간으로 업데이트되는 데이터를 받아오거나 직접 수집하겠지만, 우선은 간단하게 시각화부터 해보기 위해 데이터를 파일로 받아서 엘라스틱서치에

로그스태시의 트위터 플러그인을 사용해 직접 트위터 데이터를 수집할 수 있었다.먼저 트위터 개발자 페이지에서 필요한 ACCESS_TOKEN과 API_KEY 등을 발급받고 입력하면 준비 끝.그리고 수집하고자 하는 키워드와 언어를 선택해서 넣어주면 자동으로 수집해준다.필터

도커 설치 방법은 생략하겠다WSL에서 docker desktop을 설치 해 사용했다.리눅스를 사용한다면 docker engine을 직접 설치하면 된다.엘라스틱 서치 최신 버전인 8.3.3 이미지를 pull하여 컨테이너를 띄운다.이때 single node로 실행하면 자동

로그를 수집하고 가공해주는 파이프라인 단계를 간편하게 구현해줌 특징 플러그인 기반 다양한 형태의 데이터 처리 지원 Input → Filter → Output 단계로 파이프라인 처리 내장된 메모리와 파일 기반의 큐를 사용하여 처리 속도와 안정성 높음 설치 및 구

https://gnlenfn.notion.site/Network-f309403e9aaf45e381d2a0dfdce3843f아직 정리중..

https://gnlenfn.notion.site/02f066e8d5ad43439bff4bbdb2ebad10?v=a764a3f29064406e8d319762f452a033아직 정리 진행중..

https://gnlenfn.notion.site/e2f0ae2281654797a6f10a553b732b33?v=948d65199d784c4c85a0f7947eb24df9매번 블로그에 글 올리기 보단 노션 페이지로 정리했다

agentless metric 수집의 일환으로 프로메테우스와 libvirt exporter를 사용했다. KVM 가상화를 통해 만들어진 VM들에 대한 정보들이 모두 호스트 서버에 있을 것으로 예상이 되고 해당 정보를 exporter를 통해 수집하고 프로메테우스가 pull

문제링크너무 어렵다.백트래킹으로 문제를 풀려하면 재귀로 구현한 피보나치 수열이 어느 순간 급격하게 시간복잡도가 커지게 되는 것과 같은 현상이 일어난다. (참조)그래서 공식 해설에서도 DFS/BFS를 소개한다. (둘 중 아무거나 상관없다고 함)하지만 참조한 블로그에서는

이 문제부터 조금은 어려워진 것 같다.문제 내용은 링크로 대체 (문제 링크)라이언이 어피치보다 더 많은 점수를 얻는 경우를 출력하시오.해당 점수에 더 많은 화살을 맞춰야 점수 획득라이언과 어피치가 같은 점수에 동일 갯수를 맞춘 경우 어피치가 점수 획득점수 총합이 높으면

주어진 records에서 순서대로 입출차 시간을 계산하면서 전체 주차 시간을 구하고 최종 시간을 기준으로 주차요금을 계산하면 된다.이때 파이썬의 datetime 라이브러리를 통해 시간계산을 매우 쉽게 할 수 있다. 그리고 dict에서 차량 번호를 key로 주차 시간을

두 가지 함수만 구현하면 쉽게 풀 수 있다.1\. 진법 변환2\. 소수 판별문제 내의 0과 관련된 자세한 설명은 파이썬에서 0을 기준으로 split하면 해결 될 문제이다. 그냥 0을 기준으로 0을 제외한 숫자가 소수인지 아닌지 알아보면 되기 때문이다.십진수를 n진수로

해쉬 자료구조를 사용하면 제한시간 내에 해결할 수 있을 것 같다.{"신고 당한 유저" : \["신고자1", "신고자2" ...] 이런 형태를 만들면 될 것report의 길이는 최대 200,000이고 id_list의 최대 길이는 1,000이므로 최악의 경우 200,000