시스템 메트릭은 대체 어디에 있을까??CPU, 메모리, IO 등등..운영 체제에서 관리하고 있다. 호스트 내의 파일 경로에서 확인은 어렵고 가상 메모리의 아래 경로에 있다./proc/meminfo/proc/stat/proc/net/dev/prod/diskstats시스템

DPU의 PricingData Processint Unit 의 약자임 (젠슨 황-엔비디아 대표 언급) \- 1 DPU = 4 vCPU & 16 GB of memory ( $0.44 per Hour )Data Catalog \- $1.00 per 100,000 ob

내용이 어렵고 와닿지 않으실 수 있습니다.요약하자면 이렇습니다.DB는 24시 존재하고, 어떠한 애플리케이션(서비스)에도 존재합니다이제 분석이 필요합니다하지만 DB에 접근해서 분석하지 않습니다.음식의 맛, 성분 분석을 식당에서 하지 않고, 포장해와서 집에서 분석한다고 생

GIL이란? 여러 개의 스레드가 파이썬 바이트코드를 한번에 하나만 사용할 수 있게 락을 거는 것을 의미한다. 쉽게 말해서 하나의 스레드만 파이썬 인터프리터를 제어할 수 있도록 하는 뮤텍스라고 보면 된다. For The MEMORY ! GIL의 설계배경을 한마디로 말하

IPv4 대역 일부를 이용사설망, Private Network24비트 블록 10.0.0.0 ~ 10.255.255.255 -> 2^24개 00001010 00000000 00000000 0000000020비트 블록 172.16.0.0 10101100 00010000 0

API_KEYRegion

docker ps, docker-compose up 같은명령어 sudo 안주면 permission denied 준다newgrp docker

Large Language Model (LLM)의 솔루션이다.기존 스칼라 기반 데이터베이스에서 임베딩 작업의 어려움을 해결1\. Vector Embedding (벡터로 표현됨) = 0.34, 0,12 , -0.03, 1.3 2\. Vector Embedding과 원

ElasticSearch 오피셜 git repo를 클론 떠서 compose up 했을 때에 credentials 에러가 발생그래서 찾아본 결과docker-hub 회원가입하고 CLI 에 docker-login 해야함그래야 Credentials 인증 되는데cd ~/.doc

원만한 서비스를 위해서대부분의 작업들은 비동기로 수행 해야합니다파이썬 기반 작업에서는 'Celery' 라는 녀석이 있습니다채소 샐러리의 단면을 자르면 줄기와 심지가 많죠파이프가 여러개라 여러 파이프라인으로 병렬(비동기)처리 한다고 생각하면 됩니다오픈소스 개발자들의 기가

User / Group / Others컨테이너가 데이터를 긁어다주면 컨테이너는 Others다그래서 chmod 해서write 권한 줘야 한다이것때매 서버에서 크롤링 배치 돌리는데 애먹었다.크롤링 주체가 컨테이너라 외부인 취급다들 참고하세요어디에도, GPT도 못알려주는..

DAG개발 외에 관심사를 줄이기 위해 개발 환경을 Docker-compose로 구축공식홈페이지의 yml 파일 참조Airflow 웹서버는 사용자 인터페이스(UI)를 제공하고 데이터 파이프라인의 모니터링, 스케줄링, 실행 등의 작업을 관리합니다. 웹서버는 사용자가 DAG(

AWS의 서비스들로 구성해놨습니다.S3, Redshift, EMR 짱이다!!

m1, m2 : arm64 아키텍처 사용자라면텐서플로우와 파이토치로 로컬에서 GPU를 사용하고 싶고사용할 수 있다!!하지만 어떻게~?!?!tensorflow에 관한 게시글은 너무 많아서 패스하고토치에 대해 간단하게 설명을 하면일단 Tensorflow 같은 경우는 con

여러 was, pod라고 볼수도 있고, 각 was에 Flume Agent를 배치하고flume으로 갖고오면Source -> Channel -> Sink 과정을 거쳐서1\. 또 다른 Flume Agent를 줄 수도 있고,2\. ELK(Elastic-Search, Logst

도메인(naver.com) 네임서버에 접속네임서버에 연결된 IP 도메인 -> 네임서버 -> IP 서버 -> 브라우저의 서버 내용 출력구입한 도메인이 '네임서버'\-> .com .net .co.kr .orgRoute 53 서버 연결하기 (S3)2개 네임서버 (www 붙이

Linux

Nginx + Django + Postgresql 도커 컴포즈를 통한 EC2에서의 배포 후기 글쓰기에 앞서 준비물 AWS EC2 인스턴스 생성시에 이미지는 free tier 를 사용하여도 좋으나 인스턴스 타입(pc사양) 은 ram 2gb 인 t2.small 이상 사용

기타 의존성 ipython, jupyter, django-extensions 는 설치필요 (pip)

EC2 보통 git , python 이 깔려 있으나 pip3 같은 패키지 매니저 깔아줘야함 그전에 sudo apt get update ssh -i @public 포트 #ex : ssh -i ./Downloads/popo.pem ubuntu@15.164.103.129