Gemini Prompt 를 조정해야 Analytics Goal을 Custom가능 (2024/09/15부터)Supervised Training Task (지도 학습 작업)이미지테이블 형식(csv, parquet, DB)텍스트동영상Process2-1. 데이터 수집(Col

주로 오픈소스 만들 때, 클래스 상속 시 특정 메소드 필수 구현 강요"Cat 클래스는 speak 메소드를 정의 안해서 에러 발생" 이 부분이 제일 중요^^.

TDD는 실전이다.어느 순간부터 순정으로 진행하는 테스트의 한계가 느껴졌다그래서 테스트 코드를 짜고 있다각각 django TDD에서 필수적이다1\. reverse는 url에 aliasing 해놓은 비즈니스 로직 호출2\. TestCase는 class에 상속해서 테스트

시스템 메트릭은 대체 어디에 있을까??CPU, 메모리, IO 등등..운영 체제에서 관리하고 있다. 호스트 내의 파일 경로에서 확인은 어렵고 가상 메모리의 아래 경로에 있다./proc/meminfo/proc/stat/proc/net/dev/prod/diskstats시스템

DPU의 PricingData Processint Unit 의 약자임 (젠슨 황-엔비디아 대표 언급) \- 1 DPU = 4 vCPU & 16 GB of memory ( $0.44 per Hour )Data Catalog \- $1.00 per 100,000 ob

내용이 어렵고 와닿지 않으실 수 있습니다.요약하자면 이렇습니다.DB는 24시 존재하고, 어떠한 애플리케이션(서비스)에도 존재합니다이제 분석이 필요합니다하지만 DB에 접근해서 분석하지 않습니다.음식의 맛, 성분 분석을 식당에서 하지 않고, 포장해와서 집에서 분석한다고 생

GIL이란? 여러 개의 스레드가 파이썬 바이트코드를 한번에 하나만 사용할 수 있게 락을 거는 것을 의미한다. 쉽게 말해서 하나의 스레드만 파이썬 인터프리터를 제어할 수 있도록 하는 뮤텍스라고 보면 된다. For The MEMORY ! GIL의 설계배경을 한마디로 말하

IPv4 대역 일부를 이용사설망, Private Network24비트 블록 10.0.0.0 ~ 10.255.255.255 -> 2^24개 00001010 00000000 00000000 0000000020비트 블록 172.16.0.0 10101100 00010000 0

API_KEYRegion

docker ps, docker-compose up 같은명령어 sudo 안주면 permission denied 준다newgrp docker

Large Language Model (LLM)의 솔루션이다.기존 스칼라 기반 데이터베이스에서 임베딩 작업의 어려움을 해결1\. Vector Embedding (벡터로 표현됨) = 0.34, 0,12 , -0.03, 1.3 2\. Vector Embedding과 원

ElasticSearch 오피셜 git repo를 클론 떠서 compose up 했을 때에 credentials 에러가 발생그래서 찾아본 결과docker-hub 회원가입하고 CLI 에 docker-login 해야함그래야 Credentials 인증 되는데cd ~/.doc

원만한 서비스를 위해서대부분의 작업들은 비동기로 수행 해야합니다파이썬 기반 작업에서는 'Celery' 라는 녀석이 있습니다채소 샐러리의 단면을 자르면 줄기와 심지가 많죠파이프가 여러개라 여러 파이프라인으로 병렬(비동기)처리 한다고 생각하면 됩니다오픈소스 개발자들의 기가

User / Group / Others컨테이너가 데이터를 긁어다주면 컨테이너는 Others다그래서 chmod 해서write 권한 줘야 한다이것때매 서버에서 크롤링 배치 돌리는데 애먹었다.크롤링 주체가 컨테이너라 외부인 취급다들 참고하세요어디에도, GPT도 못알려주는..

DAG개발 외에 관심사를 줄이기 위해 개발 환경을 Docker-compose로 구축공식홈페이지의 yml 파일 참조Airflow 웹서버는 사용자 인터페이스(UI)를 제공하고 데이터 파이프라인의 모니터링, 스케줄링, 실행 등의 작업을 관리합니다. 웹서버는 사용자가 DAG(

AWS의 서비스들로 구성해놨습니다.S3, Redshift, EMR 짱이다!!

m1, m2 : arm64 아키텍처 사용자라면텐서플로우와 파이토치로 로컬에서 GPU를 사용하고 싶고사용할 수 있다!!하지만 어떻게~?!?!tensorflow에 관한 게시글은 너무 많아서 패스하고토치에 대해 간단하게 설명을 하면일단 Tensorflow 같은 경우는 con

여러 was, pod라고 볼수도 있고, 각 was에 Flume Agent를 배치하고flume으로 갖고오면Source -> Channel -> Sink 과정을 거쳐서1\. 또 다른 Flume Agent를 줄 수도 있고,2\. ELK(Elastic-Search, Logst

도메인(naver.com) 네임서버에 접속네임서버에 연결된 IP 도메인 -> 네임서버 -> IP 서버 -> 브라우저의 서버 내용 출력구입한 도메인이 '네임서버'\-> .com .net .co.kr .orgRoute 53 서버 연결하기 (S3)2개 네임서버 (www 붙이

Linux