profile
개발자를 꿈꾸는..

기상청 정보 가져오기

격자x, 격자 y 관련 파일 위도경도를 격자x,y로 바꾸는 방법이 따로 있음 (여기에 언급하지는 않음) API키를 받을때는 인코딩된 키를 써야한다~ 1. 단기 예보 조회서비스 getUltraSrtNcst 초단기실황조회 (아래 항목명을 &로 이어서 써주면 됨)

2024년 7월 15일
·
0개의 댓글
·

중요한 DAG 파라미터 VS Task 파라미터

max active runs 백필할떄 중요. 만약 이전 데이터에 문제가 생겨서 1년치의 데이터를 백필해야된다 근데 만약 이게 1로 설정되어있다면 한번에 1개의 dag만 돌아가서 매우 오래걸림 but 한번에 30개로 해놓으면 훨씬 금방됨 max active tasks

2024년 6월 17일
·
0개의 댓글
·

맥북 삼성 프린터 연결

https://support.apple.com/ko-kr/106385여기서 HP드라이버 다운로드프린터 추가 누르기https://m.blog.naver.com/bgfkjy1000/221990103554이분 블로그에 나온대로 하면됨

2024년 6월 17일
·
0개의 댓글
·

도커 이미지 생성

도커 이미지 생성하는 법docker build -t tag이렇게 이름 정해서 생성 가능docker image의 구성요소from - 기본 os, 환경run - 설치환경설정변수 - env, arg이 이미지의 버전이 뭐고 작성자가 누군지,,,등등 메타 데이터docker im

2024년 6월 3일
·
0개의 댓글
·
post-thumbnail

도커

도커의 목표 : 소프트웨어를 일관되게 빌드하고 실행하고 배포Docker Image : 이렇게 독립적으로 완전하게 만들어진 패키지Docker Container : 이 도커 이미지를 독립된 환경에서 실행한 것도커 이미지를 빌드한다고 많이 얘기함보통 도커 레지스트리에 도커

2024년 6월 3일
·
0개의 댓글
·

에어플로 오퍼레이터

AirFlow에서 Task DAG을 구성하는 작업 단위를 Task라고 하며, DAG이 수행할 작업들을 의미한다. 하나 또는 여러 개의 Task를 연결해서 DAG을 생성하며, Task에는 Operator, Sensor, Hook이 있다. Task는 Bash, Pytho

2024년 6월 3일
·
0개의 댓글
·

crud

cerat read update delete serialize 모델 데이터를 jason으로 바꾸는거. deserialize 그 반대

2024년 6월 3일
·
0개의 댓글
·

간단한 ETL 작성

에어플로에서는 dag라고 부름 a. DAG (Directed Acyclic Graph) 단어 뜻 그대로 순환하지 않는 그래프, DAG(대그)라고 부름 반복이나 순환을 허용하지 않음 순차적으로 작업(task)이 이루어지며, 순환 실행을 방지하기 때문에 매우 중요함 → 논

2024년 6월 3일
·
0개의 댓글
·
post-thumbnail

다음 프로젝트는

파케이로 저장해보기. (처리속도가 얼마나 증가하는지 궁금) 트랜잭션(transaction)이란 "쪼갤 수 없는 업무 처리의 최소 단위"를 말한다. begin, end= commit으로 하나의 트랜젝션 만들어보기 만약 roll back

2024년 5월 28일
·
0개의 댓글
·

데이터 파이프라인 만들때 주의점

이상과 현실간의 괴리내가 만든 데이터 파이라인은 문제없이 동작할 것이고, 관리하는 것은 어렵지 않을 것이다.현실 : 버그 , 데이터 소스 상의 이유 What if data sources are not available or change its data format, 데

2024년 5월 20일
·
0개의 댓글
·
post-thumbnail

데이터 파이프라인

써드파티서드파티(Third Party)의 사전적 정의는 '제3자'를 뜻해요. IT업계에서 서드파티는 어떠한 분야에서 처음 개발하거나 원천기술을 가지고 있는 게 아닌, 원천기술과 호환되는 상품을 출시하거나 해당 기술을 이용한 파생상품을 생산하는 회사를 말해요. 즉 제3자

2024년 5월 20일
·
0개의 댓글
·
post-thumbnail

한국은행 api 가져오기

화면 오른쪽 상단 인증키 신청 클릭 본인인증 후 이메일 확인

2024년 5월 15일
·
2개의 댓글
·

@Override

상속(extends)이란 상위 클래스에 있는 변수 메소드 등을 전부다 가져와서 쓸수 있게 만드는 것이다. 말그대로 우리 현대사회에서 부모가 가진 부동산 재화(변수) 그리고 권력(메소드)이렇게 우리는 반복되는 코드는 그냥 부모의 것을 상속받아서 쓸 경우 편하게 사용 가능

2024년 5월 3일
·
0개의 댓글
·
post-thumbnail

document db 차이점

2024년 4월 30일
·
0개의 댓글
·
post-thumbnail

API 와 Endpoint

하지만 URI URL 두 가지가 있는지 모르고 이 두가지를 하나로 혼용해 "인터넷 주소잖아" 라고 생각하는게 일반적입니다.크게 문제는 없지만 이 둘의 차이점이 존재합니다.사진을 통해 간단히 보자면 URI가 가장 큰 개념으로 URI의 하위 개념으로 URL과 URN을 포함

2024년 4월 22일
·
0개의 댓글
·
post-thumbnail

데이터 엔지니어 프로젝트 4일차 회고

1) 모델처음에 model.py를 잘못 만졌다가, 계속 오류가 났었다.이제 모델을 건들기 전에 마이그레이션 기록들을 살펴 본 뒤,테이블까지 살펴보고, 테이블 내부 형태까지 살펴본 뒤에삭제, 추가 하는 습관이 생겼다.근데 아직도 이름바꾸기는 조금 어렵다..ㅎ그 사이에 s

2024년 4월 18일
·
0개의 댓글
·

팀프로젝트 1일차 4/15 월

깃허브 공동 프로젝트 시작 1) 초대 - 이메일로 들어가서 확인 눌러야 오류가 안남 2) 포크 - 포크 후 풀 리퀘스트 까지 확인

2024년 4월 16일
·
0개의 댓글
·

팀 프로젝트 0일차

회의 일정잡기1\. 구글 스프레드 시트를 활용해서 회의 일정을 잡음2\. 다음날 저녁 8시 회의 시작회의1\. 주제 정하기 (투표)2\. 팀장 정하기 (사다리 타기)3\. 대략적인 역할 정하기

2024년 4월 15일
·
0개의 댓글
·

csrf_token

CSRF Attack (Cross Site Request Fogery Attack)csrf 공격은, 위해한 웹사이트가 POST와 같은 액션을 사용할 때, 인증된 사용자의 인증정보를 무단으로 사용하는 것을 말한다.이 때문에 사용자는 자신이 의도하지 않은 요청을 하게 된다

2024년 4월 11일
·
0개의 댓글
·
post-thumbnail

crud

2024년 4월 8일
·
0개의 댓글
·