Airflow Operator로 KubernetesPodOperator, DockerOperator를 사용Airflow Executor를 KubernetesExecutor, CeleryKubernetesExecutor, LocalKubernetesExecutor로 사용

세션을 시작할 때 설정한다.모든 SQL statement가 바로 물리 테이블에 커밋된다.이를 바꾸고 싶다면 BEGIN;END; 혹은 BEGIN;COMMIT;(ROLLBACK)을 사용SQL statement가 커밋되지 않는다.스테이징 상태로만 존재하게 된다.커넥션 객체의

= Data Pipeline= ETL= Data Workflow= DAG (Directed Acyclic Graph)Direct: 한방향으로 흐른다.Acyclic: 루프가 없다.루프를 만들고 싶으면 다른 방법을 해야한다.Data를 Dump하는 것file을 다운받는다.데

Data Driven DecisionData Informed Decisionairflowaws, 구글클라우드에서도 지원saas 도 있음중요한 지표를 시간의 흐름과 함께 보여주는 것이 일반적3AAccessible: 내가 보고싶을 때 볼 수 있어야 한다. 자동화된 시각화

Untitled사용차의 첫 번째와 마지막 채널이 아닌, 모든 채널을 시간 순서로 보여주고 있다.UntitledUntitledDELETE FROM테이블에서 모든 레코드 삭제WHERE 지원속도가 느리다.TRUNCATEWHERE 지원 xTRANSACTION 지원 xUNION

두 개 혹은 그 이상의 테이블들을 특정 키를 기준으로 합친다.조인의 방식에 따라 다음 두 가지가 달라진다:어떤 레코드들이 선택되는지어떤 필드들이 채워지는지특정 필드 기준으로 왼쪽 테이블과 오른쪽 테이블 모두 존재하는 레코드들만 반환한다.왼쪽테이블 전체와, 왼쪽 테이블에

TO_CHAR(ts, ‘YYYY-MM’)LEFT(ts, 7)DATE_TRUNC(’month’, ts)month 이후 값은(day) 1이 return된다.SUBSTRING(ts, 1, 7)SELECT로 테이블 생성하는 방법임시 결과 집합을 정의하는데 사용되는 문법서브쿼리

\-- : 한 줄 짜리 주석/\* \*/ : 여러 줄 짜리 주석단수형 vs 복수형User vs Userssnake vs cameluser_session_channel vs UserSessionChannelCREATE TABLE table_name AS SELECTvs

구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지관계형 데이터베이스를 조작하는 프로그래밍 언어가 SQLDDLCreate, Alter, Drop, Truncate, RenameDMLSelect, Insert, Update, DeleteMySQL, Postgre

모델 사이의 관계를 나타낸다.PrimaryKeyRelatedField : id(PrimaryKey)를 나타낸다.StringRelatedField : 모델에서 str 로 정의된 메소드의 내용을 표시한다.

view를 통해 모델에서 가져온 정보를 이용한다render()함수는 Django의 내장 함수이며 보통 Django의 뷰에서 사용요청(Request)객체, 템플릿 파일 경로, Context 변수를 입력 받는다변수를 html에 그대로 출력하고 싶을 때는 {{}} 안에 변수

django project 생성 django 서버 실행 django 앱 생성 경로 설정 http://127.0.0.1:8000/polls/some_url -> view.py 실행

HTML 내용이 고정HTML 내용이 변한다ex) 인스타그램. 새로고침시 피드 내용이 바뀐다.자바스크립트가 비동기 처리를 통해 필요한 데이터를 응답받은 후에 채운다.HTML을 렌더링할 때 까지 지연시간이 있다.

World Wide Web에서 정보를 교환하는데 사용되는 통신 프로토콜웹 스크래핑: 데이터 추출웹 크롤링: 데이터 색인, URL을 타고다니며 반복적으로 웹 페이지의 정보를 인덱싱

List 연산 시간복잡도 O(1) append() pop() 시간복잡도 O(N) insert() del() insert() 함수 vs 메서드 함수 독립적으로 호출되며 특정 작업을 수행하는 코드 블록 파이썬의 내장 함수나 사용자가 정의한 함수 등 모든 종류의 함수 ex