TIL

자료구조 / 알고리즘 1

1. Linked List 2. Doubly Linked List 3. Stack

1. Queue 2. Circular Queue 3. Priority Queue 4. Binary Tree 5. Heap

1. Hash 2. Greedy

1. Heap 문제 2. DP 문제 3. DFS/BFS 문제

HTML 기본 정리

1. HTTP 2. 웹페이지와 HTML 3. HTTP 통신 4. 웹 스크래핑, 크롤링 5. DOM

1. BeautifulSoup 2. 원하는 요소 찾기 3. 동적 웹 사이트

1. Selenium 2. Wait and Call 3. 이벤트 처리

1. Seaborn 2. Scraping 시각화 3. WordCloud

Django - 환경설정 - 관계형 데이터베이스 - Model 만들기 - 다양한 필드 활용 - 관리자 계정 생성 - Django Admin - 모델 등록 - Django Shell

✏️ 오늘 학습한 내용 > 1. Views와 Templates 2. Forms와 Customizing

Serializer와 Views - ModelSerializer - HTTP Request Method - GET, POST, PUT, DELETE - Class 기반의 Views - Mixin - Generic API View

Users와 Authentication - User 추가 - User 관리 - Form을 사용하여 User 생성 ( 회원 가입 ) - User 권한 관리 - perform_create() - POSTMAN

1. Users와 Authentication 2. Votes와 Testing

1. 배움에 관하여 2. 관계형 데이터베이스 3. SQL 4. 데이터 웨어하우스 5. Cloud와 AWS

Redshift & SQL - AWS Console을 통한 Redshift launch - 관계형 데이터베이스 예제 - Redshift 중심의 SQL (DDL, DML) 소개 - GoogleColab을 통한 실습

1. Group by와 AGGREGATE 함수 2. CTAS와 CTE

1. JOIN 2. SQL

1. 트랜잭션 2. SQL 고급 문법

1. AWS란? 2. 클라우드 컴퓨팅이란? 3. AWS 기본용어 4. EC2 5. EC2 생성해보기 6. Elastic Beanstalk

DB - RDS - DocumentDB - DynamoDB Network - Route53 - Certification Manager - CloudFront - Elastic Load Balancing (ELB) - Virtual Private Cloud(VPC)

1. IAM 2. S3 3. CI/CD

AWS 클라우드 실습 - SpringBoot 구성 - VPC 구성 - EC2 구성 - Elastic Beanstalk 구성 - 콘솔 접속 - RDS 구성 - S3 구성 - CI/CD 구성

1. AWS CLI 2. Docker 3. ECS/ECR 4. Lambda 5. ApiGateway 6. CloudWatch 7. DevOps 8. MLOps

1. 데이터 팀의 역할 2. 데이터 조직의 구성원 3. 데이터 웨어하우스와 데이터 레이크, ETL/ELT 4. 데이터 웨어하우스 옵션들 5. 데이터 스택 트랜드

1. Redshift 특징 2. Redshift Serverless 연결 및 실습

1. Redshift 권한과 보안 2. Redshift 백업과 테이블 복구 3. Redshift 관련 기타 서비스 4. Redshift Spectrum 사용 5. Redshift ML 사용 6. Redshift 중지/제거

1. Snowflake 특징 2. Snowflake 무료 시험판 3. Snowflake 실습을 위한 환경 설정 4. Snowflake 사용자 권한 설정 5. Snowflake 기타 기능과 사용 중단 기능

1. 다양한 시각화 툴 2. Superset 3. 대시보드 제작 예시 4. Superset 설치 5. Redshift 설정 및 차트 생성

1. 데이터 파이프라인이란? 2. 데이터 파이프라인을 만들 때 고려할 점 3. 간단한 ETL 작성 4. Airflow 소개 5. Airflow 구성

1. Airflow 설치 2. Airflow 기본 프로그램 실행

1. Airflow DAG 작성 2. 예제 프로그램 Airflow로 포팅

1. Open Weather DAG 구현 2. Backfill과 Airflow

1. MySQL 테이블을 Redshift로 복사 2. Airflow의 Backfill 실행 3. Airflow와 데이터 파이프라인 정리

1. Airflow 운영 상의 어려움 2. Docker 소개 3. Virtual Machines vs. Docker 4. Docker 프로그램 개발 프로세스 5. Docker로 프로그램 제작 6. Container로 우분투 실행 7. Root 계정으로 MySQL 실행

1. Hangman 서비스 2. CI/CD와 Github Actions 3. Github Actions 사용 - Python Application - Docker Image

1. Docker Volume이란? 2. .dockerignore란? 3. 다수의 Container로 구성된 소프트웨어 실행 4. Voting application의 docker-compose.yml 개선 5. Airflow의 docker-compose.yml 살펴보기

1. Docker 정리 2. 서버 관리의 어려움 3. Container Orchestration 4. K8s 소개 5. K8s 아키텍처 6. K8s/Docker 사용 예시

1. Airflow Docker 환경 재설정 2. Summary 테이블 구현 3. Slack 연동

1. Google sheets -> Redshift table 2. Redshift select -> Google sheets 3. Airflow 모니터링

1. Dag Dependencies 2. Sensor & Extra Dag Dependencies 3. Task Grouping

1. 프로덕션 사용을 위한 Airflow 환경 설정 2. Airflow 로그 파일 삭제 3. Airflow 메타데이터 백업 4. Airflow 대안

1. 빅데이터의 정의 2. 빅데이터 처리가 갖는 특징 3. 하둡(Hadoop) 4. YARN 동작 방식 5. 맵리듀스 프로그래밍 6. 하둡 설치 7. Spark 8. Spark 프로그램 실행 옵션

1. Spark 데이터 처리 2. Spark 데이터 구조 3. Spark 프로그램 4. Spark 개발 환경

1. Spark SQL 2. JOIN, UDF 3. Hive 메타스토어 사용하기 4. 유닛 테스트

1. Database Normalization 2. DBT

1. Spark 파일 포맷 2. Execution Plan 3. Bucketing과 File System

1. Spark ML이란? 2. Spark ML 피쳐 변환 3. Spark ML Pipeline

1. 데이터 실시간 처리 2. 실시간 데이터 종류와 사용 사례 3.실시간 데이터 처리 챌린지

1. Kafka란 2. Kafka 아키텍처

1. Kafka Connect란 2. Kafka Schema Registry