1. EC2 인스턴스 생성 및 접속 2. AWS CLI 설치 및 구성 3. eksctl 및 kubectl 설치 4. EKS 클러스터 생성 5. kubectl 자동완성 설정 6. k9s 설치 7. Kubernetes 용어 및 명령어 8. 애플리케이션 배포 및 관리 9. 애플리케이션 롤아웃 10. 노드 조작

Docker 설치 기본 Docker 명령어 MySQL 컨테이너 컨테이너 조작 데이터베이스 관련 Docker Volume Docker 네트워크 Apache Airflow Dockerfile Docker Compose Docker Compose 설치 Docker Compose 명령어 vscode에서 aws ec2연결하는 방법 사이트

이 프로젝트는 대용량 데이터 ETL(Extract, Transform, Load) 및 분석을 목표로 합니다. 주어진 데이터는 아마존 리뷰 데이터로, 총 187GB로 replication을 3으로 설정하여 총 561GB의 저장 용량을 차지하고 있습니다. 데이터는 리뷰와

인스턴스 생성하는 방법 Quick Start에서 사용할 운영체제 선택 아키텍처는 윈도우 -> x86, 맥 -> arm으로 선택 다음으로는 인스턴스 유형을 선택 (예: t2.medium 사용) 키페어(Key Pair) 생성: Windows라면 ppk, 맥이라면 pem을 생성 Putty를 사용하여 접속: Putty에 인스턴스의 public IP를 입력하고,...

목적: 분산 클러스터에서 대량의 데이터를 저장하고 관리합니다.운영 위치: 일반적으로 여러 대의 머신으로 구성된 클러스터에서 동작합니다.사용된 조합: Hadoop 생태계의 다양한 구성 요소에서 입력 및 출력 데이터를 저장하는 데 사용됩니다.예제 코드:목적: 대규모 데이터

requests는 url주소, 필요하다면 payload와 header를 추가로 사용하여 웹사이트의 주소를 가져오는 방법이다.url 주소와 payload를 가져오는 방법은 해당 crawling을 할 웹 페이지에 들어간 후 f12를 눌러 개발자 도구를 키고 네트워크 탭에서

정형데이터 비정형데이터 반정형데이터 하둡 이론

linux, hadoop, MariaDB, terminal, Crawling

Java, JSP, Spring Boot

Java, SQL, HTML, CSS

SQL, MySQL, DBeaver

Deep Learning CNN, VGG, ResNet, Fine Tuning, NLP

Deep Learning 기초 Pytorch

데이터 엔지니어링 28기

타이타닉 생존률 경진대회

파이썬 기초

파이썬 연산 & machine learning 입문

파이썬 개발환경 구축 & 파이썬 기초