AWS
1.[AWS] AWS CDK 개념 및 설치
AWS CDK는 Cloud Development Kit으로 python, java, typescript, C기존의 AWS 인프라 구축 툴로 유명한 Cloudformation은 YAML이나 JSON 형식으로 인프라들을 정의한 후 deploy 하기 때문에 직관적이기는 하지
2.[AWS] AWS CDK를 이용한 Lambda Docker 함수 구현
Lambda 코드가 특정 Docker Image를 베이스로 실행되도록 하는 코드를 AWS CDK를 이용하여 만드록 배포해보자!
3.[AWS] Lambda URL의 Auth 종류에 대하여
Lambda URL에는 None 타입, AWS_IAM 타입 두 가지가 있습니다. 각각의 특성에 대하여 간략히 알아보고 AWS_IAM 권한의 URL에 API를 보내는 방법에 대해 알아봅시다.
4.[AWS] Lambda with VPC & VPC Endpoint
1\. Lambda with VPC에 대한 설명람다는 일반적으로 Serverless 하게 단발성의 함수를 실행해주는 기능을 가진 서비스로만 많이 인식하고 있다. 그 말이 맞기도 하지만 그렇게만 보기에는 그 안에 설정할 수 있는 것들이 아주 많다. VPC도 그 중 하나이
5.[AWS] EC2 Restart시 특정 shell script(userdata) 실행하도록 설정
EC2 서버에 적용된 User Data를 변경하여 서버가 restart 될 때마다 원하는 명령이 실행되도록 설정해보자.
6.[AWS] Step Functions 및 Lambda, SQS를 이용한 Call back 패턴 구현
Step Functions 및 Lambda, SQS를 이용한 Call back 패턴 구현
7.[AWS] Lambda를 이용하여 EMR 클러스터 스케쥴링 하기
EMR Cluster 자동 스케쥴링을 통해 불필요한 과금을 줄이자!
8.[AWS] EC2 IP 변경시마다 자동으로 DNS 매핑되도록 Lambda 구성
EC2 restart될 때마다 public IP가 변경된다. 이렇게 IP 변경시마다 자동으로 특정 DNS에 매핑되도록 Lambda함수를 구성하여 해당 서버를 보는 endpoint 주소가 동일하게 유지할 수 있다.
9.[AWS]Glue Crawler 생성시 Lake Formation credentials 설정하기
Lake Formation 접근 제어 설정에 따라 Glue Crawler 생성하기
10.[AWS/PYTHON] Lambda URL을 이용하여 EC2 stop/run 기능을 가진 Serverless 정적 웹사이트 Upgrade 버전
요금 절약을 극대화 할 수 있는 EC2 시작/정지 및 EBS와 스냅샷에 대한 생성 삭제 명령이 추가된 Lambda를 통한 Serverless HTML UI 생성.
11.[AWS] AWS STS와 Assume Role을 통한 안전한 권한 관리 및 예시 (AWS CLI, Python boto3)
Assume Role을 통해 일시적으로 권한을 받는 로직을 AWS CLI와 Python boto3로 알아보자!
12.[AWS] Glue Spark Job에 대한 Spark History Server UI 생성하기
CloudFormation을 통한 Spark History Server 생성으로 Glue Job에 대한 내용을 web UI로 확인하기
13.[AWS] AWS Glue Job을 On-Premise에서 개발해보자!
0. INTRO Glue Job으로 Spark 스크립트를 작성하게되면 Glue Job 관련된 다른 import들을 함께 해주어야 한다. 예를 들자면 아래와 같은 것들이다. 이러한 import들 때문에 Glue Job에 사용할 Script를 개발할 때 AWS 콘솔에서 작업하게되는 경우가 많다. 물론 콘솔에서 작업하게되면 Glue Studio라는 아주 편리한...