AWS EMR이란?

AWS EMR(Elastic MapReduce)은 완전관리형 분산형 데이터 처리 서비스 이다.
AWS EMR은 대용량 데이터 처리, 로그 분석, 머신 러닝 등 다양한 분석 작업을 수행하는데 효과적이며 유연성과 확장성을 갖춘 클라우드 기반의 데이터 처리 솔루션으로 활용된다.

EMR 특징과 기능

• 다양한 데이터 처리 엔진 : Apache Hadoop, Apache Spark, Apach Hive, Apache HBase, Apache Flink, Presto 등 다양한 데이터 처리 엔진, 프레임 워크를 지원한다.

• 클러스터 관리 및 자동 확장 : EMR은 클러스터를 쉽게 생성하고 관리할 수 있다. 필요에 따라 클러스터 크기를 자동으로 확장하거나 축소하여 작업 부하에 대응할 수 있다.

• 스크립트 및 애플리케이션 실행 : EMR은 사용자 지정 스크립트나 애플리케이션을 실행할 수 있는 환경을 제공한다. 이를 통해 사용자는 특정한 데이터 처리 작업을 구현하고 실행할 수 있다.

• 보안 : EMR은 VPC(Virture Private Cloud) 내에서 실행되며, 데이터 암호화 및 IAM과 같은 AWS 보안 기능을 활용하여 데이터 보호를 강화한다.

• 다양한 스토리지 옵션 : AWS S3, HDFS(Hadoop Distributed File System), Amazon DynamoDB 등 다양한 데이터 저장소를 사용할 수 있다.

• 커스텀 AMI 지원 : EMR은 사용자 정의 AMI(Amazon Machine Image)를 사용하여 클러스터를 시작할 수 있다. 이를 통해 특정한 소프트웨어 버전이나 환경 설정을 사용할 수 있다.

• 로그 및 모니터링 : 클러스터 실행 로그 및 모니터링 정보를 쉽게 검색하고 분석하는 기능을 제공한다.