이번 시간에는 데이터 기초편으로 데이터 전송 방식과 마이그레이션, 데이터 분석 서비스에 대해 다루고자 합니다.
AWS 데이터베이스 간 전송 방식 및 데이터 마이그레이션
Storage Gateway :
온 프레미스 데이터 센터의 데이터와 AWS 클라우드의 스토리지를 Direct Connect 해주는 서비스( 하이브리드 클라우드 스토리지)
로컬캐시 기능을 통해 자주 사용하는 데이터 보관 가능
S3 파일 게이트웨이
•온 프레미스와 S3 간에 파일 단위로 전송하는 게이트웨이
•NFS, SMB 프토로콜을 이용하여 S3 에서 객체를 저장하고 검색 가능
FSx 파일 게이트웨이
• 온프레미스와 Amazon FSx for Windows File Server 간에 파일 단위로 전송하는 게이트웨이
• SMB 프토로콜을 이용하여 FSx for Windows File Server 내의 파일을 저장하고 검색 가능
볼륨 게이트 웨이
• iSCSI 연결을 사용해 온 프레미스 애플리케이션에 블록 스토리지를 제공
• 온 프레미스의 서버에서 블록 스토리지 볼륨을 iSCSI 디바이스로 연결 가능
테이프 게이트웨이
• 온 프레미스의 테이프 백업 애플리케이션과 S3 간의 전송을 위한 게이트웨이
• 기존의 온 프레미스 테이프 백업 장치 구성을 변경하지 않아도 AWS S3 로 백업 가능
하드웨어 어플라이언스
• 스토리지 게이트 웨이 운영을 위해서는 온프레미스 서버에 Storage Gateway 애플리케이션을 설치해 야 함
• 온 프레미스에 서버등의 저장장치가 없거나 인프라가 부족한 작은 데이터 센터의 경우 Storage Gateway 소프트웨어가 미리 설치된 하드웨어 어플라이언스를 구매하여 운용가능
FSx for Windows File Server
윈도우 서버에 구축되는 파일 공유 서비스
SMB 프로토콜을 이용하기에 윈도우 , 리눅스 OS 에서 액세스 가능
Snow Family
데이터를 네트워크가 아닌 물리적인 장치에 저장하여 전송할 수 있는 디바이스 (오프라인 으로 전송)
인터넷 연결이 불안전한 경우
Snowcone -> Snowball -> SnowMobile 순으로 용량이 커짐
Data Sync
온 프레미스와 AWS 간 또는 AWS 스토리지 서비스간 데이터 전송 및 복제를 자동화 하는 서비스
NFS 서버 , SMB 파일 공유 , 자체 관리형 객체 스토리지를 제공한다.
AWS 서비스 내의 스토리지 내의 데이터 이동을 위해 사용
AWS Transfer Fmaily
SFTP, FTPS 및 FTP 프로토콜을 사용하여 AWS S3 및 EFS 와 파일 전송을 하려는 경우 사용
Amazon QuickSight : 데이터 분석 서비스
FSx, EFS, DynamoDb, EC2 EBS, RDS , Aurora 는 AWS Backup을 통해서 백업 일정 관리, 백업 모니터링, 에세스 정책을 설정할 수 있다.
AWS 에서 제공하는 데이터 분석 방식
Amazon Athena
표준 SQL을 사용해 S3 에 저장된 데이터를 분석할 수 있는 쿼리 서비스
csv, Json 이외에도 RDS, JDBC와 호환 가능한 RDMS에 대해 SQL 쿼리 가능
Amazon QuickSght 와 통합하여 쿼리 데이터를 시각 화 가능
Amazon Redshift
데이터웨어하우스 서비스
웨어하우스 분석을 통해서 데이터에서 귀중한 비즈니스 통찰력을 도찰하기 위함
Amazon OpenSearch Service
ElasticSerach에서 파생된 오픈 소스 분산 검색 및 분석 제품
Amazon Kinesis Data Firehose 및 Amazon CloudWatch Logs 와 같은 일부 소스는 OpenSearch Service 기본적으로 제공한다.
AWS QuickSight
클라우드 기반 시각화를 통한 데이터 분석을 제공하며 의사결정을 도와준다.
CSV 파일이나 AWS DB, 분석툴을 연결하여 사용가능하다.
AWS GLUE
데이터 분석을 위한 ETL 서비스이다.
다양한 소스에서 데이터 검색 및 추출하여 AWS 데이터 베이스 형식에 맞게 로드 가능
Amazon EMR(Elastic MapReduce)
클라우드 빅데이터 플랫폼
Hadoop 클러스터를 손쉽게 생성해주는 서비스이다.
AWS LAKE Formation
데이터 레이크는 조화되거나 반구조화된 데이터를 저장 및 처리하는 기능을 한다.
Kinesis
실시간 스트리밍 데이터를 손쉽게 수집, 분석 처리 하는 서비스
데이터가 수집된 후에야 처리를 시작할 수 있는 것이 아니라 데이터가 수신되는 대로 처리 및 분석 하며 데이터를 저장 할 수도 있다.
Kinesis Data Streams
데이터 스트림을 캡쳐, 처리, 저장하는 서비스 다른 AWS Resources(Cloud Watch, Aurora, AWS Lambda, Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose.. etc) 에 데이터를 보낼 수 있다.
Kinesis Data Firehose
스트리밍 ETL 솔루션으로 데이터를 데이터 스토와 분석 도구에 로드한다.
데이터를 변환하고 S3, Redshift, OpenSearch Service에 로드하여 실시간으로 분석 가능
Kinesis Data Analytics
SQL을 사용하여 실시간으로 스트리밍 데이터를 변환하고 분석한다.
Amazon MQ
ActiveMQ 및 RabbitMQ용 관리형 메시지 브로커 서비스를 제공한다. -> 메시지를 통한 비동기 신뢰성 통신 기능 제공한다.
기존에 위와 같은 앱을 사용하고 있다면 코드 변경없이 클라우드로 마이그레이션 기능 제공 한다
이번에는 이터 전송 방식과 마이그레이션, 데이터 분석 서비스에 대해서 알아보았고 다음에는 이벤트 아키텍쳐에서 주로 나오는 단어 설명 및 보안 및 자격증명시에 사용되는 서비스에 대해 알아보겠습니다. :)
