post-thumbnail

AWS 클라우드워치 로그데이터를 ElasticSearch에 스트리밍하기 -Streaming CloudWatch Logs data to Amazon ElasticSearch Service

References Streaming CloudWatch Logs data to Amazon Elasticsearch Service Real-time processing of log data with subscriptions 오늘은 CloudWatch를 통해 데이터를

2021년 8월 16일
·
0개의 댓글
post-thumbnail

About Apache Kafka - 카프카에 대하여[0]

몇개의 포스트가 될지는 모르지만 오늘도 [0]으로 시작하는 포스트. 오늘은 아파치 카프카에 대하여 다루겠습니다 :) References What is apache kafka Apache Kafka Kafka-Terminology 1. Achache Kafka란? 공

2021년 8월 13일
·
0개의 댓글

Airflow를 통한 스케쥴링과 태스크 자동화[0]

오늘은 태스크 스케쥴링과 자동화를 도와주는 툴 Airflow 에 대하여 다뤄보겠습니다. 현재 라이트한 프로젝트를 만들고 있어서 완성되는데로 이 포스트에 깃헙링크를 첨부할테니 참고 하시면 됩니당 :) 시리즈로 2개의 포스트를 작성할 예정인데, 이번 첫번재 포스트는 에어플

2021년 8월 11일
·
0개의 댓글
post-thumbnail

Column Oriented Database - 컬럼형 데이터베이스란?

관계형 데이터베이스(RDB) 는 일반적으로 트랜잭션 응용 프로그램의 경우 데이터 row를 저장하는 데 최적화되어 있지만 Column Oriented Database는 일반적으로 분석 응용 프로그램에서 데이터 Column의 빠른 검색에 최적화되어 있다. 데이터베이스 테이

2021년 8월 7일
·
0개의 댓글
post-thumbnail

Micro Service Architecture(MSA) - 마이크로 서비스 아키텍쳐 이해하기[0]

This post is translated content from this page. 오늘은 너무너무 중요한 마이크로 서비스에 대하여 정리해보는 컨텐츠입니다 :) 컨텐츠는 IBM 사이트에 올라온 내용을 해석 및 재구성하였습니다. 개발 전분야에 있어 매우 중요한 컨텐츠

2021년 8월 7일
·
1개의 댓글
post-thumbnail

Splunk vs. ELK Stack Log 분석툴의 최강자는 누구일까?

Reference: This post is translated content from this page.Techopedia.com은 시스템 로그 파일을 "다양한 통신 소프트웨어 응용 프로그램과 운영 체제 간의 이벤트, 프로세스, 메시지 및 통신 레지스트리를 유지하는"

2021년 8월 6일
·
0개의 댓글
post-thumbnail

Amazon Redshift 와 MPP(Massively Parallel Processing) 에 대하여

Amazon Redshift delivers up to 3x better price-performance than other cloud data warehouses. Amazon Redshift takes advantage of AWS designed-hardware

2021년 8월 4일
·
0개의 댓글
post-thumbnail

CQL Cassandra 언어와 특징 정리 with RDBMS [0]

오늘의 컨텐츠는 NoSQL DB 중, Cassandra 입니다. 필수/기본적인 카산드라 언어 체계와 특징을 알아보자.우선 카산드라는 NoSQL DB의 한 종류이며, 테이블 형성 및 쿼리 처리 언어는 대부분 SQL 과 비슷하다.밑의 테이블은 mongoDB, RDBMS,

2021년 7월 29일
·
0개의 댓글

NoSQL 과 CAP 이론 - NoSQL and CAP Theorem

Image credit: Cloudacademy.comContents ReferenceCAP 이론은 네트워크 공유 데이터 시스템을 설계할 때에, 시스템 설계자가 절충점을 인식하도록 하는 데 사용된다. CAP 이론은 개발 요구 사항에 따라 NoSQL Database를 선

2021년 7월 24일
·
0개의 댓글
post-thumbnail

캐싱은 왜 해야할까? - 클라우드 환경 데이터베이스 캐시 Database Cache

This post is referenced by the link 캐싱에 대해 이해하기 위해서는 In-Memory Computing 에 대하여 이해 해야 한다.인메모리 컴퓨팅은 애플리케이션 운영을 위한 데이터를 하드웨어(SSD)가 아닌 메모리(RAM)에서 수행하는 것을

2021년 7월 16일
·
0개의 댓글
post-thumbnail

Data Engineering - OLAP vs. OLTP

Application: Operational->ERP, CRM, legacy apps, etc.Typical users: Staff/CustomersHorizon: Weeks, MonthsRefresh: ImmediateData model: Entity-relation

2021년 7월 6일
·
1개의 댓글
post-thumbnail

Data Warehouse Design (데이터 웨어하우스 디자인) - Kimball vs. Inmon Model

비지니스 개발에 있어 데이터 웨어하우스 설계는 필수적이다. 데이터 웨어하우스 설계 방식에는 크게 두가지 기법이 있는데, Kimball method 와 Inmon method 가 있다. 디자인의 이름은 디자인 설계자의 이름을 따서 만들어졌다. 오늘은 두 가지를 비교해

2021년 7월 5일
·
0개의 댓글
post-thumbnail

Star Schema & SnowFlake Schema- Fact, Dimensional table 핵심 정리

이 포스트는 Microsoft Power BI 데이터베이스 지침을 참고하여 작성되었습니다.Reference:https://docs.microsoft.com/ko-kr/power-bi/guidance/star-schema(Microsoft Power BI)Sta

2021년 6월 30일
·
0개의 댓글

SparkSontext vs. SparkSession 차이점, 언제 무엇을 써야할까?

Spark의 예전 version 으로는 RDD를 생성 할 때에 SparkContext가 Spark 클러스터에 연결하는 entry point 이었기 때문에 주로 SparkContext를 사용했다. 하지만 Spark 2.0 version 업데이트 이후로 DataFrame

2021년 6월 21일
·
0개의 댓글

JSON 포맷의 User Log 를 Spark Dataframe & Spark SQL 으로 읽기

필요한 라이브러리 Import 와 Spark 세션 연결read.json() 기능을 이용해 JSON format 으로 저장된 user log 파일이 저장된 경로를 읽어준다.printSchema() 기능을 이용해 정리된 Database shema 를 확인 해 볼 수 있다.

2021년 6월 18일
·
1개의 댓글
post-thumbnail

Apache Spark Core와 distributed file 작성

Spark 는 다중 컴퓨터에 분산 처리하는 빅데이터를 위하여 만들어진 프레임워크로 Scala language base 이며, functional programming 의 형태로 작성된다.Spark 를 작성하는 간단한 예제를 해보자.SparkContex는 input da

2021년 6월 18일
·
0개의 댓글

Data engineering concepts 공부 링크

Data engineering 에 사용되는 라이브러리나 툴, 또는 데이터베이스 사용 코드를 최대한 심플하게 정리하여 깃헙에 계속 업로드 할 것이다. 리파지토리 링크는 여기에.초반부는 데이터베이스 조작부분이다. PosgreSQL(for SQl)과 Apache cassan

2021년 6월 16일
·
0개의 댓글

Database 입문자를 위한 간단한 PostgreSQL 설치와 연결 (For macOS)

Database 공부를 시작 할 때, 대부분 쿼리 조작법에 대해서 집중적으로 공부를 할 것이다. 하지만 아무리 쿼리 조작법을 잘 알고 있다 하더라도, 데이터베이스의 형성과, 연결에 대한 부분을 잘 모를경우, 쿼리 조작을 시작도 할 수 없을 것이다. 그래서 쿼리 조작법보

2021년 6월 15일
·
0개의 댓글

React + Django Full Stack Web Development (0)

음...이번 시리즈는.. 그냥... 그동안 클라우드니, ML 이니 하고싶은 공부만 하다보니... 갈대같은 나는 다시 Web이 그리워? 지고있다. 그래서 장고와 리액트 사용한 아주아주 간단한거 하나 만들어 보려고 시리즈를 열긴 열었는데.. 사실 제목만 거창하게 풀스택이라

2021년 5월 28일
·
0개의 댓글
post-thumbnail

Deep Learning from Scratch 밑바닥부터 시작하는 딥러닝(2)

이 포스트의 내용과 코드 예제는 <Deep Learning from Scratch 밑바닥부터 시작하는 딥러닝> 을 참고하였습니다.Chapter.3 에서는 본격적으로 Neural Network 에 대하여 시작한다. 퍼셉트론의 개념을 확실히 잡았다면, 그리고 행렬에

2021년 5월 28일
·
0개의 댓글