References Streaming CloudWatch Logs data to Amazon Elasticsearch Service Real-time processing of log data with subscriptions 오늘은 CloudWatch를 통해 데이터를

몇개의 포스트가 될지는 모르지만 오늘도 [0]으로 시작하는 포스트. 오늘은 아파치 카프카에 대하여 다루겠습니다 :) References What is apache kafka Apache Kafka Kafka-Terminology 1. Achache Kafka란? 공

오늘은 태스크 스케쥴링과 자동화를 도와주는 툴 Airflow 에 대하여 다뤄보겠습니다. 현재 라이트한 프로젝트를 만들고 있어서 완성되는데로 이 포스트에 깃헙링크를 첨부할테니 참고 하시면 됩니당 :) 시리즈로 2개의 포스트를 작성할 예정인데, 이번 첫번재 포스트는 에어플

관계형 데이터베이스(RDB) 는 일반적으로 트랜잭션 응용 프로그램의 경우 데이터 row를 저장하는 데 최적화되어 있지만 Column Oriented Database는 일반적으로 분석 응용 프로그램에서 데이터 Column의 빠른 검색에 최적화되어 있다. 데이터베이스 테이

This post is translated content from this page. 오늘은 너무너무 중요한 마이크로 서비스에 대하여 정리해보는 컨텐츠입니다 :) 컨텐츠는 IBM 사이트에 올라온 내용을 해석 및 재구성하였습니다. 개발 전분야에 있어 매우 중요한 컨텐츠

Reference: This post is translated content from this page.Techopedia.com은 시스템 로그 파일을 "다양한 통신 소프트웨어 응용 프로그램과 운영 체제 간의 이벤트, 프로세스, 메시지 및 통신 레지스트리를 유지하는"

Amazon Redshift delivers up to 3x better price-performance than other cloud data warehouses. Amazon Redshift takes advantage of AWS designed-hardware

오늘의 컨텐츠는 NoSQL DB 중, Cassandra 입니다. 필수/기본적인 카산드라 언어 체계와 특징을 알아보자.우선 카산드라는 NoSQL DB의 한 종류이며, 테이블 형성 및 쿼리 처리 언어는 대부분 SQL 과 비슷하다.밑의 테이블은 mongoDB, RDBMS,

Image credit: Cloudacademy.comContents ReferenceCAP 이론은 네트워크 공유 데이터 시스템을 설계할 때에, 시스템 설계자가 절충점을 인식하도록 하는 데 사용된다. CAP 이론은 개발 요구 사항에 따라 NoSQL Database를 선

This post is referenced by the link 캐싱에 대해 이해하기 위해서는 In-Memory Computing 에 대하여 이해 해야 한다.인메모리 컴퓨팅은 애플리케이션 운영을 위한 데이터를 하드웨어(SSD)가 아닌 메모리(RAM)에서 수행하는 것을

Application: Operational->ERP, CRM, legacy apps, etc.Typical users: Staff/CustomersHorizon: Weeks, MonthsRefresh: ImmediateData model: Entity-relation

비지니스 개발에 있어 데이터 웨어하우스 설계는 필수적이다. 데이터 웨어하우스 설계 방식에는 크게 두가지 기법이 있는데, Kimball method 와 Inmon method 가 있다. 디자인의 이름은 디자인 설계자의 이름을 따서 만들어졌다. 오늘은 두 가지를 비교해

이 포스트는 Microsoft Power BI 데이터베이스 지침을 참고하여 작성되었습니다.Reference:https://docs.microsoft.com/ko-kr/power-bi/guidance/star-schema(Microsoft Power BI)Sta

Spark의 예전 version 으로는 RDD를 생성 할 때에 SparkContext가 Spark 클러스터에 연결하는 entry point 이었기 때문에 주로 SparkContext를 사용했다. 하지만 Spark 2.0 version 업데이트 이후로 DataFrame

필요한 라이브러리 Import 와 Spark 세션 연결read.json() 기능을 이용해 JSON format 으로 저장된 user log 파일이 저장된 경로를 읽어준다.printSchema() 기능을 이용해 정리된 Database shema 를 확인 해 볼 수 있다.

Spark 는 다중 컴퓨터에 분산 처리하는 빅데이터를 위하여 만들어진 프레임워크로 Scala language base 이며, functional programming 의 형태로 작성된다.Spark 를 작성하는 간단한 예제를 해보자.SparkContex는 input da

Data engineering 에 사용되는 라이브러리나 툴, 또는 데이터베이스 사용 코드를 최대한 심플하게 정리하여 깃헙에 계속 업로드 할 것이다. 리파지토리 링크는 여기에.초반부는 데이터베이스 조작부분이다. PosgreSQL(for SQl)과 Apache cassan

Database 공부를 시작 할 때, 대부분 쿼리 조작법에 대해서 집중적으로 공부를 할 것이다. 하지만 아무리 쿼리 조작법을 잘 알고 있다 하더라도, 데이터베이스의 형성과, 연결에 대한 부분을 잘 모를경우, 쿼리 조작을 시작도 할 수 없을 것이다. 그래서 쿼리 조작법보

음...이번 시리즈는.. 그냥... 그동안 클라우드니, ML 이니 하고싶은 공부만 하다보니... 갈대같은 나는 다시 Web이 그리워? 지고있다. 그래서 장고와 리액트 사용한 아주아주 간단한거 하나 만들어 보려고 시리즈를 열긴 열었는데.. 사실 제목만 거창하게 풀스택이라

이 포스트의 내용과 코드 예제는 <Deep Learning from Scratch 밑바닥부터 시작하는 딥러닝> 을 참고하였습니다.Chapter.3 에서는 본격적으로 Neural Network 에 대하여 시작한다. 퍼셉트론의 개념을 확실히 잡았다면, 그리고 행렬에