# bigdata

구글 빅쿼리 사용기
본 문서에서는 SQL 기본 문법만 가지고도 구글 빅쿼리, 데이터 스튜디오를 활용해 데이터 웨어하우스와 기본 쿼리를 알아봅니다. 구글 빅쿼리 화면 구성 알아보기쿼리 관련 여러가지 예제

빅데이터 #1 - MapReduce (2)
MapReduce 연습하기 전 포스팅에서 설명한 MapReduce의 과정을 spark, python, google Colab을 활용해 구현해보자. pyspark 설정 spark 사용을 위한 import 과정이다. 반복적으로 사용되는 과정으로 붙여넣어 실행시키면된다
빅데이터 #1 - MapReduce (1)
MapReduce 데이터를 맵핑하고 정렬, 그룹핑을 통해 그 수를 줄여나가는 기법 문서에 등장한 각 단어의 수를 세는 word counting 과정을 통해 map reduce를 이해해보자.

Couchbase 101
분산 Key-Value 데이터베이스, 카우치베이스에 알아보도록 합시다!Manufacturing은 소프트웨어 개발에 널리 사용되는 메타포입니다. 이 메타포에 한 가지 추론할 수 있는 것은 고도로 숙련된 엔지니어는 제품을 설계하고, 덜 숙련된 노동자는 설계된 제품을 조립합
빅데이터 Ch.1 데이터 정제
(1) 빅데이터 분석 시 정제를 통해 함수 사용의 Error나 결과치 왜곡을 방지한다. (2) pandas, matplotlib 라이브러리 패키지를 사용한다.
Hadoop 환경설정 및 설치 (2/2)
Hadoop 환경설정 및 설치 (2/2) 슬라이드44.PNG 슬라이드45.PNG 슬라이드46.PNG 슬라이드47.PNG ![슬라이드48.PNG](https://images.velog.io/post-images
Elasticsearch template 사용 방법
Elasticsearch 인덱스 생성시 mapping을 하게 되는데, 이때 template 을 이용하게 되면 굉장히 편리하게 mapping을 할 수 가 있다. 템플릿 생성하기 httpd-access-log 라는 이름의 템플릿을 생성한다. 이때 인덱스 이름이 httpd-access-* 의 패턴이라면, 해당 템플릿이 적용된다.