# bigdata

14개의 포스트
post-thumbnail

SW과정 AWS Kinesis Architecture - 0722

1)수많은 데이터 소스가 작은 크기(kb)의 데이터를 끊임없이 생산하며, 동시에 전달하는 동작(e.g)2)지속적으로 업데이트가 되는 주가 정보3)지속적으로 업데이트되는 게임 플레이어 데이터4)지속적으로 업데이트되는 소셜 네트워크 데이터5)우버,그랩과 같은 지역 정보를

2021년 7월 22일
·
0개의 댓글
post-thumbnail

SW과정 AWS Lambda → DynamoDB - 0721💾

Templete을 제공, 그 위에 코딩과 소스 작업S3 → Bucket 생성 (블락 차단 해제) → bucket에 업로드

2021년 7월 21일
·
0개의 댓글

개발스터디 1주차

정말 다양한 방법이 있었다. 심지어 set_index, reset_index를 안쓰고 index_col=0 같은 허무하게 해결되는 케이스도 있음나중에 알고보니 금방 풀리는 건데 문제를 너무 어렵게 생각하면 시간, 에너지 낭비... 특히 데이터프레임...편미분, 선대수

2021년 5월 12일
·
0개의 댓글
post-thumbnail

📒 IT 용어 정리 PART 2

🔎 직접 찾아보고 하나하나 이해하면서 정리해봤다. 신입 교육 빅데이터 lucene정보검색 라이브러리이다. 사용자는 루씬 라이브러리를 사용해서 검색서비스, 어플리케이션을 구현해야하는 것이다. 색인과 검색기능을 간단히 추가할 수 있다.개발 hash데이터의 무결성을 검증

2021년 4월 23일
·
0개의 댓글
post-thumbnail

📒 IT 용어 정리 PART 1

🔎 직접 찾아보고 하나하나 이해하면서 정리해봤다. 신입 교육 [보안] SIEM 연동된 시스템과 다양한 장비의 모든 데이터를 수집하고 실시간 연관분석을 수행한다. 분산처리 기법으로 데이터의 양에 한계 없이 수집하고 저장하고 분석 할 수 있다. 빠른 검색속도는 결과를

2021년 4월 22일
·
2개의 댓글
post-thumbnail

Hadoop 기본 명령어

사용자 커맨드 사용자 커맨드는 hdfs, hadoop 쉘을 이용할 수 있습니다. 일부 커맨드는 hdfs 쉘을 이용해야 합니다. 둘 다 이용할 수 있는 경우 각 쉘의 결과는 동일하며, 사용법은 다음과 같습니다. 사용자 커맨드 목록 이 명령어 중에서 필수적인 dfs

2021년 3월 7일
·
0개의 댓글
post-thumbnail

AI, 빅데이터 활용

AI, 빅데이터 활용

2021년 2월 23일
·
0개의 댓글
post-thumbnail

구글 빅쿼리 사용기

본 문서에서는 SQL 기본 문법만 가지고도 구글 빅쿼리, 데이터 스튜디오를 활용해 데이터 웨어하우스와 기본 쿼리를 알아봅니다. 구글 빅쿼리 화면 구성 알아보기쿼리 관련 여러가지 예제

2021년 1월 19일
·
0개의 댓글
post-thumbnail

Couchbase 101

분산 Key-Value 데이터베이스, 카우치베이스에 알아보도록 합시다!Manufacturing은 소프트웨어 개발에 널리 사용되는 메타포입니다. 이 메타포에 한 가지 추론할 수 있는 것은 고도로 숙련된 엔지니어는 제품을 설계하고, 덜 숙련된 노동자는 설계된 제품을 조립합

2020년 11월 8일
·
0개의 댓글
post-thumbnail

[빅데이터 기초 개념, 동인, 기법(시그마프레스)]

비즈니스 + 공학, 어느 정도 지식이 있다면 추천! 아니면 조금 더 쉬운 책을 접하고 읽기!

2020년 10월 4일
·
0개의 댓글

빅데이터 Ch.1 데이터 정제

(1) 빅데이터 분석 시 정제를 통해 함수 사용의 Error나 결과치 왜곡을 방지한다. (2) pandas, matplotlib 라이브러리 패키지를 사용한다.

2020년 8월 10일
·
0개의 댓글
post-thumbnail

Hadoop 환경설정 및 설치 (2/2)

Hadoop 환경설정 및 설치 (2/2) 슬라이드44.PNG 슬라이드45.PNG 슬라이드46.PNG 슬라이드47.PNG ![슬라이드48.PNG](https://images.velog.io/post-images

2020년 2월 9일
·
0개의 댓글

Elasticsearch template 사용 방법

Elasticsearch 인덱스 생성시 mapping을 하게 되는데, 이때 template 을 이용하게 되면 굉장히 편리하게 mapping을 할 수 가 있다. 템플릿 생성하기 httpd-access-log 라는 이름의 템플릿을 생성한다. 이때 인덱스 이름이 httpd-access-* 의 패턴이라면, 해당 템플릿이 적용된다.

2019년 12월 19일
·
2개의 댓글