# bigdata

ljsk99499

1)수많은 데이터 소스가 작은 크기(kb)의 데이터를 끊임없이 생산하며, 동시에 전달하는 동작(e.g)2)지속적으로 업데이트가 되는 주가 정보3)지속적으로 업데이트되는 게임 플레이어 데이터4)지속적으로 업데이트되는 소셜 네트워크 데이터5)우버,그랩과 같은 지역 정보를

ljsk99499

Templete을 제공, 그 위에 코딩과 소스 작업S3 → Bucket 생성 (블락 차단 해제) → bucket에 업로드

intlude9903

정말 다양한 방법이 있었다. 심지어 set_index, reset_index를 안쓰고 index_col=0 같은 허무하게 해결되는 케이스도 있음나중에 알고보니 금방 풀리는 건데 문제를 너무 어렵게 생각하면 시간, 에너지 낭비... 특히 데이터프레임...편미분, 선대수

nahye0910

The merit of an action lies in finishing it to the end

lzhxxn

🔎 직접 찾아보고 하나하나 이해하면서 정리해봤다. 신입 교육 빅데이터 lucene정보검색 라이브러리이다. 사용자는 루씬 라이브러리를 사용해서 검색서비스, 어플리케이션을 구현해야하는 것이다. 색인과 검색기능을 간단히 추가할 수 있다.개발 hash데이터의 무결성을 검증

lzhxxn

🔎 직접 찾아보고 하나하나 이해하면서 정리해봤다. 신입 교육 [보안] SIEM 연동된 시스템과 다양한 장비의 모든 데이터를 수집하고 실시간 연관분석을 수행한다. 분산처리 기법으로 데이터의 양에 한계 없이 수집하고 저장하고 분석 할 수 있다. 빠른 검색속도는 결과를

poison_j

사용자 커맨드 사용자 커맨드는 hdfs, hadoop 쉘을 이용할 수 있습니다. 일부 커맨드는 hdfs 쉘을 이용해야 합니다. 둘 다 이용할 수 있는 경우 각 쉘의 결과는 동일하며, 사용법은 다음과 같습니다. 사용자 커맨드 목록 이 명령어 중에서 필수적인 dfs

dongmen5149

AI, 빅데이터 활용

hersheythings

본 문서에서는 SQL 기본 문법만 가지고도 구글 빅쿼리, 데이터 스튜디오를 활용해 데이터 웨어하우스와 기본 쿼리를 알아봅니다. 구글 빅쿼리 화면 구성 알아보기쿼리 관련 여러가지 예제

haje

분산 Key-Value 데이터베이스, 카우치베이스에 알아보도록 합시다!Manufacturing은 소프트웨어 개발에 널리 사용되는 메타포입니다. 이 메타포에 한 가지 추론할 수 있는 것은 고도로 숙련된 엔지니어는 제품을 설계하고, 덜 숙련된 노동자는 설계된 제품을 조립합

ha_zzi

비즈니스 + 공학, 어느 정도 지식이 있다면 추천! 아니면 조금 더 쉬운 책을 접하고 읽기!

oogiayo

(1) 빅데이터 분석 시 정제를 통해 함수 사용의 Error나 결과치 왜곡을 방지한다. (2) pandas, matplotlib 라이브러리 패키지를 사용한다.

kyjun

Hadoop 환경설정 및 설치 (2/2) 슬라이드44.PNG 슬라이드45.PNG 슬라이드46.PNG 슬라이드47.PNG ![슬라이드48.PNG](https://images.velog.io/post-images

trycatch

Elasticsearch 인덱스 생성시 mapping을 하게 되는데, 이때 template 을 이용하게 되면 굉장히 편리하게 mapping을 할 수 가 있다. 템플릿 생성하기 httpd-access-log 라는 이름의 템플릿을 생성한다. 이때 인덱스 이름이 httpd-access-* 의 패턴이라면, 해당 템플릿이 적용된다.