# hadoop

10개의 포스트
post-thumbnail

Data Preparation의 변화

Data engineer나 Data Analyst가 수행하는 Data-Prep의 수행 절차가 최근 몇년 사이에 크게 변화고 있는 듯 합니다. 기존에는 Data Engineer가 Programming 언어을 활용해 빅데이터 같으면 Hadoop 기반에서 Hive, Spar

2020년 4월 8일
·
0개의 댓글
post-thumbnail

[0324 +3] What is Hadoop?

세 번째 글 - What is Hadoop? : Introduction to Big Data & Hadoop

2020년 3월 24일
·
0개의 댓글
post-thumbnail

[0323 +2] Hadoop Ecosystem

Hadoop Ecosystem: Hadoop Tools for Crunching Big Data

2020년 3월 23일
·
0개의 댓글
post-thumbnail

Hadoop 설치 및 movielens data를 이용한 hive 예제

1-1 Cloudera 홈페이지 접속(https://www.cloudera.com/downloads/hortonworks-sandbox.html)\> Download Now 클릭 cf) 2019년에 Hortonworks가 Cloudera와 합병됨1-2 Choo

2020년 3월 20일
·
0개의 댓글
post-thumbnail

Hadoop 환경설정 및 설치 (2/2)

Hadoop 환경설정 및 설치 (2/2) 슬라이드44.PNG 슬라이드45.PNG 슬라이드46.PNG 슬라이드47.PNG ![슬라이드48.PNG](https://images.velog.io/post-images

2020년 2월 9일
·
0개의 댓글
post-thumbnail

Hadoop 환경설정 및 설치 (1/2)

Hadoop 환결설정 및 설치 슬라이드1.PNG 슬라이드2.PNG 슬라이드3.PNG 슬라이드4.PNG ![슬라이드5.PNG](https://images.velog.io/post-images/kyjun/df589ed

2020년 2월 9일
·
0개의 댓글

Hadoop Execution

Hadoop 실행 hadoop namenode -format namenode를 초기화 시켜준다(주의 할것!) 클러스터 데몬 실행 start-all.cmd : 모든 데몬 실행(Window이기때문에 .cmd) stop-all.cmd : 모든 데몬 중지 start-dfs.cmd : 파일시스템 실행 stop-dfs.cmd : 파일시스템 중지 start-yarn....

2020년 1월 7일
·
0개의 댓글

Hadoop Basic and Preferences

**2020.01.06 Hadoop Class Hadoop 분산파일시스템(HDFS) : 마스터 노드(name node)가 있으며, 그 아래로 슬레이브 노드(data node)를 두어서 저장을 하게된다. 마스터 노드에는 각각의 슬레이브 노드에 대한 정보를 가지고있으며, 새로운 데이터가 저장될경우 각각의 슬레이브 노드에 나누어서 데이터를 저장시키게된다. 리눅...

2020년 1월 6일
·
0개의 댓글
post-thumbnail

hive partition 정리하기

hive partition 정리하기 hive table에 매일매일 데이터를 쌓으며 방치하다보면, 데이터가 눈 깜짝할 새에 늘어나버린다. 필요한 이상으로. 주기적으로 파티션의 데이터를 지워줘야 하는데 기본적인 방법들을 몇가지 나열해본다. 1. 기본적인 하나의 파티션 지우기 조건 결과 * science라는 partition 내의 da...

2019년 12월 11일
·
0개의 댓글
post-thumbnail

Hive Sort by, Distribute by, Cluster by 활용도

Hive에서 제공하는 기능중에서 일반 SQL 에서는 볼 수 없는 기능들 중, 리듀서에 보내는 데이터를, 분류할 수 있는 아래 3가지에 대해 알아보도록 하자. - Sort by - Distribute by - Cluster by 실험데이터 game_accoun

2019년 5월 24일
·
0개의 댓글