[1]Install Spark

YDH·2020년 2월 19일
0

Overview

  • 아직은 미숙하게 배워가는 중임에.. 호기심에 실시한 것.
  • 사실 윈도우에서 설치하는게 조금 별로인 부분일 수도 있겠다. 하지만 현재의 목표는 테스팅 성공을 통한 실질적으로 동작시켜보는게 주 이므로. window 10 환경에서 실시한다.
  • 현재 이전에 사용했던 개발환경 중 문제가 있었다.
    - Hadoop을 이미 먼저 깔아버린점.
    - hadoop 3.1.2
    • scala도 버젼이 있었다.
      • sacla = 2.11.12
    • 이에 대해서 document를 들여다 볼수 밖에 없었지만.. 내가 써먹을 수 있을것 같은것은 환경에 대한 정보 뿐이었다. 그 정보를 바탕으로 2.4.0 spark버젼을 사용해보기로 결정했다.
  • 참조한 사항.
  • 해당은 버젼을 받을수 있는 곳으로
    - 내가 받은 버젼으로는 2.4.0-bin-hadoop2.7.tgz

1. Install

  • 거창하게 설치! 라고 제목을 붙였으나. 실질적으로 설치하는것은 아니기때문에
  • 이른바 압축풀고 환경변수 잡는것.
    - 하둡 설정까지는 이미 마친 상태이므로.. 생략한다.

2. 환경변수 설정.

  • 변수들을 설정하고, path에 경로까지 설정은 꼭 필수인 일인것.

3. Hadoop 남은 잔재를 이용하여

4. Hadoop_Spark Test

  • 먼저 명령문들을 줄줄이 실행해야한다.
    - 물론 node format을 안했다면
    - hdfs namenode -format가 필요하곘지만...
    • 그리하여 hdfs로도 head로 살짝 정보를 보고
      • hdfs dfs -head /2000.csv
    • spark에서도 간단하게 실행시켜서 확인해본것,.
      • val textFile = sc.textFile("hdfs://localhost:9000/2000.csv")
      • textFile.first()
    • 나타내는 2개의 정보에서 일치하는 부분이 보인다. 물론 현재 인코딩 문제가 있지만..

배운 곳 : https://dev.to/awwsmm/installing-and-running-hadoop-and-spark-on-windows-33kc

쩌리 같은 사항

  • 여기서는 뭔가 원하는 하둡버젼으로 할수 있다 어쩌고 이야기하는거 같긴한데..
  • 아무래도 설치사항일까...
profile
Record My daily life. Then, feedback yourself.

0개의 댓글