[hadoop][python] hadoop-streaming wordcount 예제

python으로 wordcount mapper, reducer 구현

2021년 4월 26일
·
0개의 댓글

[linux] code-server 설치

원격 서버에 code-server를 설치하여 vscode를 웹 상으로 접속하기

2021년 3월 27일
·
0개의 댓글

[linux] cuda, driver, tensorflow, pytorch 버전 호환 정리

CUDA 버전 호환TensorFlow 버전 호환(https://www.tensorflow.org/install/source\* Pytorch 버전 호환

2021년 3월 20일
·
0개의 댓글

[linux] screen 사용법

OS : CentOS 7.6

2021년 3월 12일
·
0개의 댓글

브라우저 쿠키 확인하기

velog의 비공개 글을 백업하기 위해서 access_token을 확인해야 했는데, access_token을 어떻게 확인해야 하는지 몰라서 헤맸다...나는 Google 계정을 통해서 로그인을 하고 있고, 브라우저 쿠키를 통해서 Google에서 velog로 access_

2021년 2월 10일
·
0개의 댓글

[spark] Spark 3 클러스터 설치

두 개의 컴퓨터를 사용하여 hadoop 클러스터 위에서 돌아가는 spark 클러스터를 설치한다.각각 master, worker1라고 한다.이미 hadoop cluster가 구축되어있다는 가정 하에 진행한다.\[hadoop] Cluster 설치 참고Spark Master

2021년 2월 10일
·
0개의 댓글

[hadoop] Hadoop 3 클러스터 설치

Namenode랑 Datanode 디렉터리를 삭제한 후 실행하자.NameNode (http://localhost:9870)ResourceManager (http://localhost:8088)MapReduce JobHistory Server (http

2021년 2월 9일
·
0개의 댓글

[windows] windows terminal에 anaconda prompt 추가하기

Windows Terminal $\\rightarrow$ 설정 (settings.json)profiles $\\rightarrow$ list에 아래를 추가guid : Windows Terminal에서 \[guid]::NewGuid() 명령어를 통해 생성한다.comman

2021년 2월 7일
·
0개의 댓글

[linux] 명령어 정리

ifconfig 명령어가 없을 수도 있다.이 때는 hostname 명령어를 통해 ip 주소를 확인 할 수 있다.아래는 용량이 큰 순서로 10개를 보여준다.

2021년 2월 6일
·
0개의 댓글

[bash] oh-my-bash 설정

여기서는 oh-my-zsh를 설정하는 방법에 대해서 다룬다.https://packages.msys2.org/package/zsh?repo=msys&variant=x86_64에서 zsh-5.8-5-x86_64.pkg.tar.zst 파일을 다운로드하고 압축을 해제

2021년 2월 5일
·
0개의 댓글

[windows] wsl 꾸미기

WSL을 시작하면 default directory가 /mnt/c/Users/somnode로 시작된다.이것을 /home/somnode로 변경하려고 한다.WSL 창에서 ctrl+,를 누르면 settings.json 파일이 열린다.아래와 같이 staringDirectory를

2021년 2월 4일
·
0개의 댓글

[jupyter] jupyter notebook 사용하기

아래 명령어를 실행하면 http://0.0.0.0:8888/tree에 jupyter notebook에 접속할 수 있다.New -> Python 3를 클릭하여 jupyter notebook을 생성한다.

2021년 1월 18일
·
0개의 댓글

[linux] tensorflow-gpu 사용하기

OS : ubuntu 20.04 LTSCUDA 버전 : 11Python 버전 : 3.6GCC/G++ 버전 : 8https://www.nvidia.co.kr/Download/index.aspx?lang=kr에서 장착된 GPU 모델 (GeForce GTX 1060

2021년 1월 9일
·
1개의 댓글

[windows] WSL2 사용하기

Windows 10에서 wsl version 2를 설치하는 방법입니다.Windows PowerShell에서 아래 명령을 수행하여 wsl 설치wsl 설치가 끝나면 아래와 같이 wsl 명령어를 입력하면 wsl용 배포판을 설치할 수 있도록 Microsoft Store로 이동

2020년 12월 2일
·
0개의 댓글

[vscode] remote docker container 접속

이 글은 Windows에서 Linux에서 수행 중인 docker container에 vscode를 사용하여 접속하는 방법입니다.Downloads에서 Windows 버전 Docker Desktop을 설치한다.Remote - Containers 패키지를 설치한다.setti

2020년 11월 6일
·
0개의 댓글

[algorithm] Bellman-Ford

벨만-포드 알고리즘은 음의 가중치가 있는 그래프에서 모든 노드에서 모든 노드까지의 최단 경로를 찾는 알고리즘이다.시간복잡도 : $O(VE)$V : 정점의 개수E : 간선의 개수다익스트라 알고리즘은 이후에 방문할 음의 가중치 간선을 고려하지 않고 현재 노드에서 가장 최선

2020년 10월 4일
·
0개의 댓글

[algorithm] Floyd-Warshall

플로이드-워셜 알고리즘은 음의 가중치가 있고, 사이클이 있는 그래프에서 모든 노드에서 모든 노드까지의 최단 경로를 찾는 알고리즘이다.시간복잡도 : $O(n^3)$graph TD A --> B B --> C

2020년 10월 3일
·
0개의 댓글

[algorithm] Dijkstra

Dijkstra 알고리즘은 음의 가중치가 없는 그래프에서 노드 사이의 최단 경로를 찾는 알고리즘이다.우선순위 큐를 이용하여 구현할 경우 시간복잡도가 $O((V+E)logV)$가 된다.V : 정점의 개수E : 간선의 개수

2020년 10월 3일
·
0개의 댓글

[algorithm] 정렬

선택 정렬은 가장 작은 값을 찾아서 앞쪽의 값과 변경하면서 정렬하는 알고리즘이다.시간복잡도 : $O({n}^2)$삽입 정렬은 두번째 값부터 순회하면서 적절한 위치(이전 값보다 작아지는 곳)에 삽입하는 알고리즘이다.시간복잡도 : $O({n}^2)$버블 정렬은 인접한 값끼

2020년 10월 2일
·
0개의 댓글

[docker] 설치 및 사용법

Ubuntu 기준컨테이너를 생성하려면 반드시 docker pull로 이미지를 다운로드하거나 docker build를 통해 생성한 이미지가 존재해야 한다.\--rm: 컨테이너 종료 시 컨테이너 삭제\-it: 컨테이너 내부에서 키보드 입력이 가능하도록 함 예를 들어 do

2020년 9월 27일
·
0개의 댓글