profile
사진은 남아 추억이 메모는 남아 스펙이 된다
post-thumbnail

[IT 용어] ODS

Operation Data Store : 운영 데이터 저장하는 곳DW에 들어가기 전에 운영 데이터를 시계열 데이터 등으로 가공 변환하여 추출 & 적재해 놓은 별도로 저장하는 공간의사 결정 지원 측면에서 EDW를 보완하는 요소로 사용되는데, 주로 운영보고(Report),

약 9시간 전
·
0개의 댓글
post-thumbnail

PuTTy 설치 및 사용법

본 내용은 22.07.06일 기준입니다.Window기준으로 되어있으면 Mac도 비슷하지만 다른 블로그 or 사이트를 권장드립니다.PuTTy는 되도록 최신버전을 사용하는 것을 권장드립니다.암호화 기능을 비롯 수 많은 기능을 포함하고 있어 윈도우에서 리눅스 환경으로 접속하

어제
·
0개의 댓글
post-thumbnail

[자료구조] List

List Python에서 가장 많이 사용되는 자료구조 중 하나 가장 많이 사용되는 자료구조 : List, Tuple, Dictionary, Set 리스트(List) 배열처럼 취급하며(순서를 가짐), 리스트내 항목 검색 시 걸리느느 시간은 선형적으로 증가하므로

어제
·
0개의 댓글
post-thumbnail

[ELK Stack] Kibana 시각화

개요 Elasticsearch -> Kibana Kibana에서 데이터 확인 및 데이터 시각화 Set Up Kibana 브라우저 접속 Index Management 확인 Index Pattern 사용할 index pattern 선택 > coffee

3일 전
·
0개의 댓글
post-thumbnail

[ELK Stack] ELK Stack 설치 및 연동

Data -> Logstash -> ElasticsearchELK Stack 개발자원ElasticSearch 설치ES 포트번호 : 9200JDK 설치ES 설치확인Kibana 설치Kibana 포트번호 : 5601JDK 설치Kibana 설치설정확인LogstashJDK 설치

3일 전
·
0개의 댓글
post-thumbnail

[Pandas] 공공데이터 csv 파일 데이터 정제하기 (Feat. Jupyter)

개요 Data -> Logstash -> Elasticsearch 공공 데이터 다운로드 및 정제 개발 Set Up 공공데이터 포털에서 '소상공인시장진흥공단_상권' 입력 [URL](https://www.data.go.kr/tcs/dss/selectDataSetLis

3일 전
·
0개의 댓글
post-thumbnail

[Hadoop] Hdfs API를 사용하여 데이터 Upload & Download

Client -> Django -> S3, Spark -> S3유저가 업로드한 비디오 파일 & Spark에서 이미지 압축 파일를 S3로 전달 > Hdfs로 전달수정 이유S3 비용프레임마다 자른 img 압축 파일과 비디오 파일은 사용 빈도가 적음비디오 파일 및 img 압

6일 전
·
0개의 댓글
post-thumbnail

[자료구조] Queue

Stack 가장 최근에 넣은 데이터를 가장 먼저 빼내는 데이터 구조 후입 선출(Last In First Out—LIFO) 코드 push(val) : val를 가장 위의 리스트에 추가 pop() : 가장 위의 리스트를 제거 peek() : 리스트의 가장 위에 있는

6일 전
·
0개의 댓글
post-thumbnail

Starbucks_Ediya 매장간 거리 관계 분석

출처 : http://www.iconsumer.or.kr/news/articleView.html?idxno=10133'스타벅스 옆에는 이디야가 있다.', '파리바게뜨는 대부분 매장이 아파트 단지 입구나 횡단보도 앞에 있고, 그 주위에는 분식 프랜차이즈 '아딸'

6일 전
·
0개의 댓글
post-thumbnail

[자료구조] Stack

가장 최근에 넣은 데이터를 가장 먼저 빼내는 데이터 구조후입 선출(Last In First Out—LIFO)push(val) : val를 가장 위의 리스트에 추가pop() : 가장 위의 리스트를 제거peek() : 리스트의 가장 위에 있는 value 출력isEmpty(

6일 전
·
0개의 댓글

[.Net] .Net 무시 파일 설정(.gitignore)

Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함팀 탐색기 열기리포지토리 설정파일 무시 추가 및 편집무시해야할 파일 적혀 있는 곳 : URL파일 및 디렉토리

6일 전
·
0개의 댓글

[S3] .Net으로 Upload & Download 개발

Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함패키지 관리자 콘솔 열기AWS S3 Dotnet API 설치Install-Package AWSSDK.s3.Ne

6일 전
·
0개의 댓글
post-thumbnail

[Kafka] .Net으로 Consumer 개발

개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과

6일 전
·
0개의 댓글

[Kafka & S3] Producer & Upload

Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity

6일 전
·
0개의 댓글
post-thumbnail

[Spark] .mp4 파일 이미지 파일로 변환(OpenCV)

개요 S3 -> Kafka -> Spark S3로부터 mp4 파일을 다운로드 받는 코드 & Kafka-python API를 사용하여 Python Consumer 개발 예정 Install 코드 Spark(Python) 결과 이미지를 한프레임마다 나누어서 저장됨 동영

7일 전
·
0개의 댓글
post-thumbnail

[Kafka] 하나의 토픽의 여러 Consumer 설정

Django -> S3 -> KafkaKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Spark를 사용한 이유는 병렬 분산처리를 하여 빠르고, 효율적으로 사

7일 전
·
0개의 댓글
post-thumbnail

[Kafka] Consumer(Kafka-Spark)

S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker

7일 전
·
0개의 댓글
post-thumbnail

[Kafka] Producer(Django-Kafka)

개요 Django -> S3 -> Kafka S3 mp4디렉토리에 비디오 파일이 저장되었을 때, Kafka로 메세지 큐(MQ) 전달 Kafka-python API를 사용하여 Python Producer 개발 예정 Install 코드 ./board/views.py

7일 전
·
0개의 댓글
post-thumbnail

[Django] Django-environ 라이브러리를 활용하여 SECRET_KEY 숨기기

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting .gitignore은 디렉토리 or 파일을 숨길 수 있지만, 코드의 부분적인 부분을 숨길 수 없음 함수를 사용하는 것처럼 private 해야할 코드가 있음 해결방안 Django-environ 라이브러리를 사용하여 ...

7일 전
·
0개의 댓글
post-thumbnail

[Git] github에 중요한 데이터 올라가지 않게 하기(.gitignore)

개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 내가 지금까지 migration한 내용들이 github에 올라감 migration한 내용들이 올라가면 보안에 취약함 해결방안 gitignore파일을 사용하여 github에 올리지 말아야할 파일들을 선택함 Se...

2022년 6월 29일
·
0개의 댓글