Operation Data Store : 운영 데이터 저장하는 곳DW에 들어가기 전에 운영 데이터를 시계열 데이터 등으로 가공 변환하여 추출 & 적재해 놓은 별도로 저장하는 공간의사 결정 지원 측면에서 EDW를 보완하는 요소로 사용되는데, 주로 운영보고(Report),
본 내용은 22.07.06일 기준입니다.Window기준으로 되어있으면 Mac도 비슷하지만 다른 블로그 or 사이트를 권장드립니다.PuTTy는 되도록 최신버전을 사용하는 것을 권장드립니다.암호화 기능을 비롯 수 많은 기능을 포함하고 있어 윈도우에서 리눅스 환경으로 접속하
List Python에서 가장 많이 사용되는 자료구조 중 하나 가장 많이 사용되는 자료구조 : List, Tuple, Dictionary, Set 리스트(List) 배열처럼 취급하며(순서를 가짐), 리스트내 항목 검색 시 걸리느느 시간은 선형적으로 증가하므로
개요 Elasticsearch -> Kibana Kibana에서 데이터 확인 및 데이터 시각화 Set Up Kibana 브라우저 접속 Index Management 확인 Index Pattern 사용할 index pattern 선택 > coffee
Data -> Logstash -> ElasticsearchELK Stack 개발자원ElasticSearch 설치ES 포트번호 : 9200JDK 설치ES 설치확인Kibana 설치Kibana 포트번호 : 5601JDK 설치Kibana 설치설정확인LogstashJDK 설치
개요 Data -> Logstash -> Elasticsearch 공공 데이터 다운로드 및 정제 개발 Set Up 공공데이터 포털에서 '소상공인시장진흥공단_상권' 입력 [URL](https://www.data.go.kr/tcs/dss/selectDataSetLis
Client -> Django -> S3, Spark -> S3유저가 업로드한 비디오 파일 & Spark에서 이미지 압축 파일를 S3로 전달 > Hdfs로 전달수정 이유S3 비용프레임마다 자른 img 압축 파일과 비디오 파일은 사용 빈도가 적음비디오 파일 및 img 압
Stack 가장 최근에 넣은 데이터를 가장 먼저 빼내는 데이터 구조 후입 선출(Last In First Out—LIFO) 코드 push(val) : val를 가장 위의 리스트에 추가 pop() : 가장 위의 리스트를 제거 peek() : 리스트의 가장 위에 있는
출처 : http://www.iconsumer.or.kr/news/articleView.html?idxno=10133'스타벅스 옆에는 이디야가 있다.', '파리바게뜨는 대부분 매장이 아파트 단지 입구나 횡단보도 앞에 있고, 그 주위에는 분식 프랜차이즈 '아딸'
가장 최근에 넣은 데이터를 가장 먼저 빼내는 데이터 구조후입 선출(Last In First Out—LIFO)push(val) : val를 가장 위의 리스트에 추가pop() : 가장 위의 리스트를 제거peek() : 리스트의 가장 위에 있는 value 출력isEmpty(
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함팀 탐색기 열기리포지토리 설정파일 무시 추가 및 편집무시해야할 파일 적혀 있는 곳 : URL파일 및 디렉토리
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함패키지 관리자 콘솔 열기AWS S3 Dotnet API 설치Install-Package AWSSDK.s3.Ne
개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과
Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity
개요 S3 -> Kafka -> Spark S3로부터 mp4 파일을 다운로드 받는 코드 & Kafka-python API를 사용하여 Python Consumer 개발 예정 Install 코드 Spark(Python) 결과 이미지를 한프레임마다 나누어서 저장됨 동영
Django -> S3 -> KafkaKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Spark를 사용한 이유는 병렬 분산처리를 하여 빠르고, 효율적으로 사
S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker
개요 Django -> S3 -> Kafka S3 mp4디렉토리에 비디오 파일이 저장되었을 때, Kafka로 메세지 큐(MQ) 전달 Kafka-python API를 사용하여 Python Producer 개발 예정 Install 코드 ./board/views.py
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting .gitignore은 디렉토리 or 파일을 숨길 수 있지만, 코드의 부분적인 부분을 숨길 수 없음 함수를 사용하는 것처럼 private 해야할 코드가 있음 해결방안 Django-environ 라이브러리를 사용하여 ...
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 내가 지금까지 migration한 내용들이 github에 올라감 migration한 내용들이 올라가면 보안에 취약함 해결방안 gitignore파일을 사용하여 github에 올리지 말아야할 파일들을 선택함 Se...