- 전체보기(74)
- 프로젝트(29)
- python(20)
- mlops(17)
- django(12)
- kafka(11)
- ubuntu(10)
- linux(9)
- aws(8)
- CodeTest(6)
- programmers(6)
- hadoop(5)
- level1(5)
- S3(5)
- spark(5)
- consumer(4)
- elasticsearch(4)
- Crawling(4)
- git(3)
- ES(3)
- 스타벅스(3)
- web service(3)
- 자료구조(3)
- 이디야(3)
- C(3)
- crawl(3)
- .NET(3)
- .gitignore(3)
- upload(2)
- Machine Running(2)
- mp4(2)
- 프로그래머스(2)
- 머신러닝(2)
- apache(2)
- data structure(2)
- 연동(2)
- fluentd(2)
- Database(2)
- HDFS(2)
- producer(2)
- ELK Stack(2)
- OLAP(1)
- ELT(1)
- awscli(1)
- 분석(1)
- 기계학습(1)
- useradd(1)
- grep(1)
- find(1)
- ddp(1)
- docker(1)
- 반정형 데이터(1)
- 공공데이터(1)
- 정형 데이터(1)
- broker(1)
- tar(1)
- news(1)
- putty(1)
- 네이버 뉴스(1)
- 네이버(1)
- log(1)
- 인공지능(1)
- 내적(1)
- ubuntum(1)
- opencv(1)
- Data Discovery Platform(1)
- walker(1)
- 크롤링(1)
- userdel(1)
- github(1)
- db(1)
- ODS(1)
- 스택(1)
- 장고(1)
- .env(1)
- MQ(1)
- 큐(1)
- pandas(1)
- IT 용어(1)
- etl(1)
- 비정형 데이터(1)
- gz(1)
- 저장(1)
- Message Queue(1)
- numpy(1)
- bs4(1)
- cpython(1)
- platform(1)
- BI(1)
- archive(1)
- terminal(1)
- API(1)
- Deep Running(1)
- shell(1)
- 수집(1)
- 리스트(1)
- List(1)
- stack(1)
- queue(1)
- kibana(1)
- 처리(1)
- image(1)
- MOM(1)
- pypy(1)
- OLTP(1)
- download(1)
- chmod(1)
- 딥러닝(1)
- beautifulsoup(1)
- OpenPose(1)
- 데이터(1)
- Message(1)
[IT 용어] ODS
Operation Data Store : 운영 데이터 저장하는 곳DW에 들어가기 전에 운영 데이터를 시계열 데이터 등으로 가공 변환하여 추출 & 적재해 놓은 별도로 저장하는 공간의사 결정 지원 측면에서 EDW를 보완하는 요소로 사용되는데, 주로 운영보고(Report),
PuTTy 설치 및 사용법
본 내용은 22.07.06일 기준입니다.Window기준으로 되어있으면 Mac도 비슷하지만 다른 블로그 or 사이트를 권장드립니다.PuTTy는 되도록 최신버전을 사용하는 것을 권장드립니다.암호화 기능을 비롯 수 많은 기능을 포함하고 있어 윈도우에서 리눅스 환경으로 접속하
[자료구조] List
List Python에서 가장 많이 사용되는 자료구조 중 하나 가장 많이 사용되는 자료구조 : List, Tuple, Dictionary, Set 리스트(List) 배열처럼 취급하며(순서를 가짐), 리스트내 항목 검색 시 걸리느느 시간은 선형적으로 증가하므로
[ELK Stack] Kibana 시각화
개요 Elasticsearch -> Kibana Kibana에서 데이터 확인 및 데이터 시각화 Set Up Kibana 브라우저 접속 Index Management 확인 Index Pattern 사용할 index pattern 선택 > coffee
[ELK Stack] ELK Stack 설치 및 연동
Data -> Logstash -> ElasticsearchELK Stack 개발자원ElasticSearch 설치ES 포트번호 : 9200JDK 설치ES 설치확인Kibana 설치Kibana 포트번호 : 5601JDK 설치Kibana 설치설정확인LogstashJDK 설치
[Pandas] 공공데이터 csv 파일 데이터 정제하기 (Feat. Jupyter)
개요 Data -> Logstash -> Elasticsearch 공공 데이터 다운로드 및 정제 개발 Set Up 공공데이터 포털에서 '소상공인시장진흥공단_상권' 입력 [URL](https://www.data.go.kr/tcs/dss/selectDataSetLis
[Hadoop] Hdfs API를 사용하여 데이터 Upload & Download
Client -> Django -> S3, Spark -> S3유저가 업로드한 비디오 파일 & Spark에서 이미지 압축 파일를 S3로 전달 > Hdfs로 전달수정 이유S3 비용프레임마다 자른 img 압축 파일과 비디오 파일은 사용 빈도가 적음비디오 파일 및 img 압
[자료구조] Queue
Stack 가장 최근에 넣은 데이터를 가장 먼저 빼내는 데이터 구조 후입 선출(Last In First Out—LIFO) 코드 push(val) : val를 가장 위의 리스트에 추가 pop() : 가장 위의 리스트를 제거 peek() : 리스트의 가장 위에 있는
Starbucks_Ediya 매장간 거리 관계 분석
출처 : http://www.iconsumer.or.kr/news/articleView.html?idxno=10133'스타벅스 옆에는 이디야가 있다.', '파리바게뜨는 대부분 매장이 아파트 단지 입구나 횡단보도 앞에 있고, 그 주위에는 분식 프랜차이즈 '아딸'
[자료구조] Stack
가장 최근에 넣은 데이터를 가장 먼저 빼내는 데이터 구조후입 선출(Last In First Out—LIFO)push(val) : val를 가장 위의 리스트에 추가pop() : 가장 위의 리스트를 제거peek() : 리스트의 가장 위에 있는 value 출력isEmpty(
[.Net] .Net 무시 파일 설정(.gitignore)
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함팀 탐색기 열기리포지토리 설정파일 무시 추가 및 편집무시해야할 파일 적혀 있는 곳 : URL파일 및 디렉토리
[S3] .Net으로 Upload & Download 개발
Spark -> Kafka -> UnitySpark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함패키지 관리자 콘솔 열기AWS S3 Dotnet API 설치Install-Package AWSSDK.s3.Ne
[Kafka] .Net으로 Consumer 개발
개요 Spark -> Kafka -> Unity Spark(Producer)에서 보낸 데이터를 Broekr를 통해 Unity(Consumer)에서 메세지 큐를 받아야함 Install NuGet 설치가 필요함 코드 Unity(.Net) Consumer 역할 결과
[Kafka & S3] Producer & Upload
Spark -> S3 -> Kafka데이터를 전처리하고 나온 csv파일을 S3에 저장Spark(Python)이전 코드에서 추가된 내용임이전 코드S3각각의 디렉토리가 만들어지고 저장된 것을 확인할 수 있음Brokertopic 리스트는 sendvideo, sendunity
[Spark] .mp4 파일 이미지 파일로 변환(OpenCV)
개요 S3 -> Kafka -> Spark S3로부터 mp4 파일을 다운로드 받는 코드 & Kafka-python API를 사용하여 Python Consumer 개발 예정 Install 코드 Spark(Python) 결과 이미지를 한프레임마다 나누어서 저장됨 동영
[Kafka] 하나의 토픽의 여러 Consumer 설정
Django -> S3 -> KafkaKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Spark를 사용한 이유는 병렬 분산처리를 하여 빠르고, 효율적으로 사
[Kafka] Consumer(Kafka-Spark)
S3 -> Kafka -> SparkKafka에 메세지 큐(MQ) Subcribe하여 broker로부터 데이터를 가져옴Kafka-python API를 사용하여 Python Consumer 개발 예정Consumer(Python)ConsumerWalker
[Kafka] Producer(Django-Kafka)
개요 Django -> S3 -> Kafka S3 mp4디렉토리에 비디오 파일이 저장되었을 때, Kafka로 메세지 큐(MQ) 전달 Kafka-python API를 사용하여 Python Producer 개발 예정 Install 코드 ./board/views.py
[Django] Django-environ 라이브러리를 활용하여 SECRET_KEY 숨기기
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting .gitignore은 디렉토리 or 파일을 숨길 수 있지만, 코드의 부분적인 부분을 숨길 수 없음 함수를 사용하는 것처럼 private 해야할 코드가 있음 해결방안 Django-environ 라이브러리를 사용하여 ...
[Git] github에 중요한 데이터 올라가지 않게 하기(.gitignore)
개요 Client -> Django -> S3 .mp4 형식 이외의 파일을 보냈을 때, 파일을 S3에 저장해야됨 TroubleShooting 내가 지금까지 migration한 내용들이 github에 올라감 migration한 내용들이 올라가면 보안에 취약함 해결방안 gitignore파일을 사용하여 github에 올리지 말아야할 파일들을 선택함 Se...