splunk
1.splunk/ 0. 주식데이터 분석 - 환경구성
ubuntu vmsplunk enterprise 9.0\-- splunk machine learning toolkit\-- lookup Editor 대신 splunk app for lookup file editing\-- python for scientific comp
2.splunk/ 1. 주식데이터 분석
폴더이름 : 리눅스에 생성될 디렉토리의 이름stock_monitor.py 파일을 생성$ python3 stock_monitor.py --start_date 2020-12-01 --end_date 2020-12-31리눅스에서 위의 명령을 실행하면 로그 기록들이 디렉토리에
3.splunk/ 2. 실시간 주식데이터 분석
나의 경로 : $ cd /opt/splunk/etc/apps/stockbin/readstock.py : 실제 명령어 실행되는 코드를 작성default/commands.conf : 스플렁크에서 인식할 수 있도록 명령어를 정의defaul
4.spunk/ (번외) 최대 용량 근접 에러메시지 제거
에러 메세지 해결 "the minimum free disk space (5000mb) reached for /opt/splunk/var/run/splunk/dispatch" 리눅스 서버에서 돌아가는 스플렁크에 제공되는 무료 용량도달 메세지 해결 server.conf
5.splunk/ 3. 현재 나의 현황 대시보드 생성
주식데이터
6.splunk/ 4. 현재 나의 현황 대시보드 생성2
현재부터 지난 90까지의 데이터에 대한 통계값실습 날짜는 2022.07.12 이므로 2년전 기록된 kospi_200.csv 파일과는 맞지 않아서 일부 수정 및 1장에서 등록한 데이터를 제거리눅스 접속 -> /home/sb111/example_stock/stock 로그
7.splunk/ 원하지 않는 데이터를 지우고 싶을 때
인덱스를 새로 만든다데이터를 다시 받아온다기존에 입력된 데이터 목록을 수정하거나 새로 추가하고 인덱스 부분을 바꿔서 저장한다
8.splunk/ 명령어 익히기
Multivaluefunctions list(X) 100개 이상의 필드 값 중 100개만 보여줌 필드 값은 문자열로 표현됨 chart, stats, timechart 와 함께 사용가능 | makeresults count=1000 1000까지 센 결과 생성 | stre
9.splunk/ syslog, agent
Syslog는 컴퓨터 메시지 로깅에 대한 표준이며 다른 유형의 다양한 시스템으로부터 로그 데이터를 중앙 저장소에 통합합니다.출처 : https://www.ibm.com/docs/ko/db2/11.1?topic=logs-configuring-system-erro
10.splunk/ 6. 주식 포트폴리오 작성
주식포트폴리오 작성 추신 : /home/sb111 에 있던 example_stock 을 /opt/splunk 로 옮겼다. 참고 : https://cafe.naver.com/splunker?iframeurlutf8=%2FArticleRead.nhn%253Fclubid%3
11.splunk/ $SPLUNK_HOME 설정
이렇게 안된 것 처럼 보이는데경로는 바뀜
12.splunk/ 7. 주식 종목 추천
파이썬을 활용한 증권 데이터 분석 출처 : https://cafe.naver.com/splunker?iframeurlutf8=%2FArticleRead.nhn%253Fclubid%3D26625693%2526articleid%3D438 개요 6장의 포트폴리오 알고리즘을
13.splunk/ 5. 주가예측
주가 예측 출처 : https://cafe.naver.com/splunker?iframeurlutf8=%2FArticleRead.nhn%253Fclubid%3D26625693%2526articleid%3D443 시계열 데이터 예측 by predict 종가 기준 예측
14.splunk/ 리눅스 부팅시 자동 실행 설정
리눅스를 root 로 접속하면 자동으로 스플렁크 자동 실행
15.splunk/ forwarder to enterprise
구성 splunk enterprise(se) : 10.0.2.16의 게스트 ip splunk forwarder : 10.0.2.17의 게스트 ip 상황 forwarder의 리눅스 서버의 데이터(로그파일)를 se 서버로 보내야 함. 과정 se를 실행시키고 web접속
16.splunk/ 모니터링 콘솔, 서버 설정
스플렁크 web에 접속 → 설정 → 모니터링 콘솔 → 리소스 사용량순서로 보다보면 스플렁크 및 컴퓨터 상태에 대한 정보를 얻을 수 있음.
17.splunk/ 경고메시지(truncating line ...)
truncating line because limit ···라인을 잘랐다고 하는건 길이 한도를 넘겼다는 거고, 이는 한도 용량(bytes)를 넘긴 로그를 잘랐다는 거?, 목적 : cpu 활용의 최적화, 너무많은 cpu를 잡아먹지 않도록 조절 하려고 사용함
18.splunk/ 라이센스
스플렁크 라이센스의 종류 및 라이센스의 범위를 넘어서는 데이터를 받을 때 생기는 일 확인, no enforcement : 라이센스볼륨을 넘어서 사용가능하나 기술적 지원과 업데이트 불가능term : on prem에서 사용하는 라이센스가 만료되거나 허용 볼륨을 넘어서면 검
19.splunk/ 명령어(transaction)
| transaction <clientIp> <name>필드1의 값과 필드2의 값이 각각 같은 이벤트를 하나로 그룹화시키는 역할.ex) ip=123.123.123.123 이며 이름은 '김철수' 인 이벤트끼리 하나의 이벤트로 묶어주고, ip=100.100.10
20.splunk/ 기초 에러 작업 검색
index=\_internal log_level=error서버 내부에서 발생한 에러 검색을 확인
21.splunk/ forwarder-indexer-header 환경 설정
header 1대indexer 2대 + cluster master 1대forwarder 2대forwarder to indexer (or standalone)은 과거에 했기 때문에 넘어가자universal forwarder는 전용 프로그램이 있기에 스플렁크 홈페이지에서
22.splunk/ strptime & strftime
출처 : https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=monoris30&logNo=221328281161방식) %Y-%m-%d %H:%M:%S = 연 월 일 시 분 초축약형)%F =
23.splunk/ 다중 선택 + 원하는 패널 활성화
https://community.splunk.com/t5/Dashboards-Visualizations/Hide-Display-Panels-Using-Multiselect/td-p/336501?\_ga=2.88412379.191232054.1672620340-
24.splunk/
index=\_internal sourcetype=splunkd "permission denied" OR "cannot" 로 검색해서 파일 리드에 대한 결과를 확인할 수 있음.|rest splunk_server=local /services/deployment/serve