News on stocks : spike detection

이향기·2021년 9월 29일

Many news = Issue ?

News 빈도의 변화로 종목별 이슈 현황을 알아낼 수 있을까?

삼성전자(A005930) / 2020.09.15(화) 11:00 / 18개의 기사
#갤럭시워치3 #초소형이미지센서

Time series spike detection

Outlier? Spike?

$x_t$ is defined as an $outlier$ if
$|x_t - \hat{x}_t| \ge \tau$
where $\tau$ is a predefiend threshold, $x_t$ is observed value and $\hat{x}_t$ is its expected value.
What is Spike?
- 기존 데이터의 변동성이 (상대적으로) 작은 데이터에서
- 양의 방향으로의 Outlier
- spike, peak, ...

What is spike?

train set의 counts보다 test point의 counts가 월등히 높은 수준을 보이면
train set의 counts로 추정된 분포에서, test point(보다 큰 값)가 출현할 확률이 확연히 낮으면

이를 spike라고 정의한다. 즉,

P(X \ge x_t|\hat{\lambda}) < \alpha

이면, 해당 점 $x_t$ 를 spike라고 정의한다.

$P(X|\lambda)$ : Poisson distribution
$\hat{\lambda}$ : train set으로부터 추정된 parameter $\lambda$
$\alpha$ : 유의수준(significance level)

How to detect?

Parameters

window size : train set의 크기
significance level : 가설검정의 유의수준, "test point의 출현 확률이 낮다"를 정의할 cutoff

Hypothesis testing

1. Poisson

P(X=x) = e^{-\lambda}\frac{\lambda^{x}}{x!}, \quad x=0,1,2,...

2. ZIP (Zero Inflated Poisson)

Generalizes the Poisson model by allowing for an overabundance of zero observations
$\pi$ : the proportion of excess zero observations
A weighted coin with probability $\pi$ of landing on heads is flipped
- If the result is heads, the observation is zero.
- If the result is tails, the observation is generated from a Poisson distribution with mean $\lambda$ .

\begin{aligned} P(X=0) &= \pi+(1-\pi)e^{-\lambda} \\ P(X=x) &= (1-\pi)e^{-\lambda}\frac{\lambda^{x}}{x!},\quad x>0 \end{aligned}

cf. CDF of ZIP

\begin{aligned} P(X\le x) &= P(X=0) + P(1 \le X \le x) \\ &= P(X=0) + \sum_{t=1}^{x}P(X=t) \\ &= \pi + (1-\pi)e^{-\lambda} + \sum_{t=1}^{x} (1-\pi)e^{-\lambda}\frac{\lambda^t}{t!} \\ &= \pi + (1-\pi)e^{-\lambda} + (1-\pi) \left(\sum_{t=0}^{x} e^{-\lambda}\frac{\lambda^t}{t!} - e^{-\lambda}\right) \\ &= \pi + (1-\pi)e^{-\lambda} - (1-\pi)e^{-\lambda} + (1 - \pi)\sum_{t=0}^{x} e^{-\lambda}\frac{\lambda^t}{t!} \\ &= \pi + (1 - \pi) \sum_{t=0}^{x} e^{-\lambda}\frac{\lambda^t}{t!} \end{aligned}

import math

def zip_cdf(x, pi, lambda_):
   if x == 0:
       return pi + (1 - pi) * math.pow(math.e, -lambda_)
   else:
       return pi + (1 - pi) * stats.poisson.cdf(x, lambda_)

Poisson vs. ZIP

Train set
Case study
-삼성전자(A005930)
-2020-10-07 14:05:00, 2 Counts

	Poisson	ZIP
Time interval	Unequally spaced	Equally spaced
Window type	Dynamic	Static
Window size	30	120
Nonzero counts in train set	30	7
$\hat{\lambda}$	1.6	0.215
$\hat{\pi}$		0.223
p-value	0.217	0.001

Poisson > Zero Inflated Poisson

	Poisson	ZIP
모수 추정	평균 계산	수치 최적화 필요
안정성	좋음	좋지 않음*
결과의 적절성	적절 ( $\alpha = 0.01$ )	민감

cf. * MLE in ZIP!

Results

Data description

News title data
- 수집된 신문기사 Title(Headline) 데이터
Filtering rule
- 잘못된 데이터 형식 제외
- 공시 신문사 제외
- 종목 코드가 달려있는 기사만 포함
- 2020, 2021년도 기사만 포함
News count data
- 기간 : 2020.01 ~ 2021.09 (약 21개월)
- 시총기준 상위 10종목
- 각 종목별로, 1분 간격으로 news의 빈도를 count

Spike의 정의

1) Poisson분포에 의해 Train set보다 월등히 높은 수준의 Count를 보인 Test set일 것
2) 적어도 2개 이상의 언론사에서 동시에 기사를 냈을 것

Spike 빈도

셀 값 : Spike의 갯수 (Detect된 spike들의 기사 갯수의 평균값)

유의수준	0.05	0.01	0.005	0.001	0.0005
삼성전자	486(5.3)	236(7.7)	193(8.5)	159(9.3)	146(9.7)
SK하이닉스	42(3.8)	11(5.5)	9(5.9)	7(6.3)	6(6.5)
네이버	25(3.6)	10(4.4)	9(4.4)	4(5)	0(-)
삼성바이오로직스	6(3.3)	1(5)	1(5)	1(5)	0(-)
카카오	17(3.7)	5(5.4)	4(5.8)	3(6.3)	3(6.3)
LG화학	25(4.7)	15(5.8)	14(5.9)	9(7)	6(8)
삼성SDI	15(3.7)	6(4.7)	4(5)	1(8)	1(8)
현대자동차	102(3.8)	34(5.5)	27(5.9)	18(6.8)	10(8.2)
셀트리온	17(3.8)	5(5.6)	5(5.6)	3(6.7)	2(7.5)
기아	23(3.9)	5(7)	5(7)	3(9)	3(9)

유의수준 0.01 에서 Spike의 분포

Spike 평가 지표

평가항목	내용
내용 일관성	Spike내 기사들이 동질적으로 구성되어 있나?
내용 타당성	Spike내 Topic이 실제 Issue가 될 만한 사항들인가?

종목별 Spike 분포

1) 삼성전자 (236 Spikes)

No	내용 일관성	내용 타당성
1	O	O
2	O	O
3	O	O
4	O	O
5	O	O

2) 에스케이하이닉스 (11 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	139	2020.09.11	10:00	7	내수활성화를 위해 협력사 구매대금 조기지급	O	O
2	494	2020.10.06	11:00	7	세계최초 DDR5 D램 출시	O	O
3	792	2020.10.21	15:00	6	장애인 고용을 위한 제과제빵 공장 만듦	O	△
4	797	2020.10.21	15:20	4	장애인 고용을 위한 제과제빵 공장 만듦	O	△
5	927	2020.11.04	08:42	5	3분기 매출/영업이익 발표	O	O
6	1532	2020.12.07	11:00	6	업계 최고증 176단 낸드 개발	O	O
7	1871	2020.12.31	16:30	4	이천사업장에 코로나 선별진료소 운영	O	△
8	2272	2021.01.29	09:12	4	코스피, 특징주, 낸드플래시 양산	X	△
9	2946	2021.03.02	09:17	6	신고가 달성	O	O
10	4024	2021.05.13	15:00	7	K-반도체 전략/벨트 설립	O	O
11	4025	2021.05.13	15:30	5	파운드리 2배 확대	O	O

3) 네이버 (10 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	1202	2020.11.23	21:00	4	소상공인 디지털 전환 [커넥트2021]	O	O
2	1715	2020.12.30	11:00	4	순매수 상위, 비즈어드바이저, 동영상 품질	X	O
3	1902	2021.01.15	14:00	5	모바일 국가자격증 확인	O	△
4	1969	2021.01.20	10:30	5	네이버 인증서, 모바일 학생증	O	△
5	3280	2021.03.18	08:30	4	애널리스트데이로 목표가 상승 조정	O	O
6	3843	2021.04.29	08:10	4	1분기 매출/영업이익	O	O
7	4216	2021.05.26	14:00	5	초대규모 AI 하이퍼클로바 출시	O	O
8	4793	2021.06.24	13:00	4	네이버 웹툰-왓패드 스튜디오 통합	O	O
9	5042	2021.07.08	14:00	4	네이버앱 백신접종 간편인증	O	△
10	5587	2021.08.05	14:10	5	백신접종 간편예약 지원	O	△

4) 삼성바이오로직스 (1 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	563	2020.11.18	12:20	5	정부 바이오헬스 투자(3), 삼바 제4공장 착수(2)	△	O

5) 카카오 (5 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	47	2020.09.03	12:00	6	카카오톡 운전면허 확인 서비스 도입	O	△
2	91	2020.09.07	13:30	6	안산에 데이터센터 설립	O	O
3	2471	2021.02.09	08:10	4	4Q 영업이익/한해 영업이익	O	O
4	3500	2021.04.15	09:10	4	액면분할로 급등(VI)	O	O
5	5926	2021.08.19	11:00	7	신입 개발자 블라인드 채용 진행	O	O

6) LG화학 (15 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	351	2020.09.17	17:45	4	LG에너지솔루션 신공장/구광모 미래사업 준비/현재가/개미-외인	X	O
2	825	2020.10.12	08:28	4	3분기 매출/영업이익	O	O
3	1215	2020.10.25	12:00	4	지배구조자문위, LG화학 물적분할 찬성	O	O
4	2128	2020.12.13	11:00	4	LG화학, 중국 배터리소재 공장 재생에너지로 돌린다	O	O
5	2552	2021.01.20	11:00	5	LG화학 신학철, 다보스어젠다에서 기후변화대응 발표	O	△
6	2611	2021.01.27	15:39	5	2020년 영업이익/매출액 및 2021년 목표액 발표	O	O
7	2625	2021.01.27	15:58	4	LG화학 역대 최대 매출/배당 결정	O	O
8	3327	2021.03.23	10:30	5	LG화학, 화장품 용기 플라스틱 100% 재활용 시스템 구축	O	O
9	3823	2021.04.30	11:00	4	LG에너지솔루션-롯데렌탈, 전기차 BaaS 사업 협력	O	O
10	3835	2021.05.02	11:00	6	LG화학, 첨단소재 인력 대규모 채용	O	O
11	4415	2021.07.07	12:00	7	신한은행, LG화학과 중소기업 ESG 1000억 펀드 조성	O	O
12	4464	2021.07.14	11:00	12	LG화학 차기 사업 방향 및 투자 규모 발표	O	O
13	4510	2021.07.18	11:00	7	LG화학, 하반기에도 배터리 소재 대규모 인재 채용 나서	O	O
14	4783	2021.08.19	11:40	7	LG화학, 고부가 친환경 소재 투자	O	O
15	4954	2021.09.02	10:30	9	LG화학, 단석산업과 차세대 바이오 오일 합작공장 설립	O	O

7) 삼성SDI (6 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	168	2020.10.27	13:06	4	3분기 영업이익/매출(3), 소폭상승 및 반등(1)	△	O
2	453	2020.12.07	11:00	4	무역의 날, 30억불 수출의 탑 수상	O	O
3	549	2021.01.04	10:00	8	전영현 사장 신년사	O	△
4	705	2021.01.28	13:17	4	4분기 영업이익/매출	O	O
5	708	2021.01.28	13:21	4	4분기 영업이익/매출	O	O
6	1516	2021.07.01	14:30	4	창립 51주년	O	△

8) 현대자동차 (34 Spikes)

No	내용 일관성	내용 타당성
1	O	O
2	O	O
3	O	O
4	O	O
5	O	O

9) 셀트리온 (5 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	785	2020.11.18	12:20	8	송도에 3공장 건설(6), 삼바/셀트리온 지원(2)	△	O
2	1710	2021.01.18	15:10	4	코로나19 치료제(렉키로나주) 추가 검증 필요	O	O
3	2030	2021.02.05	17:01	7	코로나19 치료제(렉키로나주) 조건부 허가/승인	O	O
4	2095	2021.02.08	17:30	4	서정진 회장, 코로나19 치료제 언급	O	O
5	2271	2021.02.22	15:55	5	4분기 영업이익(4), 공급계약 체결(1)	△	O

10) 기아 (5 Spikes)

No	Index	날짜	시간	Counts	내용	내용 일관성	내용 타당성
1	1692	2021.01.06	19:00	10	새 로고 공개, 브랜드 전략 개편	O	O
2	3230	2021.03.30	17:00	8	전기차 EV6 최초 공개	O	O
3	3231	2021.03.30	17:01	4	전기차 EV6 최초 공개	O	O
4	3553	2021.04.22	16:11	5	1분기 영업이익/매출	O	O
5	4083	2021.06.03	08:30	9	EV6/EV6 GT 최초 실물 공개	O	O

To do

삼성전자의 경우, Spike가 과도하게 많은 상황 (작은 이슈도 쉽게 뉴스화되는 경향이 있음)
- 좀 더 엄격한 유의수준 적용 (e.g. $\alpha=0.0005$ )
- 추가 데이터 (e.g. 사용자 로그 등)를 활용하여 Logic 보완
Spike 발생 후, $x$ 분 내 (e.g. $x=30$ )에는 알람 금지 logic 추가
시총 상위 10종목 외에 다른 종목에도 적용
다른 Spike detection 알고리즘 Search
n-gram (n=2) 접근

References

이향기

Data science & Machine learning, baking and reading(≪,≫)

이전 포스트

[Python] pandas to_excel illegal character error 해결

다음 포스트