6.1 Introduction

A special type of counting process

💡

Counting process

A counting process $(N_{t})_{t \geq 0}$ is a collection of non-negative, integer-valued random variables such that if $0 \leq s \leq t$, then $N_{s} \leq N_{t}$

$N_t$: the number events in $[0, t]$ (random variable)

ex) $t$ 시간까지 오는 문자 수
포아송 과정(Poisson Process)은 일정한 시간(continuous) 동안 무작위 이벤트(사건)가 발생(discrete)하는 것을 모델링하는 확률 과정입니다.

Poisson Distribution

$X \sim Pois(\lambda)$

• pmf $f_X(x) = P(X = x) = e^{-\lambda} \frac{\lambda^x}{x!}, \quad \text{where } x = 0, 1, 2, \dots$
  

• $E[X] = \lambda$ $\mathbb{E}[X] = \sum_{x=0}^\infty x e^{-\lambda} \frac{\lambda^x}{x!} \\= \lambda e^{-\lambda} \sum_{x=1}^\infty \frac{\lambda^{x-1}}{(x-1)!} \\= \lambda$
  
• $Var(X) = \lambda$ $\mathbb{E}[X^2] = \sum_{x=0}^\infty x^2 e^{-\lambda} \frac{\lambda^x}{x!} \\ = \sum_{x=1}^\infty x^2 e^{-\lambda} \frac{\lambda^x}{x!} \\ = \lambda e^{-\lambda} \sum_{x=1}^\infty x \frac{\lambda^{x-1}}{(x-1)!} \\ = \lambda e^{-\lambda} \left[ \sum_{x=1}^\infty (x-1) \frac{\lambda^{x-1}}{(x-1)!} + \sum_{x=1}^\infty \frac{\lambda^{x-1}}{(x-1)!} \right] \\ = \lambda e^{-\lambda} \left[ \lambda \sum_{x=2}^\infty \frac{\lambda^{x-2}}{(x-2)!} + \sum_{x=1}^\infty \frac{\lambda^{x-1}}{(x-1)!} \right] \\ = \lambda e^{-\lambda} \left[ \lambda \sum_{z=0}^\infty \frac{\lambda^z}{z!} + \sum_{y=0}^\infty \frac{\lambda^y}{y!} \right] \\ = \lambda e^{-\lambda} [\lambda e^\lambda + e^\lambda] \\ = \lambda^2 + \lambda \\ \mathrm{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \\ = \lambda^2 + \lambda - \lambda^2 \\ = \lambda$
  
• mgf $M_X(t) = \sum_{x=0}^\infty e^{tx} e^{-\lambda} \frac{\lambda^x}{x!}$ $M_X(t) = \sum_{x=0}^\infty e^{tx} e^{-\lambda} \frac{\lambda^x}{x!} \\ = e^{-\lambda} \sum_{x=0}^\infty \frac{(\lambda e^t)^x}{x!} \\ = e^{-\lambda} e^{\lambda e^t} \\ = e^{\lambda (e^t - 1)}$
  

there are several ways to characterize the Poisson process

1. the number of events that occur in fixed intervals
2. when events occur

def1) Poisson process

💡

def1) Poisson process

A Poisson process with parameter $\lambda$ is a counting process $(N_{t})_{t \geq 0}$ with the following properties

1. $N_0 = 0$
2. For all $t>0$, $N_t$ has a Poisson distribution with parameter $\lambda_t$
3. (Stationary increments) For all $\ s, t > 0$, $\ N_{t+s} - N_s$ has the same distribution as $\ N_t$. That is,

$P(N_{t+s} - N_s = k) = P(N_t = k) = \frac{e^{-\lambda t} (\lambda t)^k}{k!}, \quad \text{for } k = 0, 1, \dots$

1. (Independent increments) For $0 \leq q < r \leq s < t, \ N_t - N_s$ and $N_r-N_q$ are independent random variables.

• Stationary increments property: the distribution of the number of arrivals in an interval only depends on the length of the interval

• Independent increments property: the number of arrivals on disjoint intervals are independent random variables

• $N_t$ : Poisson distribution

  • $E[N_t] = \lambda t$

• Example 6.2
  

6.2 Arrival, Interarrival times

def2) Poisson process

💡

def2) Poisson process

Let X_1, …, X_n be a sequence of iid exponential random variables with parameter $\lambda$. For $t>0$, let

$N_t = \max \{ n : X_1 + \cdots + X_n \leq t \}$

with N0 = 0. Then $(N{t})_{t \geq 0}$ defines a Poisson process with parameter $\lambda$.

Let $S_n = X_1 + \cdots + X_n, \quad \text{for } n = 1, 2, \dots$

We call $S_1, S_2, …$ the arrival times of the process, where $S_k$ is the time of the $k$th arrival.

Furthermore, $X_k = S_k - S_{k-1}, \quad \text{for } k = 1, 2, \dots$

is the interarrival time between the $(k-1)$th and $k$th arrival, with $S_0 = 0$

Memorylessness

💡

A random variable $X$ is memorylessness if, for all $s,t>0$,

$P(X>s+t|X>s) = P(X>t)$.

Minimum of Independent Exponential Random Variables

💡

Minimum of Independent Exponential Random Variables

Let $X_1, …, X_n$ be independent exponential random variables with respective parameters $\lambda_1, …, \lambda_n$.

Let $M = min(X_1,…, X_n)$

1. For $t>0$, $P(M>t) = e^{-t(\lambda_1+ …, +\lambda_n)}$ ; That is, M has an exponential distribution with parameter $\lambda_1+ …+\lambda_n$
2. For $k=1, 2, …, n$,

$P(M = X_k) = \frac{\lambda_k}{\lambda_1 + \dots + \lambda_n}$.

• proof
  

• Exponential dist $X \sim Exp(\lambda)$ support: $x \in [0, \inf )$ pdf: $\lambda e^{-\lambda x}$
  
• Example 6.4
  

Arrival times and Gamma Distribution

💡

Arrival times and Gamma Distribution

For $n=1, 2, …,$ let $S_n$ be the time of the $n$th arrival in a Poisson process with parameter $\lambda$. Then $S_n$ has a gamma distribution with parameters n and lambda. The density function of $S_n$ is

$f_{S_n}(t) = \frac{\lambda^n t^{n-1} e^{-\lambda t}}{(n-1)!}, \quad \text{for } t > 0$.

Mean and variance are

$E(S_n) = \frac{n}{\lambda} \quad \text{and} \quad Var(S_n) = \frac{n}{\lambda^2}$.

• Gamma dist. $X \sim Gamma(\alpha, \beta)$ support: $x \in [0, \inf)$ pdf: $f(x) = \frac{1}{\Gamma(\alpha) \beta^\alpha} x^{\alpha - 1} e^{-x / \beta}$ mean: $\alpha \beta$ variance $\alpha \beta^2$
  
• Example 6.5
  

6.4 Thinning, Superpostition

Thinning

💡

Thinned Poisson Process

Let $(N_{t})_{t \geq 0}$ be a Poisson process with parameter $\lambda$. Assume that each arrival, independent of other arrivals, is marked as a type k event with probability $p_k$, for $k=1, …, n$, where $p_1 + … + p_n = 1$. Let $N_t^{(k)}$ be the number of type k events in $[0, t]$. Then $(N_t^{(k)})_{t \geq 0}$ is a Poisson process with parameter $\lambda p_k$. Furthermore, the processes

$(N_t^{(1)})_{t \geq 0}, …, (N_t^{(n)})_{t \geq 0}$

are independent. Each process is called a thinned Poisson process.

• Example 6.6

Superposition

💡

Superposition process

Assume that $(N_t^{(1)})_{t \geq 0}, …, (N_t^{(n)})_{t \geq 0}$ are $n$ independent Poisson processes with respective parameters $\lambda_1, …, \lambda_n$. Let $N_t = N_t^{(1)}+ …, +N_t^{(n)}$, for $t \geq0$. Then, $(N_t^{(n)})_{t \geq 0}$ is a Poisson process with parameter $\lambda = \lambda_1+…+\lambda_n$.

• Example 6.7

---

Review

• 6.1 Introduction

continuous time, discrete event 상황에서의 확률 과정

특별한 유형의 counting process →

• Counting Process

$N_t$ : $t$ 까지 발생하는 사건 수를 나타내는 random variable

$s.t\ if\ 0≤s≤t,\ then\ N_s≤N_t$

• Markov chain이 랜덤변수의 시퀀스인 것과 달리 시간이 연속적 → uncountable

• Poisson Process - Def1

1. $N_0=0$
2. $\text {For all }t>0\ N_t\ \text has\ a \ poisson\ distribution\ with\ parameter\ \lambda t$

$P(N_{t+s} - N_s = k) = P(N_t = k) = \frac{e^{-\lambda (t)}}{k!} \left(\lambda (t)\right)^k, \quad \text{for } k = 0, 1, \ldots$

…

X - 주어진 시간 구간 사이에서의 사건 발생 횟수를 나타내는 확률변수

$\lambda$ - 시간 당 평균 & 이벤트 발생 횟수

$k$ - 사건 발생 횟수 - num of occurences

→ 해석 $\lambda$ 번 발생할 것으로 예상되는 시간 구간에서 k 번 발생할 확률이 얼마야?

stationary increments

• 정상성 → 시간에 따라 분포는 바뀌지 않고 유지된다

independent increments

• 독립성 → 어떤 시간 구간에서든지의 발생횟수는 다른 구간에 대해 독립임
• 되게 직관적으로 이해가 잘 안된다
• 내가 오기 직전에 버스가 왔다는 사실이 크게 상관이 없다는거지?

$N_7 - N_2=N_5$ 를 말하는게 아니라,

$N_7 - N_2, N_5$ 의 분포가 같음을 말하는 것

분포수렴과 확률 수렴의 차이와 같게 볼 수 있다.

Translated 포아송 과정

• 6.2 Arrival & Arrival time interval

도착시간은 지수분포를 따름. 지수분포와 포아송분포 간의 관계

Poisson def2

시간 관점으로 접근 →

$N_t$ 는 시간 t 전까지 발생 시간 간격을 최대로 더한 개수

$X_1, \ X_2\ \dots$

카운팅 프로세스를 새롭게 정의함.

무기억성- Memorylessness

Minimum of Independent Exponential Random Variable

지수분포 RV의 최솟값 M 최소 시간간격

M의 분포를 구할 수 있음

Arrival Times and Gamma Distributions

도착 시간과 감마분포

도착시간 $S_n$ 는 감마분포를 따름

6.5 Uniform distribution

일반적으로 포아송 과정을 완전히 무작위적인 사건 또는 점의 분포로 생각하는 것이 일반적입니다.

[0, ∞) 또는 어떤 무한 구간에서 균일한 분포를 가질 수는 없지만, 포아송 과정과 균일 분포 사이에는 강한 관련이 있습니다.

포아송 과정이 구간 [0, t]에 정확히 n 개의 사건을 포함하고 있다면, 그 사건의 비순서적 위치 또는 시간은 해당 구간에서 균일하게 분포

증명

이는 [0, t] 구간의 균등 분포의 누적 분포 함수입니다.

which is the cumulative distribution function of the uniform distribution on [0, t].

---

6.5 Uniform dist 도착 시간과 균일 분포

설명

• 도착 시간 (Arrival Times): 포아송 과정에서의 도착 시간은 이벤트가 발생하는 시간을 의미합니다. 예를 들어, 문 앞에 도착하는 고객들의 도착 시간인 S_1, S_2, \ldots 를 생각할 수 있습니다. 이 도착 시간은 포아송 과정의 매개변수 \lambda 에 따라 결정됩니다.
• 균일 분포 (Uniform Distribution): 포아송 과정에서 특정 시간 간격 [0, t] 내에 n 개의 이벤트가 발생할 때, 이 이벤트의 도착 시간 (S_1, S_2, \ldots, S_n) 은 무작위로 균일하게 발생. 이것은 특정 구간 안에서 발생한 여러 사건들이 균등한 확률로 발생한다는 뜻.
• 관계:

  • $N_t = n$ : 시간 t 까지 n 개의 이벤트가 발생

  • 도착 시간 $S_1, S_2, \ldots, S_n$ 의 조인트 밀도 함수

    $f(s_1, \ldots, s_n) = \frac{n!}{t^n} \quad \text{for } 0 < s_1 < \ldots < s_n < t$

    이는 각 도착 시간이 균일 분포를 따른다는 것을 나타내며, $$ S_1$, S_2$, \ldots, S_n$$ 는 [0, t]$$ 구간에서 n 개의 균일하게 나누어진 무작위 변수의 배치와 유사합니다.

    $P(S_1 \leq s | N_t = 1)$
    $= \frac{P(S_1 \leq s, N_t = 1)}{P(N_t = 1)} = \frac{P(N_s = 1, N_t = 1)}{P(N_t = 1)}$
    $= \frac{P(N_s = 1, N_t - N_s = 0)}{P(N_t = 1)} = \frac{P(N_s = 1) P(N_{t-s} = 0)}{P(N_t = 1)}$
    $= \frac{e^{-\lambda s} \lambda s e^{-\lambda (t-s)}}{e^{-\lambda t} \lambda t} = \frac{s}{t}$
    📌

    포아송에서 각 도착시간이 uniform을 따른다 증명

6.6 Spatial Poisson Process

📌

2 이상의 고차원 space 에서 events 나 points 의 distribution을 모델링

• 특정 시간 내에 → event n번 발생할 확률
• 특정 영역 내에 → event n번 발생할 확률

📌

Notation

$A \subseteq \mathbb{R}^d$ : A 는 n dimensional space $(d≥1$)

$N_A$ : 집합 A 내의 Point 수

 $|A|$ : A의 크기 (면적, 부피)

---

정의

• 모든 bounded set$A ⊆ ℝ_d$에 대해 $N_A$가 각각 parameter가 $\lambda|A|$ 인 poisson process 따름
  • 사건 발생 rate(면적당 발생 rate) * 면적
  • 같은 시간 간격 - 같은 rate → 같은 면적 - 같은 rate : stationary increment
• 항상 A와 B 가 disjoint set 이면 $N_A$ 와 $N_B$ 는 서로 독립적인 R.V
  • 겹치지 않는 시간 → event 독립 → 겹치지 않는 공간 - event 독립 : indep increment

→→ 두 조건을 만족하면

$(N_A)_{A⊆ℝd}$ : 집합 A 내의 점 개수는 parameter가 $\lambda$ 인 spatial Poisson Process를 따름

Example 6.11

A spatial Poisson process in the plane has parameter $\lambda$ = 1∕2.
Find the probability that a disk of radius 2 centered at (3, 4) contains exactly 5 points.

→ param 이 1/2 인 공간 포아송 과정에서, 중심이 3,4이고 반지름이 2 인 원 안에 점이 5개 있을 확률을 구하시오

$|C| = 4\pi$

Uniform dist & Simulation

Uniform distribution 의 2차원 적용, → 시간 축 내에서 event 발생이 uniform을 따르는 것 처럼,

n개의 point가 있다는 가정 하에 n 개의 점은 A내에서 균일하게 분포

→ Complete Spatial Randomness 모델이라 불림

lambda = 100, r = 0.2, 10만회 시뮬레이션 → 각 시뮬 별 원 내에 count 수 모음

→ 10만번중 52058번은 10~14개의 point가 원 내에 있음

import numpy as np

lambda_val = 100
square_area = 1
trials = 100000
sim_list = np.zeros(trials)

for i in range(trials):
    N = np.random.poisson(lambda_val * square_area)
    x_points = np.random.uniform(0, 1, N)
    y_points = np.random.uniform(0, 1, N)
    ct = np.sum((np.square(x_points - 0.7) + np.square(y_points - 0.7)) <= np.square(0.2))
    sim_list[i] = ct

print(f"Mean: {np.mean(sim_list)}")
print(f"Variance: {np.var(sim_list)}")

# Compare with theoretical mean and variance
theoretical_mean = lambda_val * np.pi * np.square(0.2)
print(f"Theoretical Mean: {theoretical_mean}")

spatial poisson process가 이론적 값과 비슷한 시뮬레이션 결과를 유지 →

포아송 과정으로 모델링하면 공간 내에 점이 1,2,3.. 개 인 확률을 모두 구할 수 있음

---

Point process

공간 포아송 과정은 Point process의 특별한 경우

📌

Complete spatial randomness 와 얼마나 다른지를 spatial poisson 으로 측정할 수 있음

→나와 가장 가까운 거리의 기댓값, 분산 구하기

• measure : nearest neighbor distance : 한 점에서 가장 가까운 다른 점 까지의 거리

두 점 사이의 거리 D 가 특정 값 t 보다 크다는 사건 {D > t} 는 x 주위에 반지름 t 의 원내에 점이 존재하지 않는 경우

📌

Notation

$x$ : fixed point

$D$ : distance from $x$ to its nearest neighbor

$\lambda$ : parameter of spatial poisson process

t : 기준 거리

D가 t보다 클 확률은, x 주위에 반지름 t인 원 내에 event가 0이라는 뜻

가장 가까운 거리 D에 대한 pdf

Example 6.12

특정 거리 t 이상 떨어져 있는 이웃 점들이 얼마나 흔하지 않은지를 나타냄

---

6.7 NONHOMOGENEOUS POISSON PROCESS

비균질 포아송 과정 - 항상 일정한 rate으로 도착한다는 가정은 비현실적

→ 맛나샘 → 1시에 rate이 피크를 찍고, 11시와 2시 rate은 더 낮음

lambda가 일정하지 않고, 모든 t에 대해 poisson process의 mean이 위 식을 따름.

For $0 ≤ q < r ≤ s < t, Nr − Nq and Nt − Ns$ are independent random variables.

---

6.8 Parting Paradox

버스는 포아송 프로세스에 따라 버스 정류장에 도착하고, 버스 간의 평균 시간은 10분

A가 시간 t 에 버스 정류장에 도착했을 때 버스를 기다릴 것으로 예상되는 시간은 얼마?

지수분포대로 10분 기다리냐 vs 아니면 연속된 버스 도착 사이에 도착하니 기댓값의 절반인 5분이 되어야 하냐

결론, 지수분포대로 10분 기다리고, A의 앞뒤 버스 도착 시간 차이가 20분이기 때문에 그 절반인 10분 기다림

📌

대기시간 역설

$\lambda=\frac{1}{10}$

$[0,200]$

→ 평균 대기시간 10분

→ 리사가 도착했을 때 전후 버스시간 간격은 20분 (하지만 그래도 평균 시간간격은 10분)

→ 편향 샘플링 length-biased or size-biased sampling.

랜덤하게 도착 시간을 선택하면, 시간간격이 긴 시간 interval 사이에 놓일 확률이 높다.

애초에 긴 시간 간격 사이에 놓일 확률이 높은 상태로 뽑혔기 때문에, 전체 평균 대기시간이 10분일지라도, 어떤 한 점을 짚었을 때 대기시간은 길어진다.

리사가 도착했을 때, 리사 도착 앞뒤로 도착한 버스 사이의 간격은 20분이다.

대기시간 역설 증명

📌

$S_{N_t}$ : 시간 t 직전에 도착한 버스

$S_{N_t+1}$ : 시간 t 직후 도착한 버스 ($N_t$ t까지 도착 수 +1 번째 도착)

특정 시점 t 기준 앞뒤 도착시간은 평균 도착시간의 약 2배