Stat 110 Strategic Practice 3, Fall 2011

1. Continuing with Conditioning

Problem
Consider the Monty Hall problem, except that Monty enjoys opening Door 2 more than he enjoys opening Door 3, and if he has a choice between opening these two doors, he opens Door 2 with probability $p$, where $\frac{1}{2} \le p \le 1$.

To recap: there are three doors, behind one of which there is a car (which you want), and behind the other two of which there are goats (which you don’t want). Initially, all possibilities are equally likely for where the car is. You choose a door, which for concreteness we assume is Door 1. Monty Hall then opens a door to reveal a goat, and offers you the option of switching. Assume that Monty Hall knows which door has the car, will always open a goat door and offer the option of switching, and as above assume that if Monty Hall has a choice between opening Door 2 and Door 3, he chooses Door 2 with probability $p$ (with $\frac{1}{2} \le p \le 1$).

(a) Find the unconditional probability that the strategy of always switching succeeds (unconditional in the sense that we do not condition on which of Doors 2, 3 Monty opens).

(b) Find the probability that the strategy of always switching succeeds, given that Monty opens Door 2.

(c) Find the probability that the strategy of always switching succeeds, given that Monty opens Door 3.

Sol
(a)
처음 선택을 1번 문을 한다고 가정한다.

자동차가 각각의 문 뒤에 있는 사건을 $D_1,D_2,D_3$라고 하자.

• $D_1$: 자동차가 1번 문에 있음
• $D_2$: 자동차가 2번 문에 있음
• $D_3$: 자동차가 3번 문에 있음

따라서 $D_1$에서는 처음 선택이 정답이고, $D_2,D_3$에서는 처음 선택이 오답이다.

항상 선택을 바꾸는 전략으로 성공하는 사건을 $S$라고 하면,

$P(S)=P(S\mid D_1)P(D_1)+P(S\mid D_2)P(D_2)+P(S\mid D_3)P(D_3)$

이제 각 경우를 살펴보자.

• $D_1$: 처음 선택이 정답이므로 바꾸면 실패 → $P(S\mid D_1)=0$
• $D_2$: 처음 선택이 오답이므로 Monty가 3번 문을 열고, 2번으로 바꾸면 성공 → $P(S\mid D_2)=1$
• $D_3$: 처음 선택이 오답이므로 Monty가 2번 문을 열고, 3번으로 바꾸면 성공 → $P(S\mid D_3)=1$

처음에는 세 문에 자동차가 있을 확률이 각각 $1/3$이므로,

$P(S)=0\times\frac13+1\times\frac13+1\times\frac13=\frac23$

따라서 바꾸는 전략의 성공 확률은 $2/3$이다.

(b)
처음에 1번 문을 골랐고 몬티가 2번 문을 열었을 때 바꾸어 성공한다는 것은, 자동차가 3번 문 뒤에 있는 경우이다.

몬티가 $i$번 째 문을 여는 것을 $C_i$로 가정하면, 우리가 구하고자 하는 조건부 확률은 $P(D_3 \mid C_2)$이다.

$P(C_2)$는 law of total probability 에 의해 다음과 같다.

자동차가 있을 확률은 대칭, 즉 동등하기에 $\text{P}(D_1) = \text{P}(D_2) = \text{P}(D_3) = \frac{1}{3}$이다.

$P(C_1 \mid D_1)$은 자동차가 1번 문에 있으면, 몬티는 2번, 3번 문을 둘 다 열 수 있다. 몬티는 2번 문을 확률 $p$로 열기 때문에 $P(C_1 \mid D_1) = p$이다.

$\text{P}(C_2 \mid D_2)$는 자동차가 2번 문에 있으면, 몬티는 3번 문 밖에 열지 못한다. 따라서 $\text{P}(C_2 \mid D_2) = 0$이다.

$\text{P}(C_2 \mid D_3)$는 자동차가 3번 문에 있으면, 몬티는 무조건 2번 문 밖에 열지 못한다. 따라서 $\text{P}(C_2 \mid D_3) = 1$이다.

최종적으로 다음과 같다.

(c)
처음에 1번 문을 골랐고 몬티가 3번 문을 열었을 때 바꾸어 성공한다는 것은, 자동차가 2번 문 뒤에 있는 경우이다.

2번 문제와 구조가 완전히 동일하지만, 몬티가 3번 문을 고를 확률이 $1-p$이다.

Problem
For each statement below, either show that it is true or give a counterexample. Throughout, $X, Y, Z$ are discrete random variables.

(a) If $X$ and $Y$ are independent and $Y$ and $Z$ are independent, then $X$ and $Z$ are independent.

(b) If $X$ and $Y$ are independent, then they are conditionally independent given $Z$.

(c) If $X$ and $Y$ are conditionally independent given $Z$, then they are independent.

(d) If $X$ and $Y$ have the same distribution given $Z$, i.e., for all $a$ and $z$, we have $P(X = a \mid Z = z) = P(Y = a \mid Z = z)$, then $X$ and $Y$ have the same distribution.

Sol
(a)
거짓이다. $X = Z$일 경우가 반례가 된다.

(b)
거짓이다.

공정한 동전 두 개를 독립적으로 던져서 나온 결과를 각각 $X$와 $Y$라고 하자.
$X,Y\in\{0,1\}$이고 둘은 독립이다.
여기서 두 변수의 합을 나타내는 변수 $Z=X+Y$를 정의하자.
$X$와 $Y$ 자체는 독립이지만, $Z$의 값을 알고 나면 둘은 더 이상 독립이 아니다.
예를 들어 $Z=1$이라는 것을 알고 있다면 $X=1$일 때 $Y$는 반드시 $0$이어야 한다.
즉, $Z$라는 조건이 주어지면 $X$와 $Y$ 사이에 종속성이 생긴다.

(c)
거짓이다.

동전의 앞면이 나올 확률을 결정하는 변수 $Z$가 있다고 하자.
$Z$의 값을 알고 있으면 동전 두 번의 결과 $X,Y$는 서로 독립이다.

하지만 $Z$를 모르면 $X$의 결과를 통해 $Z$에 대한 정보를 얻을 수 있고, 이는 $Y$의 결과에도 영향을 준다.

(d)
참이다.
$P(X = a \mid Z = z) = P(Y = a \mid Z = z)$이라면, law of toal probability에 의해 $P(X = a) = \sum_z P(X = a \mid Z = z)P(Z = z)$로 $P(X = a)$를 구할 수 있다.

또한 $P(Y = a) = \sum_z P(Y = a \mid Z = z)P(Z = z)$이며, 이 때 $P(X = a \mid Z = z) = P(Y = a \mid Z = z)$이므로 $P(X = a) = P(Y = a)$이다.

---

2. Simpson's Paradox

Problem
(a) Is it possible to have events $A$, $B$, $E$ such that $P(A\vert{}E) < P(B\vert{}E)$ and $P(A\vert{}E^c) < P(B\vert{}E^c)$, yet $P(A) > P(B)$? That is, $A$ is less likely under $B$ given that $E$ is true, and also given that $E$ is false, yet $A$ is more likely than $B$ if given no information about $E$. Show this is impossible (with a short proof) or find a counterexample (with a "story" interpreting $A$, $B$, $E$).

(b) Is it possible to have events $A$, $B$, $E$ such that $P(A\vert{}B,E) < P(A\vert{}B^c,E)$ and $P(A\vert{}B,E^c) < P(A\vert{}B^c,E^c)$, yet $P(A\vert{}B) > P(A\vert{}B^c)$? That is, given that $E$ is true, learning $B$ is evidence against $A$, and similarly given that $E$ is false; but given no information about $E$, learning that $B$ is true is evidence in favor of $A$. Show this is impossible (with a short proof) or find a counterexample (with a "story" interpreting $A$, $B$, $E$).

Sol
(a)
Law of total property에 따라 $P(A), P(B)$를 다음과 같이 표현할 수 있다.

$P(A\vert{}E) < P(B\vert{}E)$이고 $P(A\vert{}E^c) < P(B\vert{}E^c)$이므로 무조건 $P(A) < P(B)$이다.

그러므로 불가능하다.

(b)
Law of total property에 따라 $P(A\vert{}B), P(A\vert{}B^C)$를 다음과 같이 표현할 수 있다.

$P(A\vert{}B,E) < P(A\vert{}B^c,E)$이고 $P(A\vert{}B,E^c) < P(A\vert{}B^c,E^c)$이지만, $P(B,E) >>>P(B^c,E)$와 $P(B,E^c) >>>P(B^c,E^c)$이면 $P(A\vert{}B) > P(A\vert{}B^c)$이 가능하다.

즉 Simpson's Paradox이다. 가중치가 극단적이면 세부 집단의 결과와 전체 결과가 반대로 나타날 수 있다.

Problem
Consider the following conversation from an episode of The Simpsons:
Lisa: Dad, I think he’s an ivory dealer! His boots are ivory, his hat is ivory, and I’m pretty sure that check is ivory.
Homer: Lisa, a guy who’s got lots of ivory is less likely to hurt Stampy than a guy whose ivory supplies are low.

Here Homer and Lisa are debating the question of whether or not the man (named Blackheart) is likely to hurt Stampy the Elephant if they sell Stampy to him. They clearly disagree about how to use their observations about Blackheart to learn about the probability (conditional on the evidence) that Blackheart will hurt Stampy.

(a) Define clear notation for the various events of interest here.

(b) Express Lisa’s and Homer’s arguments (Lisa’s is partly implicit) as conditional probability statements in terms of your notation from (a).

(c) Assume it is true that someone who has a lot of a commodity will have less desire to acquire more of the commodity. Explain what is wrong with Homer’s reasoning that the evidence about Blackheart makes it less likely that he will harm Stampy

Sol
(a)
$H$를 스탬피를 해칠 사건, $L$을 많은 양의 상아를 가지고 있는 사건, $D$를 상아 상인인 사건이라고 가정하겠다.

(b)
리사의 주장은 $P(D\vert{}L)$로 표현할 수 있다. 또한 암묵적으로 $P(H\vert{}L) > P(H\vert{}L^c)$임을 주장하고 있다. 호머의 주장은 $P(H\vert{}L) < P(H\vert{}L^c)$이다.

(c)
문제에서 어떤 것을 많이 가지고 있다면, 그것에 대한 욕심이 줄어든다라고 가정했다.

따라서 상아 상인들만 놓고 봐도 $P(H\vert{}L,D) < P(H\vert{}L^c,D)$ 성립하고, 상아 상인이 아닌 사람들만 놓고 봐도 $P(H\vert{}L,D^c) < P(H\vert{}L^c,D^c)$가 성립한다.

하지만 $P(H\vert{}L) < P(H\vert{}L^c)$가 반듯이 성립하지는 않는다. $P(D) >>> P(D^c)$일 수도 있기 때문이다.

각 집단을 따로 분석하면 “상아가 많을수록 해칠 가능성이 낮다”인데, 집단을 합쳐서 보면 오히려 “상아가 많을수록 해칠 가능성이 높다”처럼 나타날 수 있다.

---

3. Gambler’s Ruin

생략

---

4. Bernoulli and Binomial

Problem

(a) In the World Series of baseball, two teams (call them A and B) play a sequence of games against each other, and the first team to win four games wins the series. Let $p$ be the probability that A wins an individual game, and assume that the games are independent. What is the probability that team A wins the series?

(b) Give a clear intuitive explanation of whether the answer to (a) depends on whether the teams always play 7 games (and whoever wins the majority wins the series), or the teams stop playing more games as soon as one team has won 4 games (as is actually the case in practice: once the match is decided, the two teams do not keep playing more games).

Sol
(a)
A가 4승을 하려면, 최소 4경기에서 최대 7경기까지 진행된다. 따라서 4가지 경우에 대해 고려해야한다.

여기서 $\binom{k-1}{3}$인 이유는 마지막에는 무조건 A가 승리해야기 때문이다.

(b)

(a)는 시리즈가 4승을 먼저 달성한 순간 종료되는 조기 종료 규칙을 가정한 경우이다. 반면, 결과와 상관없이 반드시 7경기를 모두 치른다고 가정하면 A가 최종적으로 4승 이상을 거둘 확률은 $\sum_{j=4}^{7}\binom{7}{j}p^j(1-p)^{7-j}$로 나타낼 수 있다.

표본공간의 관점에서 생각해 보자. 실제 시리즈는 A 또는 B가 4승을 먼저 달성하면 종료되지만, 확률을 계산할 때는 모든 경우를 7경기까지 가상으로 확장하여 생각할 수 있다. 이때 각 결과는 7경기의 승패 조합으로 나타낼 수 있다.

이 표본공간에서 다음 두 사건을 생각하자.

• 사건 $X$: 조기 종료 규칙에서 A가 4승을 먼저 달성한다.
• 사건 $Y$: 7경기를 모두 치렀다고 가정했을 때 A가 총 4승 이상을 거둔다.

A가 조기 종료 규칙에서 4승을 먼저 달성했다면, 그 이후의 경기 결과와 관계없이 이미 4승을 확보한 상태이다. 따라서 $X\Rightarrow Y$이다. 반대로 7경기에서 A가 4승 이상을 거두었다면, A가 네 번째 승리를 거둔 시점이 반드시 존재하므로 조기 종료 규칙에서도 A가 승리한다. 따라서 $Y\Rightarrow X$이다.

결국 $X=Y$이므로, 조기 종료되는 실제 경기 수를 직접 고려하지 않고 7경기의 결과를 모두 생각해도 A의 승리 확률은 변하지 않는다.

Problem
A sequence of $n$ independent experiments is performed. Each experiment is a success with probability $p$ and a failure with probability $q = 1 - p$. Show that conditional on the number of successes, all possibilities for the list of outcomes of the experiment are equally likely (of course, we only consider lists of outcomes where the number of successes is consistent with the information being conditioned on).

Sol
$n$번의 독립적인 Bernoulli 시행을 한다고 가정하자.
$n$번째 시행이 성공하면 1, 그렇지 않으면 0이 되는 지시 확률변수 $X_n$이라고 하자.

$X = X_1 + \dots + X_n$라고 할 수 있고, 임의의 $k$와 $a_1 + \dots + a_n = k$를 만족하는 임의의 $a_1, \dots, a_n \in \{0, 1\}$에 대하여 다음과 같이 정의할 수 있다.

위 식에서 알 수 있듯이 $a_1, \dots, a_n$에 의존하지 않는다. $n$번의 독립적인 베르누이 시행에서, 정확히 $k$번의 성공이 있었다는 조건이 주어졌을 때, $k$개의 성공과 $n-k$개의 실패로 이루어진 $\binom{n}{k}$개의 가능한 모든 결과들은 동등한 확률을 갖는다는 것을 알 수 있다.

5번의 시행 중 2번이 성공하는 경우의 수는 $\binom{5}{2}=10$이고, 각 결과는 동일한 확률 $\frac{1}{10}$을 가진다.

Problem
Let $X \sim \text{Bin}(n, p)$ and $Y \sim \text{Bin}(m, p)$, independent of $X$.

(a) Show that $X + Y \sim \text{Bin}(n + m, p)$, using a story proof.

(b) Show that $X - Y$ is not Binomial.

(c) Find $P(X = k \mid X + Y = j)$. How does this relate to the elk problem from HW 1?

Sol
(a)
$X$를 서로 독립인 $n$번의 베르누이 시행에서 성공한 횟수라고 하고, $Y$를 추가로 시행한 서로 독립인 $m$번의 베르누이 시행에서 성공한 횟수라고 하자. 각 시행에서 성공할 확률은 $p$이다.

그러면 $X+Y$는 총 $n+m$번의 시행에서 성공한 횟수이므로 다음과 같다.

(b)
이항분포는 절대 음수값을 가질 수 없다. n번 중 k번 성공할 확률을 구하는 분포이기에 k는 0이상이여야 한다. 그러나 $X-Y$는 음수가 나올 수 있다. 따라서 $X-Y$는 이항분포가 아니다.

(c)
조건부 확률에 따라 다음과 같이 쓸 수 있다.

$X$와 $Y$는 독립이므로 다음과 같이 쓸 수 있다.

식에서 $p$가 사라졌으며, 이는 초기하분포와 같다.