Final Exam

• 日期: 2019 0108 (二)
• 時間: 1310-1440.
• 地點: 請注意與期中考試略有不同
  • A210: 學號 大於等於 410511300 同學
  • A316: 學號 小於 410511300 同學
• 範圍：上課及習題內容。對照課本章節約為: Sec. 5.1, 5.2, 5.5, 5.7, 5.8; Chapter 7; Sec. 8.1, 8.2, 8.5, 8.6; Chapter 9; Chapter 10; Chapter 11; Sec. 13.1, 13.2. (注意： Law of Large Numbers and Central Limit Theorem 不考）
• 其他：No cheatsheet nor mobile phone. Prepare early and Good Luck!

提早準備，固實會的，加強生疏的，弄懂原來不會的！—-考試不難，會就簡單！

練習題

這是之前承諾要給各位的練習題。為了把可能考得一些主題都放上去，題目比較多些。建議各位先讀讀上課筆記，複習Homework題目。都弄懂之後，找個大約120分鐘的空檔時間，當作考試一樣來做。我們會在1/3檢討部份內容。Happy New Year!

Motivation

平均，特別是由同一母體獨立抽出樣本的平均
在機率與統計中都有重要的地位。Precisely, assume $X_1, \cdots X_n \sim_{iid}$ and
$$\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i$$
我們之前討論了$\bar{X}$的刻劃(characterization)與側寫(snapshot, profiling)。所謂刻劃，這裡是指完整地找出它的分配(cdf, pdf/pmf or mgf)，而側寫是指約略地了解它的大概，如 $E(\bar{X}), Var(\bar{X}).$

當$X_1, \cdots, X_n \sim_{iid}$ 但詳細分配不知道，僅知道
$\mu = E(X_i), \sigma^2=Var(X_i )$ 時，想要完整刻劃 $\bar{X}$的分配當然不可能。但是如果樣本數夠大時，它卻可以透過兩個強大的定理來了解。

Law of Large Numbers

Central Limit Theorem

Final Exam

Date: 2019 0108 (Tue)
Time: 1310-1440
Place: TBA
考試不難，會就簡單。提早準備！

Homework 8

Textbook Sec 11.5: 11.3, 11.4. To be discussed 01/04 in class.

Definition

Independence

$X_1, \cdots, X_n$ are indepdendent
iff for all $x_1, \cdots, x_n \in R$
$$f_{X_1, \cdots, X_n}(x_1, \cdots, x_n)= \Pi_{i=1}^n f_{X_i}(x_i).$$
iff for all $x_1, \cdots, x_n \in R$
$$F_{X_1, \cdots, X_n}(x_1, \cdots, x_n)= \Pi_{i=1}^n F_{X_i}(x_i).$$

iid (independently identically distributioned)

We say $X_1, \cdots, X_n$ are iid if

1. $X_1, \cdots, X_n$ are indepdendent
2. They have the same distribution, ie, $F_{i}(x)=F(x), f_{X_i}(x)=f(x)$ for all i and where $F_{i}(x), f_{X_i}(x)$ is the (marginal) cdf and pdf/pmf of $X_i$ respectively.

Implications

If $X_1, \cdots, X_n$ are indepdendent then

• Probability $$P(X_1 \in A_1, \cdots, X_n \in A_n)= \Pi_{i=1}^n P(X_i \in A_i).$$

• For any functions $g_i, \ i=1, \cdots, n$
  $$E(\Pi_{i=1}^n g_i(X_i))= \Pi_{i=1}^n E( g_i(X_i)$$
  provided the expectations on the right-hand side exist.

• It is much easier to work out what $Y=g(X_1, \cdots, X_n )$ is (ie, find out what its cdf or pdf/pmf or mgf is) or at least some snapshots such as expectation, variance or moments of $Y$.

Illustrations

• Let $X_1, \cdots, X_n \sim_{iid} Bernoulli(p), p \in (0,1)$ then
  $$\sum_{i=1}^n X_i \sim Bin(n, p).$$
• Let $X_1, \cdots, X_n \sim_{iid} N(\mu, \sigma^2))$ then
  $$\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i \sim N(\mu, \frac{\sigma^2}{n}).$$
• Even when the distribution is only known to expectation and variance, we can still get some “pictures” of it. In the sense,
  if $X_1, \cdots, X_n \sim_{iid}$ with $\mu=E(X_i), \sigma^2=Var(X_i)$ then
  $$E(\bar{X})= \mu, Var(\bar{X})=\frac{\sigma^2}{n}.$$
  Note that this is consistent with our Bernoulli and normal cases.

Homework 7

Textbook: Sec. 8.6: 8.1, 8.5, 8.6, 8.9; Sec 9.7: 9.1, 9.3, 9.5, 9.10, 9.11, 9.12. Sec 10.5: 10.2, 10.6, 10.8, 10.16. To be discussed in class 12/27.

目前為止，我們已經學會 random variable 的一些基本。符號上來看，我們常以$X, Y$ 來表示 random variable。接下來我們要拓展這個概念為 random vector. 符號上我們常用 $\mathbf{X, Y}$ 來區分。詳細地寫
$$\mathbf{X}=(X_1, \cdots, X_n)$$
表示一個 n-random vector 其中 $X_1, \cdots, X_n$ 各是random variable。方便討論，先考慮 n=2 的情況。

發想例題

考慮一個銅板投擲兩次的兩種投法：此銅板投擲一次的結果以Beroulli(p) 為模型，pmf 為 $f$. 兩次投擲的結果以$X_1, X_2$表示。

1. $X_1, X_2$ 為此銅板的一個 random sample of size 2。即兩次投擲皆來自同一銅板，且兩次投擲互不關聯，各自獨立。
2. 投擲銅板一次 （$X_1$）後，即將第二次結果直接設為第一次結果（$X_2 \leftarrow X_1$）。

引導問題

• 如何分別刻劃這兩種不同的隨機狀況？ ( $\leadsto$ joint pmf of $X_1, X_2$ for these two scenarios )
• $X_1, X_2$ 個別隨機狀況與整體情形？( joint pmf and marginal pmf’s and relation between them)
• joint pmf $\rightarrow$ marginal pmf, but knowing marginal pmf of $X_1, X_2$ cannot determine the joint pmf

對照於之前單一隨機變數，隨機向量也有相似的刻劃

• joint pmf/pdf, joint cdf

其中 joint pmf/pdf 皆須滿足pmf 或pdf 的基本性質。除此之外，由joint pmf/pdf還可推導出

• marginal pmf/pdf

值得提醒地，他們本身也還是pmf/pdf。因此也會滿足pmf 或是 pdf 的基本性質。再做相關計算的時候，這是一個迅速驗算的點。另外，類同地，pmf 可以理解為機率；而 pdf 並沒有機率的解釋，只是用來計算機率。

練習題

請參考上課筆記

Profiling a random variable

E(X) 與 Var(X) 可以理解為一個隨機變數的快照：E(X) 大致描述X的中央趨勢 (central tendency)而 Var(X) 則反映 X 的分散程度。更進一步
Chebyshev’s Inequality
Let X be a random variable with mean $E(X)= \mu, Var(X)=\sigma^2$. Then for any c >0,
$$P(|X-\mu| \geq c) \leq \frac{Var(X)}{c^2}.$$
ref: Textbook: 13.2, page 183

Remark

• Chebyshev’s bound is universal, i.e. for any random variable with finite mean and variance. Therefore, it may not be sharp for some random variables. Besides, it does not work well when c is small.
• Example: Let X be $N(\mu, \sigma^2)$ and take $c=\sigma/2, \sigma, 2 \sigma$. Compute
  $$P(|X-\mu| \geq c)$$
  and compare with the Chebyshev’s bound.

Probability Integral formula

Let X be a random variable with cdf F. Then $F(X) \sim U(0,1).$
Hint of proof. You may start by assuming F has a inverse funciton $F_{-1}$ to get some ideas about what’s going on. However, PIF holds without this assumption.

Homework 6

Textbook Sec 7.6: 7.2, 7.4, 7.8, 7.9, 7.15, 7.17; Sec 13.6: 13.1. To be discussed in class 12/06.

轉換，轉化

If X is a random variable and g is Borel-measurable
then g(X) is again a random variable.

以這門課來說，我們所使用的函數都是你所熟悉的函數，如
$g(x)=a x +b, \ g(x)=x^3 +2x$
他們延伸出的 Y=g(X) 也都是隨機變數。

What is g(X)?

但如何知道他們是什麼隨機變數呢？（這個問題翻成白話就是：Y的cdf $F_Y(y)$, pdf/pmf $f_Y(y)$, mgf $m_Y(t)$ 只要找出三者之一，就完全刻劃了這個隨機變數）
一般常用法

1. 找出 $F_Y(y)$ 與 $F_X(x)$ 之間的關聯
2. 找出 $M_Y(t)$ 與 $M_X(t)$ 之間的關聯，當 g(x) = a x +b 時特別好用
3. 找出 $f_Y(y)$ 與 $f_X(x)$ 之間的關聯。當 f 是 pmf 時比較方便，f 是 pdf 時需要透過 F 的微分完成。當然，有一些一般的公式可以幫助計算，數統時會教。
   ###例：

• X ~ U(0,1). Find cdf and pdf of Y where
  a. $Y=g(X)=X^3$,
  b.$Y=g(X)=(X-0.5)^2$.
• $X \sim N(\mu, \sigma^2)$. Find pdf and cdf of
  $$Z= \frac{X-\mu}{\sigma}$$
• $X \sim N(\mu, \sigma^2)$. Find pdf and cdf of
  $$Y= a X + b$$ where a, b are real numbers.

Expectation and Variance

• $E(a X +b) = a E(X) +b$
• $Var(aX+b) = a^2 Var(X)$
  provided E(X) and Var(X) both exist.

Normal Random Variable

• $X \sim N(\mu, \sigma^2) \Rightarrow \frac{X - \mu}{\sigma} = Z \sim N(0,1)$.
  這是一個非常OP的定理。因為它使得任何一般常態隨機變數的機率計算都可以轉化為標準常態隨機變數的機率計算。具體來說
• For any 0<a<b,
  $$P(a<X<b)=\Phi( \frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})$$
  where $\Phi(x)=P(Z \leq x),$ cdf of $Z \sim N(0,1).$
• Properties of $\Phi, \phi$ (respectively, cdf and pdf of standard normal Z)
• $X \sim N(\mu, \sigma^2)$
  • Verify that pdf of X is indeed a pdf
  • $E(X)=\mu,\ Var(X)= \sigma^2.$
  • Moment-generating function of X
    $$M(t)=E(e^{tX}) = \exp({\mu t + \frac{\sigma^2 t^2}{2}})$$

Moment-generating function

• 小用：計算/生成moments: for k, a positive integer
  $$E(X^k) = M^{(k)}(0)= M^{(k)}(t) |_{t=0}$$ if exists and $M^{(k)}(t)$ is the k-th derivative of M(t).
• 大用：Identify the random variable. If exists, moment-generating function uniquely determines a random variable. 簡單說，mgf 唯一決定一個隨機變數。也就是說，若有兩個隨機變數有相同的 mgf 則他們有相同的分配。

Normal Random Variable

• X is a normal random variable with E(X)= $\mu \in \mathcal{R}$ and Var(X)= $\sigma^2 >0$
  $$X \sim N(\mu, \sigma^2)$$
• pdf f(x), cdf F(X)
• $$X \sim N(\mu, \sigma^2) \Rightarrow \frac{X-\mu}{\sigma} \sim N(0,1).$$ A N(0,1) random variable, i.e. a normal random variable with mean zero and variance 1, is commonly called a standard normal and denoted by Z
• pdf and cdf of Z ~ N(0,1). Their definitions and properties
  • pdf
    $$\phi(x) = \frac{1}{\sqrt{2 \pi }} e^{- x^2/2}$$
  • cdf
    $$\Phi(x) = \int_{-\infty}^x \phi(t) dt.$$
  • Properties

Homework 5

Textbook Sec 5.8: Quick Exercises: 5.6, 5.7; Exercises: 5.13, 5.14. To be discussed in class 11/22.

基礎機率期中考

• 時間：11/6 (二). 1310-1440。
• 地點：
  • A210: 學號 大於等於 410511322 同學
  • A316: 學號 小於 410511322 同學
• 範圍：上課及習題內容。
• 其他：No cheatsheet nor mobile phone. Prepare early and Good Luck!

期中考成績統計

n=90; Sophomore (2): 3+ = 37: 53; sd. = 20.87

The decimal point is 1 digit(s) to the right of the |

0| 00555550003355578
2| 0003355589000233333555555
4| 000002355780000355555578889
6| 0225588000000359
8| 0050
10| 1

顏色意義：警示 危險

• 詳細分析/圖表
• Statistics2016: Explore, Analysis

• Syllabus Navigator: C. Andy Tsao Office: SE A411. Tel: 3520
• Lectures: Tue. 1310-1500, Thr. 1610-1700 @ AE 211 Office Hours: Mon. 15:10-16:00, Thr. 12:10-13:00. @ SE A411 or by appointment. (Mentor Hour: Mon, Tue 1200-1300.)

• TA: 劉雅涵 何尚謙 Tel: 3517. ＠A408. Office Hour;

  • 雅涵: 星期二 16:00-18:00
  • 尚謙: 星期四 17:10-19:10 除了11/01(四)因有事,改為10/31(三) 17:00-19:00

• Textbook: Dekking, Kraaikamp, Lopuhaä and Meester (2005). A Modern Introduction to Probabilit and Statistics: Understanding Why and How. Springer, London. Legal download from NDHU

期中考：11/6 (二) 1310–1440.