Applied Statistics and Data Mining

• 確率論を文法として使う分野・領域
• 事象、空間、集合

• 確率
• 確率空間は形だけ
• 条件付き確率

• 条件付き確率 <jsm>{\rm Pr}\left[A|B\right]=\frac課題 #1]]とその[[http://stat.inf.uec.ac.jp/library/prob.2011/prob-4-solutions-20110627.pdf|略解]]。 * 確率変数 <jsm>X</jsm> * 確率分布 <jsm>X\sim F</jsm> * 累積分布関数 <jsm>F\left(x\right)={\rm Pr}\left[X\leq x\right]</jsm> * 確率関数 <jsm>p\left(x\right)=F\left(x\right)-F\left(x-1\right)</jsm> * 確率密度関数 <jsm>f\left(x\right)=\frac{d}{dx}F\left(x\right)</jsm> * スティルチェス積分 <jsm>E_X\left[g\left(X\right)\right] = \int_{\Omega} g\left(x\right)dF\left(x\right)</jsm>（いちおし！） ==== #5 2011.05.12 ==== * 密度関数と確率関数 * 要約統計量 * 平均 * 分散 * モーメント * 線形変換の平均と分散 ==== #6 2011.05.19 ==== * ラプラス変換 * モーメント母関数 ==== #7 2011.05.26 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-7-note-and-quiz-20110527.pdf|課題#2(2011.05.27版)]] * ベルヌーイ分布 * 二項分布 木曜日に配布した[[http://stat.inf.uec.ac.jp/library/prob.2011/prob-7-note-and-quiz-20110526.pdf|課題#2のプリント(2011.05.26版)]]の#2-1に、全確率が1にならないタイプミスがありました。 正しくは <jsmath> Pr\left[X=0\right]=0.1, Pr\left[X=1\right]=0.5, Pr\left[X=2\right]=0.4 </jsmath> です。この訂正、土曜日以降、掲示もします。ご免なさい。 ==== #8 ==== ==== #9 ==== ==== #10 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-a-note-and-quiz-20110616.pdf|課題#3]] ==== #11 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-a-solutions-20110623-draft.pdf|課題#3の解答・手書き版]] (昨日、別の仕事のトラブル対応に追われて、タイプが間に合いませんでした。これからタイプに回しますが、とりあえず手書きのノートを暫定公開します。) [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-a-solutions-20110629.pdf|課題#3の解答・暫定公開版]] (タイプは終わりましたが、未推敲のため、タイプミスがありそうな気がします。) * 2次元連続確率変数の * 同時累積分布関数と同時密度関数 * 周辺累積分布関数と周辺密度関数 * 条件付き累積分布関数と条件付き密度関数 [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-b-note-20110623.pdf|グラフ]] <code> B1 := plot3d(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -3 .. 3, y = -3 .. 3, axes = boxed); B2 := plots[pointplot3d]({seq([3, (1/100)*y, exp(-(1/2)*((1/100)*y)^2)/sqrt(2*Pi)], y = -300 .. 300)}); B3 := plots[pointplot3d]({seq([(1/100)*x, 3, exp(-(1/2)*((1/100)*x)^2)/sqrt(2*Pi)], x = -300 .. 300)}); A1 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -3), y = -3 .. 3, axes = boxed); A2 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -2), y = -3 .. 3, axes = boxed); A3 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -1), y = -3 .. 3, axes = boxed); A4 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = 0), y = -3 .. 3, axes = boxed); plots[display]({B1, B2, B3}); plots[display]({A1, A2, A3, A4}) </code> <code> library(mvtnorm) postscript("prob-b-correlated-bivariate-normal-distribution-scatterplots-positive.eps", width=6, height=6) par(mfrow=c(2,2)) par(cex=0.5) plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0,0,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.5,0.5,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0.5", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.8,0.8,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0.8", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.95,0.95,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0.95", xlab="X.1", ylab="X.2") postscript("prob-b-correlated-bivariate-normal-distribution-scatterplots-negative.eps", width=6, height=6) par(mfrow=c(2,2)) par(cex=0.5) plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0,0,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.5,-0.5,1),ncol=2)),pch=20, main ="Correlation Coefficient: -0.5", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.8,-0.8,1),ncol=2)),pch=20, main ="Correlation Coefficient: -0.8", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.95,-0.95,1),ncol=2)),pch=20, main ="Correlation Coefficient: -0.95", xlab="X.1", ylab="X.2") graphics.off() </code> ==== #12 ==== * 同時分布と条件付き分布と周辺分布の関係 * 期待値ベクトル * 分散共分散行列 ==== #13 ==== * 二変量正規分布 * 期待値ベクトル * 分散共分散行列 * 相関係数 * 条件付き分布 * 周辺分布 ==== #14 2011.07.14 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-e-note-and-quiz-20110714.pdf|課題4]] ([[http://stat.inf.uec.ac.jp/library/prob.2011/prob-e-solutions-20110802.pdf|解答例]] (手書きの汚いノートで済みません。レポートを8/2と8/3の二日間は、西5号館3階の事務室で返却しています。8/4には試験会場に持って行くので、事務室からは引き上げます。), [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-e-solutions-20110802-last-page.pdf|解答例の最後のページ]] (スキャンミスしました。重ね重ね済みません。)) * マルコフの不等式 * チェビシェフの不等式 * 大数の法則 参考書 * 宮川雅巳(1998)「統計技法」, 共立出版. === 課題4への補足 === == 離散分布の共分散と相関係数 == <jsm>\left(X_1, X_2\right)</jsm>が有限個の値の組み合わせしかとらない場合、それぞれの値の組み合わせをとる確率を <jsm>p\left(x_1, x_2\right)</jsm> と置くと、 <jsmath> E\left[X_1\right] = \sum_{x_1} \sum_{x_2} x_1 p\left(x_1, x_2\right) = \sum_{x_1} x_1 \sum_{x_2} p\left(x_1, x_2\right) = \sum_{x_1} x_1 p_1\left(x_1\right) </jsmath> と <jsmath> E\left[X_2\right] = \sum_{x_1} \sum_{x_2} x_2 p\left(x_1, x_2\right) = \sum_{x_2} x_2 \sum_{x_1} p\left(x_1, x_2\right) = \sum_{x_2} x_2 p_2\left(x_2\right) </jsmath> と <jsmath> E\left[X_1X_2\right] = \sum_{x_1} \sum_{x_2} x_1 x_2 p\left(x_1, x_2\right) </jsmath> から、今回の参考書からの出題で証明させられる <jsmath> Cov\left[X_1, X_2\right] = E\left[X_1X_2\right]-E\left[X_1\right] E\left[X_2\right] </jsmath> から共分散を求めることができる。 相関係数を計算するにも、 <jsmath> E\left[X_1^2\right] = \sum_{x_1} \sum_{x_2} x_1^2 p\left(x_1, x_2\right) = \sum_{x_1} x_1^2 \sum_{x_2} p\left(x_1, x_2\right) = \sum_{x_1} x_1^2 p_1\left(x_1\right) </jsmath> と <jsmath> E\left[X_2^2\right] = \sum_{x_1} \sum_{x_2} x_2^2 p\left(x_1, x_2\right) = \sum_{x_2} x_2^2 \sum_{x_1} p\left(x_1, x_2\right) = \sum_{x_2} x_2^2 p_2\left(x_2\right) </jsmath> を用いて、周辺分散を <jsmath> V\left[X_1\right] = E\left[X_1^2\right]-\left\{E\left[X_1\right]\right\}^2 </jsmath> と <jsmath> V\left[X_2\right] = E\left[X_2^2\right]-\left\{E\left[X_2\right]\right\}^2 </jsmath> のように求め、これらと先に求めた共分散とを合わせて、 <jsmath> \rho\left[X_1, X_2\right] = \frac{Cov\left[X_1, X_2\right]}{\sqrt{V\left[X_1\right]V\left[X_2\right]

</jsmath> を得る。この手順が一番、計算間違いしにくいんじゃないかと思う。

定数としての条件付き期待値と確率変数としての条件付き期待値の区別。<jsm>\left(X_1, X_2\right)\sim F\left(x_1, x_2\right)</jsm> とする。 <jsm>X_2</jsm>の定義域を<jsm>\Omega_2</jsm>と置くと、

<jsmath> E\left[\phi\left(X_2\right)|X_1=x_1\right]=E_{X_2|X_1}\left[\phi\left(X_2\right)|X_1=x_1\right]=\int_{x_2\in\Omega_2} \phi\left(v\right)dF_{X_2|X_1}\left(v|x_1\right) </jsmath>

最後の積分は、連続分布の場合には、

<jsmath> \int_{x_2\in\Omega_2} \phi\left(v\right)f_{X_2|X_1}\left(v|x_1\right)dv = \int_{x_2\in\Omega_2} \phi\left(v\right) \frac{f_{X_1,X_2}\left(x_1, v\right)}{f_{X_1}\left(x_1\right)}dv </jsmath>

と書ける。離散分布の場合にも同様に、総和記号と条件付き確率の公式(あるいはベイズの定理)を用いて、表せる。いずれにせよ、右辺に大文字は残らないので、これは定数。これを

<jsmath> \mu_\phi\left(x_1\right)=E\left[\phi\left(X_2\right)|X_1=x_1\right] </jsmath>

と置く。

次に、

<jsmath> E\left[\phi\left(X_2\right)|X_1\right] </jsmath>

の方だが、手続きとしてはまず、上の<jsm>X_1=x_1</jsm>を与えた条件付き期待値を計算してから、改めて、<jsm>x_1</jsm>を確率変数<jsm>X_1</jsm>で置き換えることになる。 これはすなわち、<jsm>\mu_\phi\left(x_1\right)</jsm>の<jsm>x_1</jsm>を確率変数とみなせ、という意味で、<jsm>\mu_\phi\left(X_1\right)</jsm> を考えよ、ということだから、これは確率変数 <jsm>X_1</jsm> の関数なので、確率変数。

• 中心極限定理
• レポート一斉返却

参考書：

• 清水良一(1976)「中心極限定理」, 教育出版.
• 竹内啓(1975)「確率分布の近似」, 教育出版.
• 竹内啓(1974)「統計的推定の漸近理論」, 教育出版.
• D. Williams(1991, 赤堀・原・山田・訳, 2004)「マルチンゲールによる確率論」, 培風館.

16回目なので休講。 期末試験が16週目になる。

期末試験: 期末試験問題, (採点用解答例(手書き))

ルール

• 通信機能を持たない電卓の持ち込みは可とする
• 出席をとるので学生証を持参のこと
• 退室の願い出は、試験開始の30分後から許可する

お願いごと

• 回答用紙は、可能な限り１ページ単位で使用してほしい

今年はポアソン分布を使って、モーメントの計算、モーメント母関数、和の分布、中心極限定理について、尋ねてみました。

1. 平均も分散も<jsm>\lambda</jsm>なポアソン分布のモーメント母関数は、講義ノートにもある通り<jsm>e^{\lambda}exp\left(\lambda e^t\right)</jsm>
2. 3次のモーメントはモーメント母関数のテイラー展開の3次の項の係数
3. <jsm>\lambda</jsm>が大きくなるにつれて、密度関数が対称に近づくことが、<jsm>\beta_1\rightarrow 0</jsm> (<jsm>\lambda\rightarrow\infty</jsm>)から確認できる
4. ポアソン分布に互いに独立に従う確率変数の和の分布はポアソン分布に従うことも、モーメント母関数の積から確認できる
5. ポアソン分布に互いに独立に従う確率変数の和を<jsm>n</jsm>で割ると、「平均」になる。それで中心極限定理の出番。

条件付き確率に関する計算と、共分散や相関係数の計算を定式化できるかどうかを、離散分布を用いて尋ねてみました。一番、計算間違いをしにくい計算手順は、たぶん次の通り。

1. 3×5の確率表ですが、条件をつけると3×3に減り、レポート課題と同じ程度の計算量になる。しかも、<jsm>\left|X-Y\right|\leq 1</jsm>となる確率は、頑張って0.8にしてみた。
2. 条件付き期待値を <jsm>\mu_{1,x} = \frac{5}{4}\sum_{\left|x-y\right|\leq 1} x p\left(x,y\right)</jsm>, <jsm>\mu_{1,y} = \frac{5}{4}\sum_{\left|x-y\right|\leq 1} y p\left(x,y\right)</jsm> などと、確率を掛けたものを足してから、あとで5/4をかける(=0.8で割る)
3. 条件付きの二乗の期待値や積の期待値も同様に <jsm> \mu_{1,x}= \frac{5}{4}\sum_{\left|x-y\right|\leq 1} x^2 p\left(x,y\right)</jsm>, <jsm>\mu_{2,y} = \frac{5}{4}\sum_{\left|x-y\right|\leq 1} y^2 p\left(x,y\right)</jsm>, <jsm>\mu_{2,xy} = \frac{5}{4}\sum_{\left|x-y\right|\leq 1} xy p\left(x,y\right)</jsm>, などと、確率を掛けたものを足してから、あとで5/4をかける(=0.8で割る)
4. 条件付き共分散が <jsm>\mu_{2,xy}-\mu_{1,x}\mu_{1,y}</jsm> であることは、第4回のレポート課題から。
5. 条件付き分散が <jsm>\mu_{2,x}-\mu_{1,x}^2</jsm> と <jsm>\mu_{2,y}-\mu_{1,y}^2</jsm> であることは、問1の(2)式から。

確率の値、和や積分の範囲は変わるけど、期待値やモーメントの計算手順には、条件付きも条件なしも無いので。

二変量正規分布の周辺分布を得るのは、ベイズの定理などから <jsmath> f\left(x_1, x_2\right)=f_{2|1}\left(x_2|x_1\right)f_1\left(x_1\right) </jsmath> との分解を得れば良い。<jsm>f_{2|1}\left(x_2|x_1\right)</jsm>が<jsm>x_2</jsm>についての密度関数になっていて、<jsm>f_{1}\left(x_1\right)</jsm>が<jsm>x_1</jsm>についての密度関数になっているように、分解すれば良く、密度関数であることはその関数が非負かつ全積分が<jsm>1</jsm>になることで確認できる。もっと言うと、この問題の場合には、正規分布の密度関数であることを確認できれば十分。

1. 周辺分布の密度関数は <jsm>N\left(\mu_1, \sigma^2\right)</jsm> のそれであれば良いので、そのように括り出せば良い。
2. 条件付き分布の密度関数は、同時密度関数を周辺密度関数で割る、ベイズの定理をそのまま使えば良い。

１、２個間違えたぐらいで、大きく減点する気はありませんが、５，６個以上になると、予告してあった問題なのでさすがに。

• 欠席などで受け取っていない課題レポートを回収したい人は、来週の月曜日以降、西五号館6階のエレベータを降りたところに、置いておきますので、各自でどうぞ。不要でしたら、こちらで処分しておきます。(2011.08.05 01:40pm)
• 期末試験は、採点用の詳解の例を作り終えたところで、まだ採点を始めていません。(2011.08.05 01:40pm)