Applied Statistics and Data Mining

• 確率論を文法として使う分野・領域
• 事象、空間、集合

• 確率
• 確率空間は形だけ
• 条件付き確率

• 条件付き確率 <jsm>{\rm Pr}\left[A|B\right]=\frac課題 #1]]とその[[http://stat.inf.uec.ac.jp/library/prob.2011/prob-4-solutions-20110627.pdf|略解]]。 * 確率変数 <jsm>X</jsm> * 確率分布 <jsm>X\sim F</jsm> * 累積分布関数 <jsm>F\left(x\right)={\rm Pr}\left[X\leq x\right]</jsm> * 確率関数 <jsm>p\left(x\right)=F\left(x\right)-F\left(x-1\right)</jsm> * 確率密度関数 <jsm>f\left(x\right)=\frac{d}{dx}F\left(x\right)</jsm> * スティルチェス積分 <jsm>E_X\left[g\left(X\right)\right] = \int_{\Omega} g\left(x\right)dF\left(x\right)</jsm>（いちおし！） ==== #5 2011.05.12 ==== * 密度関数と確率関数 * 要約統計量 * 平均 * 分散 * モーメント * 線形変換の平均と分散 ==== #6 2011.05.19 ==== * ラプラス変換 * モーメント母関数 ==== #7 2011.05.26 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-7-note-and-quiz-20110527.pdf|課題#2(2011.05.27版)]] * ベルヌーイ分布 * 二項分布 木曜日に配布した[[http://stat.inf.uec.ac.jp/library/prob.2011/prob-7-note-and-quiz-20110526.pdf|課題#2のプリント(2011.05.26版)]]の#2-1に、全確率が1にならないタイプミスがありました。 正しくは <jsmath> Pr\left[X=0\right]=0.1, Pr\left[X=1\right]=0.5, Pr\left[X=2\right]=0.4 </jsmath> です。この訂正、土曜日以降、掲示もします。ご免なさい。 ==== #8 ==== ==== #9 ==== ==== #10 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-a-note-and-quiz-20110616.pdf|課題#3]] ==== #11 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-a-solutions-20110623-draft.pdf|課題#3の解答・手書き版]] (昨日、別の仕事のトラブル対応に追われて、タイプが間に合いませんでした。これからタイプに回しますが、とりあえず手書きのノートを暫定公開します。) [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-a-solutions-20110629.pdf|課題#3の解答・暫定公開版]] (タイプは終わりましたが、未推敲のため、タイプミスがありそうな気がします。) * 2次元連続確率変数の * 同時累積分布関数と同時密度関数 * 周辺累積分布関数と周辺密度関数 * 条件付き累積分布関数と条件付き密度関数 [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-b-note-20110623.pdf|グラフ]] <code> B1 := plot3d(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -3 .. 3, y = -3 .. 3, axes = boxed); B2 := plots[pointplot3d]({seq([3, (1/100)*y, exp(-(1/2)*((1/100)*y)^2)/sqrt(2*Pi)], y = -300 .. 300)}); B3 := plots[pointplot3d]({seq([(1/100)*x, 3, exp(-(1/2)*((1/100)*x)^2)/sqrt(2*Pi)], x = -300 .. 300)}); A1 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -3), y = -3 .. 3, axes = boxed); A2 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -2), y = -3 .. 3, axes = boxed); A3 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -1), y = -3 .. 3, axes = boxed); A4 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = 0), y = -3 .. 3, axes = boxed); plots[display]({B1, B2, B3}); plots[display]({A1, A2, A3, A4}) </code> <code> library(mvtnorm) postscript("prob-b-correlated-bivariate-normal-distribution-scatterplots-positive.eps", width=6, height=6) par(mfrow=c(2,2)) par(cex=0.5) plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0,0,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.5,0.5,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0.5", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.8,0.8,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0.8", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.95,0.95,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0.95", xlab="X.1", ylab="X.2") postscript("prob-b-correlated-bivariate-normal-distribution-scatterplots-negative.eps", width=6, height=6) par(mfrow=c(2,2)) par(cex=0.5) plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0,0,1),ncol=2)),pch=20, main ="Correlation Coefficient: 0", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.5,-0.5,1),ncol=2)),pch=20, main ="Correlation Coefficient: -0.5", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.8,-0.8,1),ncol=2)),pch=20, main ="Correlation Coefficient: -0.8", xlab="X.1", ylab="X.2") plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.95,-0.95,1),ncol=2)),pch=20, main ="Correlation Coefficient: -0.95", xlab="X.1", ylab="X.2") graphics.off() </code> ==== #12 ==== * 同時分布と条件付き分布と周辺分布の関係 * 期待値ベクトル * 分散共分散行列 ==== #13 ==== * 二変量正規分布 * 期待値ベクトル * 分散共分散行列 * 相関係数 * 条件付き分布 * 周辺分布 ==== #14 2011.07.14 ==== [[http://stat.inf.uec.ac.jp/library/prob.2011/prob-e-note-and-quiz-20110714.pdf|課題4]] ([[http://stat.inf.uec.ac.jp/library/prob.2011/prob-e-solutions-20110802.pdf|解答例]] (手書きの汚いノートで済みません。レポートを8/2と8/3の二日間は、西5号館3階の事務室で返却しています。8/4には試験会場に持って行くので、事務室からは引き上げます。)) * マルコフの不等式 * チェビシェフの不等式 * 大数の法則 参考書 * 宮川雅巳(1998)「統計技法」, 共立出版. === 課題4への補足 === == 離散分布の共分散と相関係数 == <jsm>\left(X_1, X_2\right)</jsm>が有限個の値の組み合わせしかとらない場合、それぞれの値の組み合わせをとる確率を <jsm>p\left(x_1, x_2\right)</jsm> と置くと、 <jsmath> E\left[X_1\right] = \sum_{x_1} \sum_{x_2} x_1 p\left(x_1, x_2\right) = \sum_{x_1} x_1 \sum_{x_2} p\left(x_1, x_2\right) = \sum_{x_1} x_1 p_1\left(x_1\right) </jsmath> と <jsmath> E\left[X_2\right] = \sum_{x_1} \sum_{x_2} x_2 p\left(x_1, x_2\right) = \sum_{x_2} x_2 \sum_{x_1} p\left(x_1, x_2\right) = \sum_{x_2} x_2 p_2\left(x_2\right) </jsmath> と <jsmath> E\left[X_1X_2\right] = \sum_{x_1} \sum_{x_2} x_1 x_2 p\left(x_1, x_2\right) </jsmath> から、今回の参考書からの出題で証明させられる <jsmath> Cov\left[X_1, X_2\right] = E\left[X_1X_2\right]-E\left[X_1\right] E\left[X_2\right] </jsmath> から共分散を求めることができる。 相関係数を計算するにも、 <jsmath> E\left[X_1^2\right] = \sum_{x_1} \sum_{x_2} x_1^2 p\left(x_1, x_2\right) = \sum_{x_1} x_1^2 \sum_{x_2} p\left(x_1, x_2\right) = \sum_{x_1} x_1^2 p_1\left(x_1\right) </jsmath> と <jsmath> E\left[X_2^2\right] = \sum_{x_1} \sum_{x_2} x_2^2 p\left(x_1, x_2\right) = \sum_{x_2} x_2^2 \sum_{x_1} p\left(x_1, x_2\right) = \sum_{x_2} x_2^2 p_2\left(x_2\right) </jsmath> を用いて、周辺分散を <jsmath> V\left[X_1\right] = E\left[X_1^2\right]-\left\{E\left[X_1\right]\right\}^2 </jsmath> と <jsmath> V\left[X_2\right] = E\left[X_2^2\right]-\left\{E\left[X_2\right]\right\}^2 </jsmath> のように求め、これらと先に求めた共分散とを合わせて、 <jsmath> \rho\left[X_1, X_2\right] = \frac{Cov\left[X_1, X_2\right]}{\sqrt{V\left[X_1\right]V\left[X_2\right]

</jsmath> を得る。この手順が一番、計算間違いしにくいんじゃないかと思う。

定数としての条件付き期待値と確率変数としての条件付き期待値の区別。<jsm>\left(X_1, X_2\right)\sim F\left(x_1, x_2\right)</jsm> とする。 <jsm>X_2</jsm>の定義域を<jsm>\Omega_2</jsm>と置くと、

<jsmath> E\left[\phi\left(X_2\right)|X_1=x_1\right]=E_{X_2|X_1}\left[\phi\left(X_2\right)|X_1=x_1\right]=\int_{x_2\in\Omega_2} \phi\left(v\right)dF_{X_2|X_1}\left(v|x_1\right) </jsmath>

最後の積分は、連続分布の場合には、

<jsmath> \int_{x_2\in\Omega_2} \phi\left(v\right)f_{X_2|X_1}\left(v|x_1\right)dv = \int_{x_2\in\Omega_2} \phi\left(v\right) \frac{f_{X_1,X_2}\left(x_1, v\right)}{f_{X_1}\left(x_1\right)}dv </jsmath>

と書ける。離散分布の場合にも同様に、総和記号と条件付き確率の公式(あるいはベイズの定理)を用いて、表せる。いずれにせよ、右辺に大文字は残らないので、これは定数。これを

<jsmath> \mu_\phi\left(x_1\right)=E\left[\phi\left(X_2\right)|X_1=x_1\right] </jsmath>

と置く。

次に、

<jsmath> E\left[\phi\left(X_2\right)|X_1\right] </jsmath>

の方だが、手続きとしてはまず、上の<jsm>X_1=x_1</jsm>を与えた条件付き期待値を計算してから、改めて、<jsm>x_1</jsm>を確率変数<jsm>X_1</jsm>で置き換えることになる。 これはすなわち、<jsm>\mu_\phi\left(x_1\right)</jsm>の<jsm>x_1</jsm>を確率変数とみなせ、という意味で、<jsm>\mu_\phi\left(X_1\right)</jsm> を考えよ、ということだから、これは確率変数 <jsm>X_1</jsm> の関数なので、確率変数。

• 中心極限定理
• レポート一斉返却

参考書：

• 清水良一(1976)「中心極限定理」, 教育出版.
• 竹内啓(1975)「確率分布の近似」, 教育出版.
• 竹内啓(1974)「統計的推定の漸近理論」, 教育出版.
• D. Williams(1991, 赤堀・原・山田・訳, 2004)「マルチンゲールによる確率論」, 培風館.

16回目なので休講。

期末試験。