Applied Statistics and Data Mining

• 確率論を文法として使う分野・領域
• 事象、空間、集合

• 確率
• 確率空間は形だけ
• 条件付き確率

• 条件付き確率 <jsm>{\rm Pr}\left[A|B\right]=\frac{{\rm Pr}\left[A {\&} B\right]}{{\rm Pr}\left[B\right]}</jsm>
• 独立性 <jsm>{\rm Pr}\left[A {\&} B\right]={\rm Pr}\left[A\right]{\rm Pr}\left[B\right]</jsm>
• ベイズの定理
• 確率変数
• 離散と連続

課題 #1とその略解。

• 確率変数 <jsm>X</jsm>
• 確率分布 <jsm>X\sim F</jsm>
• 累積分布関数 <jsm>F\left(x\right)={\rm Pr}\left[X\leq x\right]</jsm>
• 確率関数 <jsm>p\left(x\right)=F\left(x\right)-F\left(x-1\right)</jsm>
• 確率密度関数 <jsm>f\left(x\right)=\frac{d}{dx}F\left(x\right)</jsm>
• スティルチェス積分 <jsm>E_X\left[g\left(X\right)\right] = \int_{\Omega} g\left(x\right)dF\left(x\right)</jsm>（いちおし！）

• 密度関数と確率関数
• 要約統計量
• 平均
• 分散
• モーメント
• 線形変換の平均と分散

• ラプラス変換
• モーメント母関数

課題#2(2011.05.27版)

• ベルヌーイ分布
• 二項分布

木曜日に配布した課題#2のプリント(2011.05.26版)の#2-1に、全確率が1にならないタイプミスがありました。 正しくは <jsmath> Pr\left[X=0\right]=0.1, Pr\left[X=1\right]=0.5, Pr\left[X=2\right]=0.4 </jsmath> です。この訂正、土曜日以降、掲示もします。ご免なさい。

課題#3

課題#3の解答・手書き版 (昨日、別の仕事のトラブル対応に追われて、タイプが間に合いませんでした。これからタイプに回しますが、とりあえず手書きのノートを暫定公開します。)

課題#3の解答・暫定公開版 (タイプは終わりましたが、未推敲のため、タイプミスがありそうな気がします。)

• 2次元連続確率変数の
  • 同時累積分布関数と同時密度関数
  • 周辺累積分布関数と周辺密度関数
  • 条件付き累積分布関数と条件付き密度関数

グラフ

B1 := plot3d(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -3 .. 3, y = -3 .. 3, axes = boxed);
B2 := plots[pointplot3d]({seq([3, (1/100)*y, exp(-(1/2)*((1/100)*y)^2)/sqrt(2*Pi)], y = -300 .. 300)});
B3 := plots[pointplot3d]({seq([(1/100)*x, 3, exp(-(1/2)*((1/100)*x)^2)/sqrt(2*Pi)], x = -300 .. 300)});
A1 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -3), y = -3 .. 3, axes = boxed);
A2 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -2), y = -3 .. 3, axes = boxed);
A3 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = -1), y = -3 .. 3, axes = boxed);
A4 := plot(eval(exp(-(1/2)*x^2)/sqrt(2*Pi)*(exp(-(1/2)*y^2)/sqrt(2*Pi)), x = 0), y = -3 .. 3, axes = boxed);
plots[display]({B1, B2, B3});
plots[display]({A1, A2, A3, A4})

library(mvtnorm)

postscript("prob-b-correlated-bivariate-normal-distribution-scatterplots-positive.eps", width=6, height=6)
par(mfrow=c(2,2))
par(cex=0.5)
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0,0,1),ncol=2)),pch=20, 
      main ="Correlation Coefficient: 0", xlab="X.1", ylab="X.2")
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.5,0.5,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: 0.5", xlab="X.1", ylab="X.2")
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.8,0.8,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: 0.8", xlab="X.1", ylab="X.2")
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0.95,0.95,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: 0.95", xlab="X.1", ylab="X.2")

postscript("prob-b-correlated-bivariate-normal-distribution-scatterplots-negative.eps", width=6, height=6)
par(mfrow=c(2,2))
par(cex=0.5)
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,0,0,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: 0", xlab="X.1", ylab="X.2")
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.5,-0.5,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: -0.5", xlab="X.1", ylab="X.2")
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.8,-0.8,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: -0.8", xlab="X.1", ylab="X.2")
plot(rmvnorm(n=3000, mean=c(0,0), sigma=matrix(c(1,-0.95,-0.95,1),ncol=2)),pch=20, 
     main ="Correlation Coefficient: -0.95", xlab="X.1", ylab="X.2")
graphics.off()

• 同時分布と条件付き分布と周辺分布の関係
• 期待値ベクトル
• 分散共分散行列

• 二変量正規分布
  • 期待値ベクトル
  • 分散共分散行列
  • 相関係数
  • 条件付き分布
  • 周辺分布

課題4 (解答例)

• マルコフの不等式
• チェビシェフの不等式
• 大数の法則

参考書

• 宮川雅巳(1998)「統計技法」, 共立出版.

定数としての条件付き期待値と確率変数としての条件付き期待値の区別。<jsm>\left(X_1, X_2\right)\sim F\left(x_1, x_2\right)</jsm> とする。 <jsm>X_2</jsm>の定義域を<jsm>\Omega_2</jsm>と置くと、

<jsmath> E\left[\phi\left(X_2\right)|X_1=x_1\right]=E_{X_2|X_1}\left[\phi\left(X_2\right)|X_1=x_1\right]=\int_{x_2\in\Omega_2} \phi\left(v\right)dF_{X_2|X_1}\left(v|x_1\right) </jsmath>

最後の積分は、連続分布の場合には、

<jsmath> \int_{x_2\in\Omega_2} \phi\left(v\right)f_{X_2|X_1}\left(v|x_1\right)dv = \int_{x_2\in\Omega_2 \phi\left(v\right) \frac{f_{X_1,X_2}\left(x_1, v\right)}{f_{X_1}\left(x_1\right)}dv </jsmath>

と書ける。離散分布の場合にも同様に、総和記号と条件付き確率の公式(あるいはベイズの定理)を用いて、表せる。いずれにせよ、右辺に大文字は残らないので、これは定数。これを

<jsmath> \mu_\phi\left(x_1\right)=E\left[\phi\left(X_2\right)|X_1=x_1\right] </jsmath>

と置く。次に、

<jsmath> E\left[X_2|X_1\right] </jsmath>

を考えると、<jsm>\mu_\phi\left(x_1\right)</jsm>の<jsm>x_1</jsm>を確率変数とみなせ、という意味なので、これは確率変数。 実際、確率変数 <jsm>X_1</jsm> の関数だし。

• 中心極限定理
• レポート一斉返却

参考書：

• 清水良一(1976)「中心極限定理」, 教育出版.
• 竹内啓(1975)「確率分布の近似」, 教育出版.
• 竹内啓(1974)「統計的推定の漸近理論」, 教育出版.
• D. Williams(1991, 赤堀・原・山田・訳, 2004)「マルチンゲールによる確率論」, 培風館.

16回目なので休講。

期末試験。