差分
このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン次のリビジョン両方とも次のリビジョン | ||
dm:2013 [2013/06/27 11:25] – watalu | dm:2013 [2013/07/25 08:45] – [更に強度関数を変えてみる] watalu | ||
---|---|---|---|
行 28: | 行 28: | ||
- 下の囲みの中をコードをすべてコピーする | - 下の囲みの中をコードをすべてコピーする | ||
- 起動したRに貼り付けて実行させておく | - 起動したRに貼り付けて実行させておく | ||
- | |||
- | 以下のコードは次の4つの関数を含む。 | ||
- | |||
- | - plot.counting.process: | ||
- | - plot.counting.process.martingale: | ||
- | - count.counting.process: | ||
- | - count.counting.process.martingale: | ||
< | < | ||
行 138: | 行 131: | ||
} | } | ||
</ | </ | ||
+ | |||
+ | 以上のコードは次の4つの関数を含む。 | ||
+ | |||
+ | - plot.counting.process: | ||
+ | - plot.counting.process.martingale: | ||
+ | - count.counting.process: | ||
+ | - count.counting.process.martingale: | ||
=== シミュレーションデータの生成コード === | === シミュレーションデータの生成コード === | ||
行 297: | 行 297: | ||
write.csv(cp.clt, | write.csv(cp.clt, | ||
</ | </ | ||
+ | |||
+ | === レポート提出 Report Submission === | ||
+ | |||
+ | 電子メールにて、[[mailto: | ||
+ | |||
+ | (Please send your report file to [[mailto: | ||
+ | |||
+ | ==== レポート課題 (Quiz) #2 (2013.07.25, | ||
+ | |||
+ | 再発事象データの分析を2ケース分。 | ||
+ | |||
+ | === 課題 Quizes === | ||
+ | |||
+ | Quizes | ||
+ | |||
+ | - Analyse a data set of recurrent events using estimating function approach. (coxph) | ||
+ | - Analyze a data set of software tests by fitting intensity functions. | ||
+ | |||
+ | 課題 | ||
+ | |||
+ | - マルチンゲール中心極限定理が作用している様子を観察(確認)しなさい。 | ||
+ | - 背景となる分布についての関心は横においておき、分布ごとに、計数過程の平均、分散、対象数 n.target、シミュレーション回数 n.simulation の関係を調べなさい。 | ||
+ | |||
+ | === Bladder Cancer Recurrences Data === | ||
+ | |||
+ | ここでは Bladder Cancer Recurrences dataと呼ばれる、個人の再来院データを分析する。 | ||
+ | 観測されているのは、当初時点の、腫瘍の数(number)、最も大きい腫瘍の大きさ(size)、治療の種類(rx)、 | ||
+ | それから履歴として、再来院(event)、及び間隔(start, | ||
+ | |||
+ | |変数|説明|データ| | ||
+ | |number|当初の腫瘍の数|整数| | ||
+ | |size|当初の最も大きい腫瘍の大きさ|整数| | ||
+ | |rx|治療の種類|整数 (0=プラセボ、1=pyrodixine or thiotepa)| | ||
+ | |event|事象の種類|整数 (0=打ち切り、1=来院)| | ||
+ | |start|区間の開始時点|整数(単位は月)| | ||
+ | |stop|区間の終了時点|整数(単位は月)| | ||
+ | |id|患者番号|整数| | ||
+ | |||
+ | オリジナルデータには、再来院時の腫瘍の数や、大きさなど、時間依存の変数も含まれているが、今回は上のデータのみから、 | ||
+ | 病気の進行ではなく、再来院の頻度についての分析を行う。 | ||
+ | |||
+ | === 準備 === | ||
+ | |||
+ | Rで下記のコードを実行し、データ(bladder2)を少し変換したデータ(bladder.data)を作成する。 | ||
+ | |||
+ | < | ||
+ | library(survival) | ||
+ | data(bladder) | ||
+ | bladder.data <- bladder2 | ||
+ | bladder.data$rx[bladder.data$rx==1] <- 0 | ||
+ | bladder.data$rx[bladder.data$rx==2] <- 1 | ||
+ | </ | ||
+ | |||
+ | 最後に使うので、MASSパッケージも読み込んでおく。 | ||
+ | < | ||
+ | library(MASS) | ||
+ | </ | ||
+ | |||
+ | === 治療群毎の強度関数の推定 === | ||
+ | |||
+ | まず治療群(Thiotepaを用いている患者群)の計数過程の再来院確率関数を推定し、グラフに描く。 | ||
+ | そしてコントロール群(プラセボを用いている患者群)の計数過程の生存関数を推定し、先のグラフに追記する。 | ||
+ | ついでに両側95%信頼区間も描いた。 | ||
+ | ここではKaplan-Meier推定量という方法を用いているが、詳細は省略する。 | ||
+ | |||
+ | < | ||
+ | par(mfrow=c(2, | ||
+ | NPfit.1 <- coxph(Surv(start, | ||
+ | KM.1 <- survfit(NPfit.1, | ||
+ | plot(KM.1) | ||
+ | NPfit.2 <- coxph(Surv(start, | ||
+ | KM.2 <- survfit(NPfit.2, | ||
+ | lines(KM.2, lty=3) | ||
+ | plot(KM.2) | ||
+ | lines(KM.1, lty=3) | ||
+ | </ | ||
+ | |||
+ | 95%信頼区間を重ね書きできないので、Treatment群の生存関数と信頼区間を描いてPlacebo群の生存関数を上書きしたものと、 | ||
+ | Placebo群の生存関数と信頼区間を描いてTreatment群の生存関数を上書きしたもの、の2枚を用意した。 | ||
+ | |||
+ | 次に、上記と同等だが、それぞれの累積強度関数を推定してみる。 | ||
+ | ここではNelson-Aalen推定量という推定方法を用いているが、詳細は省略する。 | ||
+ | |||
+ | < | ||
+ | par(mfrow=c(1, | ||
+ | NPfit <- coxph(Surv(start, | ||
+ | KM <- survfit(NPfit, | ||
+ | NA.MF <- data.frame(time=c(0, | ||
+ | plot(NA.MF, type=" | ||
+ | |||
+ | NPfit <- coxph(Surv(start, | ||
+ | KM <- survfit(NPfit, | ||
+ | NA.MF <- data.frame(time=c(0, | ||
+ | lines(NA.MF, | ||
+ | </ | ||
+ | |||
+ | == 問1 == | ||
+ | これら2枚のグラフから、何が読み取れるか? | ||
+ | |||
+ | === 強度関数の回帰分析 === | ||
+ | |||
+ | 上と同じ事を、比例ハザードモデルで推定する。 | ||
+ | |||
+ | < | ||
+ | NPfit <- coxph(Surv(start, | ||
+ | summary(NPfit) | ||
+ | KM <- survfit(NPfit, | ||
+ | NA.MF <- data.frame(time=c(0, | ||
+ | lines(NA.MF, | ||
+ | </ | ||
+ | |||
+ | 出力は次のようになる。 | ||
+ | |||
+ | < | ||
+ | Call: | ||
+ | coxph(formula = Surv(start, stop, event) ~ factor(rx), data = bladder.data, | ||
+ | |||
+ | n= 178 | ||
+ | |||
+ | coef | ||
+ | factor(rx)1 -0.3655 | ||
+ | --- | ||
+ | Signif. codes: | ||
+ | |||
+ | exp(coef) exp(-coef) lower .95 upper .95 | ||
+ | factor(rx)1 | ||
+ | |||
+ | Rsquare= 0.02 (max possible= 0.994 ) | ||
+ | Likelihood ratio test= 3.52 on 1 df, | ||
+ | Wald test = 3.42 on 1 df, | ||
+ | Score (logrank) test = 3.46 on 1 df, | ||
+ | </ | ||
+ | |||
+ | それぞれ、直訳すると、次の通り。 | ||
+ | |||
+ | < | ||
+ | Call: | ||
+ | coxph(formula = Surv(start, stop, event) ~ factor(rx), data = bladder.data, | ||
+ | |||
+ | n= 178 | ||
+ | |||
+ | 推定値 | ||
+ | factor(rx)1 -0.3655 | ||
+ | --- | ||
+ | Signif. codes: | ||
+ | |||
+ | | ||
+ | factor(rx)1 | ||
+ | |||
+ | 重相関係数の平方= 0.02 (max possible= 0.994 ) (今回は無視) | ||
+ | 尤度比検定統計量= 3.52 on 1 df, | ||
+ | ワルド検定統計量= 3.42 on 1 df, | ||
+ | ログランク検定統計量= 3.46 on 1 df, | ||
+ | </ | ||
+ | |||
+ | == 問2 == | ||
+ | 以下のモデルから出発し、t検定のp値を眺めて、5%以上の変数を外したりしながら、各種検定統計量が有意になるようなモデルを探して下さい。 | ||
+ | < | ||
+ | NPfit <- coxph(Surv(start, | ||
+ | | ||
+ | summary(NPfit) | ||
+ | scatter.smooth(residuals(NPfit)) | ||
+ | abline(h=0, | ||
+ | </ | ||
+ | |||
+ | 表示されるグラフは、残差プロットです。 | ||
+ | 本来はこのグラフも眺めながら、分析を進めていくものですが、今回はモデルを得ながら、このグラフも眺めてみよ。 | ||
+ | 注目するのは、点のばらつき具合。 | ||
+ | |||
+ | 上のモデルはフルモデルと呼ばれ、すべての変数の効果、すべての交互作用の効果を含んでいるため、下記のように書くこともできる。 | ||
+ | |||
+ | < | ||
+ | NPfit <- coxph(Surv(start, | ||
+ | | ||
+ | | ||
+ | summary(NPfit) | ||
+ | scatter.smooth(residuals(NPfit)) | ||
+ | abline(h=0, | ||
+ | </ | ||
+ | |||
+ | こちらから出発して、" | ||
+ | なお推定結果にcluster(id)の係数は現れません。 | ||
+ | " | ||
+ | これだけは削らないこと。 | ||
+ | |||
+ | また、上のモデル当てはめと同時に、先の強度関数の推定値に、ベースライン強度関数の推定値を重ねていくと、モデルを変えてもほとんど変化しないことが見て取れる。 | ||
+ | これは、回帰係数とベースライン強度関数を別々に推定できている、Cox比例ハザードモデルの特徴でもある。 | ||
+ | |||
+ | === 強度関数の回帰分析 === | ||
+ | AICというモデル選択基準は、これを最小にすると、データの予測精度の意味でのモデルの当てはまりが一番良い、という解釈を持つ。 | ||
+ | 上では、手動でフルモデルから変数を削ってもらったが、このAIC基準を用いて、自動的にモデル選択をさせることもできる。 | ||
+ | |||
+ | |||
+ | < | ||
+ | NPfit <- coxph(Surv(start, | ||
+ | stepAIC(NPfit) | ||
+ | </ | ||
+ | |||
+ | == 問3 == | ||
+ | |||
+ | 上で得た、AICで最適なモデルに+cluster(id)を加え直し、問2で得たモデルと、ベースラインハザード関数、回帰係数、残差プロットなど、比較してみよ。 | ||
+ | |||
+ | === まとめ === | ||
+ | |||
+ | このデータの再来院に関して、以上の分析から、何が言えるか、まとめよ。 | ||
+ | |||
+ | === Software Debugging Data === | ||
+ | |||
+ | - 解析対象はSoftware Debugging Data (Dalal and McIntosh, 1994; Cook and Lawless, 2007, Sec. 1.2.2 and Appendix C) | ||
+ | - まずはデータを、テスト時間 vs 累積発見不具合数、テスト時間 vs 累積発見不具合数の一階差分、テスト時間 vs 累積発見不具合数の二階差分、テスト時間 vs 累積改修行数、テスト時間 vs 累積改修行数の一階差分、など図示しながら、吟味していき、観測期間が変曲点を通り過ぎている(観測期間の終わりの方で累積のグラフの傾きが減少傾向にある)ことを確認する | ||
+ | - 飽和する成長曲線モデルを当てはめる、今回は観測系列が1系列のみなので、非定常ポアソン過程を用いる (ロバスト分散などは考えないし、検定なども行わず、強度関数のモデルを工夫するだけ、という宣言) | ||
+ | - 当てはめた累積強度関数とデータを重ねて描く、マルチンゲール残差、あるいはポアソン残差などの残差プロットを描く、などしつつAICも計算しておく (これらの残差プロットを、Cook and Lawlessでは「特にモデルに瑕疵があるとは思えない」としていることを、記しておく) | ||
+ | - 上のモデルをベースに、モデルを少しずつ複雑にしてみて、どのようなモデルが適当か、調べていく | ||
+ | |||
+ | 最初に当てはめる強度関数は | ||
+ | |||
+ | < | ||
+ | |||
+ | である。この初項は飽和する曲線で、第二項は直近の改修が大きな影響を、古い改修ほど小さな影響を与えるように指数平滑化したような関数であり、改修行数を計数過程の強度関数に反映させるよう提案されたモデルである。 | ||
+ | |||
+ | これは、期間 < | ||
+ | |||
+ | < | ||
+ | |||
+ | と一定になる、と書き直すことができる。すると、この期間内の期待発見件数は | ||
+ | |||
+ | < | ||
+ | |||
+ | となる。これを < | ||
+ | |||
+ | < | ||
+ | L\left(\theta, | ||
+ | </ | ||
+ | |||
+ | であることから、 | ||
+ | |||
+ | < | ||
+ | \log L = \sum_{j=1}^k \left(-\mu_j+N_j \log \mu_j\right) | ||
+ | </ | ||
+ | |||
+ | を未知母数 <jsm> \theta, \alpha, \beta </ | ||
+ | |||
+ | < | ||
+ | AIC\left(\hat{\theta}, | ||
+ | </ | ||
+ | |||
+ | ただし< | ||
+ | |||
+ | < | ||
+ | N_j-\hat{\mu}_j=N_j-\left(e^{-\hat{\theta} t_{j-1}}-e^{-\hat{\theta} t_j}\right)\left(\hat{\alpha} + \hat{\beta} \sum_{l=0}^{j-1} c_l e^{\hat{\theta} t_l}\right) | ||
+ | </ | ||
+ | |||
+ | もしくは、 | ||
+ | |||
+ | < | ||
+ | \left(N_j-\hat{\mu}_j\right)/ | ||
+ | </ | ||
+ | |||
+ | 今回の解析では、Cook and Lawless (2007)では、上の強度関数をこのデータに対して当てはめているが、これを少しだけ精緻化することを試みてもらう。 | ||
+ | |||
+ | 下記では、 | ||
+ | |||
+ | < | ||
+ | \lambda\left(t|H\left(t\right)\right)=\theta e^{-\theta t}\left\{\alpha+\beta\sum_{l=1}^{d} c_l e^{\theta t_l}+\beta_2\sum_{l=d+1}^{j-1} c_l e^{\theta t_l}\right\} | ||
+ | </ | ||
+ | |||
+ | と、改修履歴に依存する部分を < | ||
+ | |||
+ | これを更に拡張するなど、できたら試みて欲しいとは思っている。 | ||
+ | |||
+ | |||
+ | === 準備 === | ||
+ | |||
+ | データファイルは http:// | ||
+ | < | ||
+ | software.debugging <- read.table(" | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 先週、紹介した通り、このデータは3つのフィールドから成る。 | ||
+ | |||
+ | |t|Nt|Ct| | ||
+ | |テスト時間(人時間)|累積不具合発見数|累積改修行数| | ||
+ | |0.0|0|0| | ||
+ | |4.8|0|16012| | ||
+ | |6.0|0|16012| | ||
+ | |以下略||| | ||
+ | |||
+ | 今回の演習では、尤度関数を自分で書き、それをRのoptim()という最適化の関数を用いて最大化し、パラメータを推定する。 | ||
+ | その途中で、平滑化のグラフを作成するのに、gamパッケージを用いるので、最初にインストールしておく。 | ||
+ | |||
+ | < | ||
+ | install.packages(pkgs=c(" | ||
+ | | ||
+ | | ||
+ | library(gam) | ||
+ | </ | ||
+ | |||
+ | === テスト用コード === | ||
+ | |||
+ | 下記のコードを走らせて、エラーが出なければ、 | ||
+ | |||
+ | * データの読み込み | ||
+ | * 必要なライブラリのインストール | ||
+ | |||
+ | が完了していて、準備は整っていることが確認できる。 | ||
+ | |||
+ | < | ||
+ | plot(software.debugging$t, | ||
+ | | ||
+ | | ||
+ | library(gam) | ||
+ | software.debugging.gam <- gam(Nt~-1+bs(t), | ||
+ | data=software.debugging) | ||
+ | plot(software.debugging.gam, | ||
+ | | ||
+ | points(software.debugging$t, | ||
+ | | ||
+ | n <- dim(software.debugging)[1] | ||
+ | software.debugging.diff <- data.frame(t=software.debugging$t[2: | ||
+ | t.diff=software.debugging$t[2: | ||
+ | Nt.diff=software.debugging$Nt[2: | ||
+ | Ct.diff=software.debugging$Ct[2: | ||
+ | software.debugging.diff$dCt <- software.debugging.diff$Ct.diff/ | ||
+ | software.debugging.diff$dNt <- software.debugging.diff$Nt.diff/ | ||
+ | software.debugging.diff <- rbind(c(0, | ||
+ | lambda.t <- function(theta, | ||
+ | diff.1 <- (exp(-theta*data$t[j-1])-exp(-theta*data$t[j])) | ||
+ | diff.2 <- (alpha+beta*sum(data$Ct.diff[1: | ||
+ | return(diff.1*diff.2) | ||
+ | } | ||
+ | neg.log.lik <- function(x) { | ||
+ | theta <- x[1] | ||
+ | alpha <- x[2] | ||
+ | beta <- x[3] | ||
+ | J <- dim(software.debugging.diff)[1] | ||
+ | log.lik.temp <- 0 | ||
+ | for( j in c(2:J) ) { | ||
+ | lambda.j <- lambda.t(theta, | ||
+ | log.lik.temp <- log.lik.temp - lambda.j | ||
+ | log.lik.temp <- log.lik.temp + software.debugging.diff$Nt.diff[j]*log(lambda.j) | ||
+ | } | ||
+ | return(-log.lik.temp) | ||
+ | } | ||
+ | fitted <- optim(c(0.001, | ||
+ | print(fitted) | ||
+ | </ | ||
+ | === まずは不具合発見数の成長を眺める === | ||
+ | |||
+ | 累積不具合発見数のグラフは次の一行で描ける。 | ||
+ | |||
+ | < | ||
+ | plot(software.debugging$t, | ||
+ | | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 特にモデルは用いていないが、平滑化した曲線も付与してみる。 | ||
+ | |||
+ | < | ||
+ | library(gam) | ||
+ | software.debugging.gam <- gam(Nt~-1+bs(t), | ||
+ | data=software.debugging) | ||
+ | plot(software.debugging.gam, | ||
+ | | ||
+ | points(software.debugging$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 飽和しているように見えるのは、平滑化の特性なので、ここでは無視する。 | ||
+ | |||
+ | 次に、不具合発見数、改修行数とも、時点毎の差分を取ってみる。 | ||
+ | |||
+ | < | ||
+ | n <- dim(software.debugging)[1] | ||
+ | software.debugging.diff <- data.frame(t=software.debugging$t[2: | ||
+ | t.diff=software.debugging$t[2: | ||
+ | Nt.diff=software.debugging$Nt[2: | ||
+ | Ct.diff=software.debugging$Ct[2: | ||
+ | software.debugging.diff$dCt <- software.debugging.diff$Ct.diff/ | ||
+ | software.debugging.diff$dNt <- software.debugging.diff$Nt.diff/ | ||
+ | </ | ||
+ | |||
+ | 時点間の不具合発見数のグラフを描く。 | ||
+ | |||
+ | < | ||
+ | software.debugging.gam <- gam(Nt.diff~-1+bs(t), | ||
+ | data=software.debugging.diff) | ||
+ | plot(software.debugging.gam, | ||
+ | | ||
+ | points(software.debugging.diff$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 一階差分を平滑化してみると、減少しているように見える。 | ||
+ | |||
+ | 二階差分も確認してみる。 | ||
+ | < | ||
+ | n <- dim(software.debugging.diff)[1] | ||
+ | software.debugging.diff.2 <- data.frame(t=software.debugging.diff$t[2: | ||
+ | t.diff=software.debugging.diff$t[2: | ||
+ | Nt.diff.2=software.debugging.diff$Nt[2: | ||
+ | Ct.diff.2=software.debugging.diff$Ct[2: | ||
+ | software.debugging.diff.2$dCt <- software.debugging.diff.2$Ct.diff.2/ | ||
+ | software.debugging.diff.2$dNt <- software.debugging.diff.2$Nt.diff.2/ | ||
+ | </ | ||
+ | |||
+ | グラフを描いてみる。 | ||
+ | |||
+ | < | ||
+ | software.debugging.gam <- gam(Nt.diff.2~-1+bs(t), | ||
+ | data=software.debugging.diff.2) | ||
+ | plot(software.debugging.gam, | ||
+ | | ||
+ | points(software.debugging.diff.2$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 平滑化しないと、こんな感じ。 | ||
+ | |||
+ | < | ||
+ | plot(software.debugging.diff.2$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | フラットかもしれない。 | ||
+ | |||
+ | 時間あたりに直してみる。 | ||
+ | |||
+ | < | ||
+ | software.debugging.gam <- gam(dNt~-1+bs(t), | ||
+ | data=software.debugging.diff.2) | ||
+ | plot(software.debugging.gam, | ||
+ | | ||
+ | points(software.debugging.diff.2$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 二階差分の非負値を青、負値を赤でプロットしてみると、徐々に負に向かっているようにも見える。 | ||
+ | |||
+ | < | ||
+ | plot(software.debugging.diff.2$t[software.debugging.diff.2$dNt> | ||
+ | | ||
+ | | ||
+ | max(software.debugging.diff.2$t)), | ||
+ | | ||
+ | max(software.debugging.diff.2$dNt)), | ||
+ | | ||
+ | points(software.debugging.diff.2$t[software.debugging.diff.2$dNt< | ||
+ | | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 変曲点があるようにも見えるので、今回は飽和すると思って、分析を続ける。 | ||
+ | |||
+ | === 次に改修行数の成長を眺める === | ||
+ | |||
+ | 時点間の改修行数のグラフも描いてみる。 | ||
+ | |||
+ | < | ||
+ | plot(software.debugging.diff$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | 更に、改修行数を改修に要した期間で割ったグラフも描いてみる。 | ||
+ | |||
+ | < | ||
+ | plot(software.debugging.diff$t, | ||
+ | | ||
+ | </ | ||
+ | |||
+ | いずれにせよ、初期に大規模な改修が行われているが、徐々に改修行数は減ってきているのが見て取れるはず。 | ||
+ | |||
+ | < | ||
+ | software.debugging.gam <- gam(dCt~-1+bs(t), | ||
+ | plot(software.debugging.gam, | ||
+ | | ||
+ | points(software.debugging.diff$t, | ||
+ | </ | ||
+ | |||
+ | |||
+ | === モデルを当てはめる === | ||
+ | |||
+ | 今回は、用いるモデルがRには用意されていないので、 | ||
+ | |||
+ | * モデルの強度関数と、強度関数を含む対数尤度関数を、Rの関数として記述する。 | ||
+ | * 対数尤度関数を、optim()を用いて最大化する | ||
+ | |||
+ | という手順で、パラメータの推定値を得る。 | ||
+ | |||
+ | * このデータの場合、データ観測系列は1本なので、ロバストな推定方法は使わない。 | ||
+ | * 先週の説明の通り、飽和しかけているので、曲線を強度関数に用いる (累積データに「飽和する曲線」を当てはめる場合、変曲点後まで観測できているか否かで、当てはまりがとても異なるので注意) | ||
+ | |||
+ | データの先頭に1行、0を入れておく。 | ||
+ | |||
+ | < | ||
+ | software.debugging.diff <- rbind(c(0, | ||
+ | </ | ||
+ | |||
+ | 強度関数は,次の通り。 | ||
+ | |||
+ | < | ||
+ | lambda.t <- function(theta, | ||
+ | diff.1 <- (exp(-theta*data$t[j-1])-exp(-theta*data$t[j])) | ||
+ | diff.2 <- (alpha+beta*sum(data$Ct.diff[1: | ||
+ | return(diff.1*diff.2) | ||
+ | } | ||
+ | # | ||
+ | </ | ||
+ | |||
+ | これを用いた対数尤度関数を、次のように定義する。 | ||
+ | < | ||
+ | neg.log.lik <- function(x) { | ||
+ | theta <- x[1] | ||
+ | alpha <- x[2] | ||
+ | beta <- x[3] | ||
+ | J <- dim(software.debugging.diff)[1] | ||
+ | log.lik.temp <- 0 | ||
+ | for( j in c(2:J) ) { | ||
+ | lambda.j <- lambda.t(theta, | ||
+ | log.lik.temp <- log.lik.temp - lambda.j | ||
+ | log.lik.temp <- log.lik.temp + software.debugging.diff$Nt.diff[j]*log(lambda.j) | ||
+ | } | ||
+ | return(-log.lik.temp) | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | 対数尤度の最大化は、上の関数の最小化と等しい。 | ||
+ | |||
+ | Rには最小化の関数が幾つかある。nlminb(), | ||
+ | |||
+ | これを最小化するのは、結構、困難であるが、例えば初期値を | ||
+ | |||
+ | < | ||
+ | fitted <- optim(c(0.001, | ||
+ | print(fitted) | ||
+ | </ | ||
+ | |||
+ | のように与えると、それなりの値に収束する。optim()の最初の引数は、最適化の初期値である。これは Cook and Lawless (2007)掲載の推定値を参考に設定した。 | ||
+ | 以下で、モデルを大幅に変更すると、初期値の探索もしなければならなくなるので、気をつけられたし。 | ||
+ | |||
+ | == 補足 == | ||
+ | optimという関数は、目的関数と初期値を与えると最適化してくれる関数、で、幾つかの有名な最適化アルゴリズムを利用できて便利だが、探索範囲を制限することができない。 | ||
+ | |||
+ | 今回の演習で用いているのはNelder-Meed法という、Simplex法に似たアルゴリズムで、初期値から出発して、探索していく。その際に、大きな歩幅で探索すると、warningが表示されるように計算きない点に到達する。そのため、今回のような「計算可能な探索範囲」が狭い最適化問題では、目的関数を評価できない旨のwarningが沢山、ログに残る。ただし、初期値の近傍の局所最適解に到達している場合には、その解が表示されるので、warningがある旨のメッセージではなく、最終的な結果が出力されているか否かで、最適化が行えたかどうか、判断して欲しい。 | ||
+ | |||
+ | |||
+ | === 強度関数を変えてみる === | ||
+ | |||
+ | ここでは、強度関数の変え方の一例を示す。 | ||
+ | |||
+ | * 強度関数を変えるにはlambda.t()だけでなく、neg.log.lik()も変える必要が出てくることもある。今回は、パラメータを追加したので、neg.log.lik()の中で x[4] の扱いを追加し、4変数関数としなければならない。 | ||
+ | * さらに閾値を変えてみるとして、betaとbeta.2の切り替え点を300から500に変えるなど、してみている。 | ||
+ | |||
+ | 過去の修正の影響がもっと軽い可能性はないかと、betaを2種類にしてみる。 | ||
+ | まずは300日以内の影響をbetaとし、300日以降の影響をbeta.2とするように、強度関数を変更する。 | ||
+ | |||
+ | < | ||
+ | lambda.t <- function(theta, | ||
+ | diff.1 <- (exp(-theta*data$t[j-1])-exp(-theta*data$t[j])) | ||
+ | data.t <- data$t[1: | ||
+ | beta.s <- data.t | ||
+ | beta.s[(data$t[j]-data.t)< | ||
+ | beta.s[(data$t[j]-data.t)> | ||
+ | diff.2 <- (alpha+sum(beta.s*data$Ct.diff[1: | ||
+ | return(diff.1*diff.2) | ||
+ | } | ||
+ | lambda.t(0.001704, | ||
+ | </ | ||
+ | |||
+ | 強度関数のパラメータがひとつ増えたので、対数尤度関数の引数xの次元もひとつ増える。 | ||
+ | そのため、一行追加する。 | ||
+ | |||
+ | < | ||
+ | neg.log.lik <- function(x) { | ||
+ | theta <- x[1] | ||
+ | alpha <- x[2] | ||
+ | beta <- x[3] | ||
+ | beta.2 <- x[4] | ||
+ | J <- dim(software.debugging.diff)[1] | ||
+ | log.lik.temp <- 0 | ||
+ | for( j in c(2:J) ) { | ||
+ | lambda.j <- lambda.t(theta, | ||
+ | log.lik.temp <- log.lik.temp - lambda.j | ||
+ | log.lik.temp <- log.lik.temp + software.debugging.diff$Nt.diff[j]*log(lambda.j) | ||
+ | } | ||
+ | return(-log.lik.temp) | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | 直近の改修よりも、以前の改修の方が、不具合の発生に大きく影響を与える、という母数の推定値が得られる。 | ||
+ | これは、初期に多くの改修を行ったことと、無関係ではないかもしれない。 | ||
+ | |||
+ | 以下はbetaとbeta.2の切り替え時点を300から500に変更してみる場合の強度関数である。 | ||
+ | |||
+ | < | ||
+ | lambda.t <- function(theta, | ||
+ | diff.1 <- (exp(-theta*data$t[j-1])-exp(-theta*data$t[j])) | ||
+ | data.t <- data$t[1: | ||
+ | beta.s <- data.t | ||
+ | beta.s[(data$t[j]-data.t)< | ||
+ | beta.s[(data$t[j]-data.t)> | ||
+ | diff.2 <- (alpha+sum(beta.s*data$Ct.diff[1: | ||
+ | return(diff.1*diff.2) | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | このような変更手段だけでも、かなりのバリエーションにはなるので、いろいろ試してみて欲しい。 | ||
+ | |||
+ | === モデルを選ぶ === | ||
+ | |||
+ | AICは、モデルの当てはまりの良さを評価する指標のひとつである。 | ||
+ | |||
+ | * AICは予測精度の近似として導出されている。 | ||
+ | * AICを基準にモデルを選ぶ、とはこの値が最小となるように、モデルを選ぶことである。 | ||
+ | * AICを最小化するモデルが、必ずしも正解とは限らない。 | ||
+ | |||
+ | 今回は、次のように計算される量をAICとして用いる。 | ||
+ | |||
+ | < | ||
+ | fitted <- optim(c(0.001, | ||
+ | print(fitted$value*2+2*length(fitted$par)) | ||
+ | </ | ||
+ | |||
+ | これをなるべく小さくするようなモデルを用いるのが望ましいが、対象についての知識・情報がある場合には、それに基づいて、最小ではないモデルを選択することも少なくない。 | ||
+ | |||
+ | === 残差をプロットする === | ||
+ | |||
+ | 残差とは、推定したモデルと推定に用いたデータとの差を表す量である。モデルで説明されなかった、残りの部分、とも言える。 | ||
+ | |||
+ | * 残差のばらつきが満足できる小ささであること (予測に使えそうな精度であること) | ||
+ | * 残差が何らかの傾向を持たないこと (他に考慮に入れるべき共変量がないこと) | ||
+ | |||
+ | は、モデルを推定した後で確認しなければならない。 | ||
+ | |||
+ | 時点jと時点j-1の間の強度は | ||
+ | < | ||
+ | lambda.t(fitted$par[1], | ||
+ | </ | ||
+ | で求められる。テストデータに付与するには、 | ||
+ | < | ||
+ | fitted.int <- function(theta, | ||
+ | lambda <- software.debugging.diff$t | ||
+ | lambda <- 0 | ||
+ | J <- dim(software.debugging.diff)[1] | ||
+ | for( j in c(2:J) ) { | ||
+ | lambda[j] <- lambda.t(theta, | ||
+ | } | ||
+ | Lambda <- cumsum(lambda) | ||
+ | return(list(time=data$t, | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | を用いて、 | ||
+ | |||
+ | < | ||
+ | fitted.diff <- fitted.int(fitted$par[1], | ||
+ | | ||
+ | </ | ||
+ | |||
+ | とする。グラフに描くには、 | ||
+ | |||
+ | < | ||
+ | plot(fitted.diff$t, | ||
+ | lines(fitted.diff$t, | ||
+ | </ | ||
+ | |||
+ | とする。残差のプロットは | ||
+ | |||
+ | < | ||
+ | plot(fitted.diff$t, | ||
+ | </ | ||
+ | |||
+ | 標準化残差のプロットは | ||
+ | |||
+ | < | ||
+ | plot(fitted.diff$t, | ||
+ | </ | ||
+ | |||
+ | で得られる。 | ||
+ | |||
+ | === 更に強度関数を変えてみる === | ||
+ | |||
+ | < | ||
+ | lambda.t <- function(theta, | ||
+ | diff.1 <- (exp(-theta*data$t[j-1])-exp(-theta*data$t[j])) | ||
+ | data.t <- data$t[1: | ||
+ | beta.s <- data.t | ||
+ | beta.s[(data$t[j])< | ||
+ | beta.s[(data$t[j])> | ||
+ | diff.2 <- (alpha+sum(beta.s*data$Ct.diff[1: | ||
+ | return(diff.1*diff.2) | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | 今のところ、これが一番良いモデル。 | ||
+ | 他にないか、頑張ってみて。 | ||
+ | |||
+ | === レポート提出 Report Submission === | ||
+ | |||
+ | 電子メールにて、[[mailto: | ||
+ | |||
+ | (Please send your report file to [[mailto: | ||
+ |