Applied Statistics and Data Mining

対象の事実を観察して、疑問や問題を明確にしてから、データをに基づいて疑問や問題の解決を図ることは、科学的探索の基本姿勢である。 そのための取り組みの流れの一つに、PPDACサイクルがある。

さて、なぜPPDACを持ち出すかというと、データの解析には問題の明確化と目的の設定(P:Problem)、そして目的の設定を受けた目標の設定(P:Plan)が不可欠だからである。 目的はデータの解析が目指す方向を示し、目標はどんな解析結果を得ると結論(C:Conclusion)を得られるかを示す。 目的と目標とが決まれば、あとはどのようなデータ(D:Data)を収集して、どのように分析(A:Analysis)すればよいかのアプローチが定まる。 分析には、層別しながらとなるが、集計やグラフなどの手作業、回帰分析などの多変量解析手法、決定木やクラスタリングなどのデータマイニング手法、サポートベクトルマシンや弱機械のブースティングなどの機械学習の手法などを用いる。求めているのは目標を達成するような分析結果であり、様々な手法はそのための手段に過ぎないことは常に認識しておく必要がある。

Problem, Plan, Data, Analysis, Conclusionの5つのステップからなる問題解決への取り組みをPPDACと呼ぶ。この取り組みは、PからCまで素直に到達できることを保証する訳ではない。Problem, Planと進み、Dataステップで適切なデータが入手できないことが判明して、またPlanをやりなおす、などもあり得る。

表：PPDAC

PPDACサイクルはこの5つのステップを繰り返すことで、真実に近づいていく。逆にこれらがないとどうなるか。Problemステップで設定する問題と目的なしには、Planステップで目標が検討しにくい。またPlanステップで設定する目標なしには、Dataステップでのデータ収集とAnalysisステップでの解析プロセスが迷子になり、またAnalysisステップを終えてConclusionステップに移るタイミングを判断できない。 前のステップをしっかりと進めた方が、次のステップが順調に進みやすい、という点でQCストーリーと似ている。

PPDACの図は、Googleさんに聞いてから画像検索を依頼すれば、たくさん表示されるので、ここでは載せない。最近、PPDACの図はこのページに掲載されているカナダ発のこの図までは遡れると教わった。

去年と同じく定期預金の獲得キャンペーンのデータを用いる。このデータの背景と概要については、リンク先のページを参照のこと。

今年はデータに触れる前に、まずは実験のペア同士で定期預金の獲得キャンペーンのデータのページを眺めながら、このデータについてディスカッションすること。ディスカッションの目的は次の2つ。

1. 17個ある変数について、思いついたことをメモ書きし、状況を整理し、その分類を考えること。(親和図法)
2. 17個ある変数のうち、yとある「定期預金獲得」と関係のありそうな変数を事前に検討しておくこと。(連関図法)

まずは上で連関図法まで取り組んだ結果を、データから確認する。

前置きが長くなったが、今回はQC7つ道具の幾つかを用いて、データを解析してもらう。 QC7つ道具とは、

1. パレート図: 問題の優先順位の決定 (1次元の分析法)
2. グラフ: データの図示
3. 管理図: 対象の安定性の検討
4. チェックシート: データの取得と現状の図示
5. ヒストグラム: 分布の検討
6. 散布図: 因果関係の分析
7. 層別: 問題の細分化、切り分け、掘り下げ
8. 特性要因図: メカニズムや因果関係の検討

の8種類の手法・道具のセットである。データから事実を把握するための手法および問題を解析するための手法の集まりとして、5学期開講の品質管理でも紹介されている。そしてQCストーリーとの対応関係

1. テーマの選定: 問題を絞る
2. 現状把握: QC7つ道具の出番
3. 解析: QC7つ道具の出番
4. 対策: 解析に基づいて対策を講じる
5. 効果の確認: 再現性の確認
6. 標準化: 他への展開
7. 残された課題と今後の進め方: 解決に満足せずに次のPDCAに繋げる

から、現状把握と解析でQC7つ道具を精力的に用いることになる。

ここからは、今週の実験手順の説明。実験はペアで行ってもらいます。最初の週に隣同士に座った２人ずつ。

1. パソコンは１人１台使ってください。
2. 作業は１人のパソコンでやっても、２人で同時にやっても構いませんが、相談しながらやってください。
3. 作業内容は分担しても、同時に同じことをやりながら進めても構いませんが、相談しながらやってください。
4. 帰るときには、ペアで同じ状態（同じプログラム、同じグラフ、同じ表）を持ち帰ってください。
5. レポートは一人１通としてください。
6. すべての作業は自宅でもRをインストールすれば行えますので、帰宅後に追加作業を行っても構いません。それ以降の結果をレポート作成時に共有するか否かはお任せします。でも次の週には共有してください。
7. 考察は相談しても一人ずつでも構いません。

1. このページでも紹介している古いデータが入っているZIPファイルをダウンロードし、中から「bank-full.csv」を取り出す。このファイルは、Cドライブの自分のホームディレクトリ(現在はC:¥Users¥Student)に置く。
2. Rを起動し、中で

   bank <- read.table("c:¥¥Users¥¥Student¥¥bank-full.csv", 
                      header=TRUE, 
                      sep=";")

   を実行して、データをbankというデータ・フレームに読み込む。

3. 必要に応じて、追加パッケージもインストールしてみる。例えば

   Sys.setenv("http_proxy"="http://130.153.8.19:8080/")
   install.packages(c("Rcmdr", "RcmdrPlugin.EZR"), dependencies = TRUE)

   を実行してから

   library(Rcmdr)

   を実行すると、EZR入りのRコマンダーが起動される。

新QC7つ道具のうち、親和図法と連関図法について、少し学ぶ。

• 親和図法
• 連関図法

その次は、パートナーとこれだけの情報から出発して、ネットを使って情報を収集しながら、このデータについての情報を膨らましつつ、このExcelファイルの中の問いに答えながら、データ解析のためのPPDACの最初のPと2つめのPを進める。ここでの作業は「ブレーンストーミング」とその結果の体系化、なので、相手のいうことを批判してはだめ。

ここでは、

1. 親和図法の結果としての図が1枚。
2. 連関図法の結果としての図が1枚。

の合わせて2枚の図が成果物となる。

こちらをさらっと眺めておくといい。

上のメモを見ながら、ネットでも調べながら、自分で頑張る。今週はたぶん、それで十分。

Rコマンダーを使うなら、下記のURLがとても参考になる。

• Rcmdr (1)
• Rcmdr (2)
• Rコマンダー入門

これらを斜め読みすれば使い始めることができる簡単なソフトウェアで、今回はグラフと統計量のみを用いて、データの現状を把握し、定期預金の契約率の高いターゲット層を発見することが目標である。

1. まずはRコマンダー入門など、上のリンク先にざっと目を通しながら、Rコマンダーに慣れる。
2. bank.zipからCSVファイルを取り出して、Rコマンダーで読み込み、「統計量」と「グラフ」のみを用いて現状把握と解析を行う。目的がテレマーケティングによる定期預金の獲得であることは忘れない方がいい。またターゲット層の探索には「層別」を用いるが、種類がbinaryかcategoricalな変数でしか、層別ができないことに注意する。
3. 今回の成果物として要求したいのは、次のもの。
   1. 45211人分のデータの概要を表す表やグラフ、その考察。
   2. 45211人分のデータから見つけた「ターゲット層」と、その層に営業をかける時の成功率、そしてその層に至った経緯。ターゲット層とは、例えば「結婚していなくて、各種ローンがなくて、破産の経験もなければ、定期預金の契約率が少し高い」などのこと。
   3. 契約率は分割表から計算できる。

1. 連関図法の結果のデータからの確認。
   • ヒストグラム(hist())や１次元の集計(table())による、各変数の分布の検討
   • 散布図(plot())、クロス集計(table())、箱ヒゲ図(boxplot())をうまく使い分けると、変数間の関係を検討できる
2. データを分析しながら連関図法の改訂

• 先週の親和図法と連関図法の結果をエクセルで作成して、ワードファイルに「横」にして貼り付け、解説すること。
• 特に連関図法の結果について、RかRコマンダーで検討すること。それら作成したグラフや表、また計算した集計値（統計値）などをレポートに含める場合、説明・報告・考察に必要なもののみを含めること。
• 図表は読みやすいように配置すること。