Applied Statistics and Data Mining

「情報リテラシー」は本来、システム工学科で講義や実験で課される課題への取り組み、また研究室配属後の卒業研究への取り組み、で必要とされるコンピュータ活用のスキルを身につけて貰うことを目的とした講義科目でした。 今でもそれは変わりませんが、システム工学科自体はもう無くなりますので、少しだけ目的を広げます。

• ワープロ：幾つかの課題に取り組み、Wordが使えること、を示してもらいます。
• 表計算：教科書の課題に取り組みながら、Excelによる統計的データ分析の入門を修得してもらいます。

また「情報リテラシー演習」は、１年生の基礎プログラミング以降、「アルゴリズムとデータ構造」以外はプログラミングに関する講義がないため、ともかくプログラミングに関わる機会を増やすことを目的とした演習科目でした。 こちらは、ほぼ従来通りの内容で進めます。

• システム工学科が営業終了に向かっているので、この科目も、必修科目だから、と手綱を引き締める時代は終わりました。教員とＴＡは、昨年度までとは少し違った姿勢で臨んでいます。
• 2010年度までは計算機室が狭かったこともあり、資料を取りに来させ、課題に取り組ませて提出させる、という方式で再履修の学生には対応していました。これは、一度やる気がなくなった人が課題への取り組みを再開するのが困難だったようで、脱落した人たちが戻って来ることはありませんでした。それで2011年度は、月に1度はミーティングを開いて、対面で会おうと試しましたが、あんまりうまくいきませんでした。今年度はどう取り組むべきか、まずは様子を見てみることにします。
• もう計算機室は使いません。よって、計算機室のアカウントがなくても、この科目の履修および単位取得には支障を来しません。その代わりに各自で、次の2種類のソフトウェアを利用できる環境を整えて下さい。学内では、システム工学科計算機室と情報基盤センターで、これらを利用できることは確認しています。
  • Microsoft Office (Word/Excel/PowerPoint)、特にExcelの分析ツール
  • R
• 授業の進め方について
  • 従来は、情報リテラシーでは講義と講義内演習、情報リテラシー演習でも講義とプログラミング課題、という進め方でした。今年度は履修者数が少ないことが見込まれ、講義には馴染まないので、教科書を指定して、自習で取り組む形式をとります。
  • この講義がMicrosoft Office、特にWordとExcelとPowerPointの使い方を主としていること、Wordはレポート作成、Excelはデータの加工、PowerPointはプレゼンテーション作成を、それぞれ目的としていること、従来の資料は口頭で補う情報が多く通信教育には適していないこと、の3点から、教科書を指定し、その課題に取り組んでもらいます。
  • 通信教育だけだと、モチベーションが切れることもあるでしょうからと、昼間コースでは月に一度，ミーティングを行っていました．レポート提出のリズムが乱れた人は、ミーティングまでには遅れを取り戻すつもりで、頑張って下さい，という意図でした。しかし、提出課題なしで集まることに、躊躇する向きもありそうなので、どうしようか悩んでいます。
• 履修について
  • 昼間コースの時間割では、情報リテラシーが木曜日４限、情報リテラシー演習が水曜日３限に、それぞれ開講することになっています。しかし、実際にはその時間にどこかの教室で講義をすることはありませんので、これらの時間帯に他の科目を履修してしまって構いません。ただし、他の科目を履修した旨の連絡を下さい。
• 課題情報や補足などの伝達手段
  • この講義のホームページに課題情報などを追記していきます。更新の都度、メールでお知らせします。
  • 上のURLには、ユーザIDとパスワードが必要です。初回に教えてもらった学籍番号でユーザIDを作成し、同じく教えて貰ったメールアドレス宛に送ります。

今年度は「仕事に役立つExcel統計解析 第3版」を教科書に指定しますので、何らかの手段で入手して下さい。

この本は次の８つの章で構成されています．

1. 統計とは
2. 統計の基本
3. 回帰分析
4. 母集団と標本
5. 推定
6. 検定
7. 分散分析

各章には内容を実習するのに必要な操作手順の詳細な説明が記されており，またこれらの章それぞれに練習問題がついていて，自習での学習が可能なテキストになっています．

皆さんとの連絡には academic.computing.basics@gmail.com というメールアドレスを共用しています。

• 今年度の課題は情報リテラシー・情報リテラシー演習の双方とも、すべて academic.computing.basics@gmail.com 宛に送って下さい。従来のメールアドレスは、2010年度の震災でサーバサーバのハードディスクが損傷し、使えなくなりました。
• レポートは、指定がない限り、すべてWordファイルで提出して下さい。ただし、情報リテラシー演習は「レポート」と「書いたプログラム」の二つのファイルを送付してもらうことになっており、前者はWordファイルを、後者はメモ帳などで書いたテキストファイルを、それぞれ添付してください

http://bit.ly/uecacb2012-1を参照のこと。

皆さん宛に、ユーザIDとパスワードを送りました。 それらを用いて、このページにアクセスして下さい。 そして、閲覧できたかどうか、確認の返信をお願いします。

連休も終わり、もう連絡してくる学生はいないと思うので、今学期の情報リテラシーを始めます。 毎回の課題は、担当教員の山本から連絡します。 課題の受領、採点やフィードバックは、昼間コース、夜間主コース、それぞれの科目のＴＡの方々から連絡します。 全員の連絡はmailto:academic.computing.basics@gmail.comというメールアドレスから送信されます。

まず今回は肩慣らしです。皆さんのタイプ入力の速度と、点検にかかる時間を教えて下さい。そのために、下記のものを用意して下さい。

用意するもの：

1. 秒単位で時間が計れるもの（腕時計、ストップウォッチ、スマートフォンのストップウォッチ、など）
2. 日本語ワープロ検定試験の過去問から第88回の4級（速度）と3級(速度)を印刷しておく
3. Word、あるいは.doc形式か.docx形式でファイルが保存できるワープロソフト

以下では、入力をすべて終えてから、点検をして貰いますので、入力時にいちいち点検しながら進めて行く必要はありません。

課題手順：

まずは4級(速度)の入力。

1. 読みやすい位置に第88回の4級(速度)の問題用紙を置く
2. ストップウォッチ等で時間計測を始める
3. Wordでファイルを[新規作成]する
4. すべて入力する
5. 時間を記録する

今、入力した4級(速度)の点検・推敲時間も測定する。

1. 片手で第88回の4級(速度)の問題用紙を持つ
2. ストップウォッチ等で時間計測を始める
3. 上で入力した内容と、問題用紙の記載内容を比較して、誤りがあれば訂正し、誤りがない状態にする
4. 時間を記録する
5. Wordで[名前をつけて保存する]を実行する (ファイル名は「半角の学籍番号_01-タイプ-88-4」とすること)

続いて、3級(速度)の入力。

1. 読みやすい位置に第88回の3級(速度)の問題用紙を置く
2. ストップウォッチ等で時間計測を始める
3. Wordでファイルを[新規作成]する
4. すべて入力する
5. 時間を記録する

最後に3級(速度)の確認。

1. 片手で第88回の4級(速度)の問題用紙を持つ
2. ストップウォッチ等で時間計測を始める
3. 上で入力した内容と、問題用紙の記載内容を比較して、誤りがあれば訂正し、誤りがない状態にする
4. 時間を記録する
5. Wordで[名前をつけて保存する]を実行する (ファイル名は「半角の学籍番号_01-タイプ-88-3」とすること)

以上を終えたら、メールに下記の二つのファイルを添付し、メールの本文には本文にはそれぞれの時間を記して、そのメールをmailto:academic.computing.basics@gmail.comまで提出(送信)すること。

• 0000000_01-タイプ-88-4.docx
• 0000000_01-タイプ-88-3.docx

提出期限は、来週の月曜日の午後5時とする。

まず今回も肩慣らしです。皆さんのタイプ入力の速度と、点検にかかる時間と、文書の整形に要する時間を教えて下さい。そのために、下記のものを用意して下さい。

用意するもの：

1. 秒単位で時間が計れるもの（腕時計、ストップウォッチ、スマートフォンのストップウォッチ、など）
2. 日本語ワープロ検定試験の過去問から第90回の4級（文書整形）と3級(文書整形)を印刷しておく
3. Word、あるいは.doc形式か.docx形式でファイルが保存できるワープロソフト

以下では、入力をすべて終えてから、点検をして貰いますので、入力時にいちいち点検しながら進めて行く必要はありません。

課題手順：

まずは4級(文書作成)の入力。

1. 読みやすい位置に第90回の4級(速度)の問題用紙を置く
2. ストップウォッチ等で時間計測を始める
3. Wordでファイルを[新規作成]する
4. とりあえず、右揃えや中央揃えなど気にせずに、すべてを入力する
5. 時間を記録する

今、入力した4級(文書作成)の点検・推敲時間も測定する。

1. 片手で第90回の4級(速度)の問題用紙を持つ
2. ストップウォッチ等で時間計測を始める
3. 上で入力した内容と、問題用紙の記載内容を比較して、誤りがあれば訂正し、誤りがない状態にする
4. 時間を記録する
5. Wordで[名前をつけて保存する]を実行する (ファイル名は「半角の学籍番号_01-タイプ-88-4」とすること)

さらに問題に合わせて、入力した4級(文書作成)の整形に要する時間も測定する。

1. 第90回の4級(文書作成)の問題用紙を見えるところに置く
2. ストップウォッチ等で時間計測を始める
3. 右揃えや中央そろえ、改段落、改行など、問題用紙の通りに整形していく
4. 「記」の下は[段落番号]を使うと良いが、使わなくても良い
5. すべて問題用紙どおりに整形したら、時間を記録する
6. Wordで[名前をつけて保存する]を実行する (ファイル名は「半角の学籍番号_02-整形-90-4」とすること)

続いて、3級(文書作成)の入力。

1. 読みやすい位置に第90回の3級(速度)の問題用紙を置く
2. ストップウォッチ等で時間計測を始める
3. Wordでファイルを[新規作成]する
4. とりあえず、右揃えや中央揃えなど気にせずに、すべてを入力する
5. 時間を記録する

今、入力した3級(文書作成)の点検・推敲時間も測定する。

1. 片手で第90回の4級(速度)の問題用紙を持つ
2. ストップウォッチ等で時間計測を始める
3. 上で入力した内容と、問題用紙の記載内容を比較して、誤りがあれば訂正し、誤りがない状態にする
4. 時間を記録する
5. Wordで[名前をつけて保存する]を実行する (ファイル名は「半角の学籍番号_01-タイプ-88-4」とすること)

さらに問題に合わせて、入力した3級(文書作成)の整形に要する時間も測定する。

1. 第90回の3級(文書作成)の問題用紙を見えるところに置く
2. ストップウォッチ等で時間計測を始める
3. 右揃えや中央そろえ、改段落、改行など、問題用紙の通りに整形していく
4. 「記」の下は[段落番号]を使うと良いが、使わなくても良い
5. すべて問題用紙どおりに整形したら、時間を記録する
6. Wordで[名前をつけて保存する]を実行する (ファイル名は「半角の学籍番号_02-整形-90-3」とすること)

以上を終えたら、メールに下記の二つのファイルを添付し、メールの本文には本文にはそれぞれの時間を記して、そのメールをmailto:academic.computing.basics@gmail.comまで提出(送信)すること。

• 0000000_01-整形-90-4.docx
• 0000000_01-整形-90-3.docx

提出期限は、来週の月曜日の午後5時とする。

購入していただいた教科書の課題に移ります。 教科書の第一章を要約してください。

• ページ数は問いませんが、少なすぎたら少ないと思いますし、たくさん打ち過ぎたら要約ではないと思います。
• 要約、ってどんな作業なのかを考えながら、取り組んでみて下さい。
• 様式(ページの大きさ、フォントの大きさなど)は自由ですが、一ページ目の最上部に、講義名、学籍番号、氏名、提出期限、提出日などは記すようにお願いします。

購入していただいた教科書の課題に移ります。 第一章の内容は理解している、という前提で第二章に入ります。

まずデータを取得して貰います。放射線モニタリング情報 都道府県別環境放射能水準調査結果（Excel）にアクセスしてください。 ここから「CSVファイルダウンロード（※外部サイトへリンク）」をクリックして、開いたウェブサイトで、文部科学省が取り纏めている放射線モニタリング情報のCSVファイルを、ダウンロードできます。

• 2011年3月15日

この日のデータをダウンロードして保存してください。

上のデータを、ヒストグラム、平均、中央値、分散、標準偏差を用いて、分析して貰います。ヒストグラムの作成手順、平均、中央値、分散、標準偏差の計算手順は、教科書を参考にして下さい。

• 3月15日の全都道府県の24時間分の測定データ(24*47=1128あるはずだが、欠測分は除く)から、ヒストグラムを作成してください。
• 全国のすべての測定値の平均、中央値、分散、標準偏差を求めて、ヒストグラムに追記して下さい。
• 都道府県ごとに１時間毎に測定された値が24個ある。都道府県ごとに、これらの平均値、中央値、分散、標準偏差を求めて、表にまとめてください。

ヒストグラムに追記すること、について質問を受けました。

• ワードに「テキストボックス」という機能があり、文書中の任意の場所に四角で囲んだ文字列を置くことができます。[挿入]タブで[テキストボックス]を探して、使ってみて下さい。これは、グラフをワードに貼り付けてからでもできますので、ワードでやってみてください。同じ事はパワーポイントに貼り付けてもできます。
• 平均の場所、中央値の場所は矢印で示して貰うのが、１つのやり方かな、と思います。分散の平方根は標準偏差ですので、標準偏差を平均の両側に幅で示すような線を描くのも、ひとつのやり方ですね。

• 上のヒストグラムと各種要約値を考察してみてください。
• 分散と標準偏差、どちらが考察し易いか、考察して下さい。
• 様式(ページの大きさ、フォントの大きさなど)は自由ですが、一ページ目の最上部に、講義名、学籍番号、氏名、提出期限、提出日などは記すようにお願いします。
• 提出物は、計算をしたエクセルファイルと、結果をレポート形式にまとめたワードファイルの２つです。

3章には

• 相関係数の説明
• 相関と散布図の関係
• 共分散と相関係数
• 回帰直線
• 回帰直線を引いた結果の読み取り
• 予測
• 重回帰分析
• 回帰分析の精度

などの説明がある。これらを一通り理解した上で、p.109のデータの回帰分析を行って、考察を加えよ。

4章には

• 全数調査と標本調査
• 標本抽出
• 母平均と標本平均
• 母分散と標本平均値の分散
• 中心極限定理
• 母分散と標本分散

などの説明がある。それらを一通り読んで、理解した上で、

1. 第4回のデータから、ランダムに3時点を選んだ場合の各都道府県の測定値のデータについて (無作為標本)
   • 各都道府県の3時点の平均、のヒストグラムを作成せよ(データ数は測定した都道府県の数)
   • 各都道府県の3時点の平均、の平均を求めよ(データ数は測定した都道府県の数)
   • 各都道府県の3時点の平均、の標本分散を求めよ(データ数は測定した都道府県の数)
2. 第4回のデータから、正午の測定値のみを用いて (無作為ではない標本)
   • 各都道府県の正午の測定値、のヒストグラムを作成せよ(データ数は測定した都道府県の数)
   • 各都道府県の正午の測定値、の平均を求めよ(データ数は測定した都道府県の数)
   • 各都道府県の正午の測定値、の標本分散を求めよ(データ数は測定した都道府県の数)
3. これらと、第4回に作成した、都道府県ごとに24時間分の測定値の平均、のヒストグラムや、それらの平均と分散とを、比較せよ (第4回を母集団とみなす)

上記の作業の目的は、「各都道府県で1時間ごとに24時間測定したデータと、ランダムに3時間で測定したデータと、正午で定点観測したデータとで、同じことが言えるか、あるいは違うか」を母集団と標本という観点で、検討してもらうことにある。 なお、ランダムに3時点とるとは、

という表を作って、RANDBETWEEN関数とVLOOKUP関数を用いること。(手順はp.117からの部分に記載されている)

少し休憩の課題。

• まず、放射能の測定値を公開しているサイトを、調べなさい。
• 次に、「標本調査」における母集団と標本について、インターネットなどを通じて調べなさい。この内容は教科書の記述と重複するところがあるかもしれない。
• 放射能を測定する際、何を母集団に設定し、どのように標本を選んでいることになっているのかを、調べなさい。
• その上で、普通に町中に住んでいる自分の生活環境と照らして、放射能の測定値がどのように参考になるかを、母集団と標本の観点から論じなさい。

レポートの構成は例えば

1. 放射能の測定点の選定と散らばり状況
2. 放射能測定における母集団とは
3. 放射能測定における標本とは
4. 定期的に測定されている値と母集団の関係

の４節で構成してみるとよい。

教科書第5章の、例題に自分で取り組んでみなさい。 その後、章末の練習問題を解きなさい。

教科書第6章の、例題に自分で取り組んでみなさい。 その後、章末の練習問題を解きなさい。

ここまで。

この資料に基づいて、Rの基礎を学んで貰います。

まず一通り実行して、動作を確認して下さい。コピー＆ペーストでうまく動作しない場合には、手入力する必要があるかもしれません。 そしてp.4にある複利計算、p.9にある酔歩問題に取り組みなさい。

提出は、次の２つ。

• Windowsのメモ帳で開いて、すべてをコピーし、Rに貼り付けたら、実行が確認できるRのソースコードを、テキストファイル形式で提出 (メモ帳で作成するのが一番簡単)
• 課題の回答を記したレポートをワードファイル形式で提出

この資料では、離散事象の確率シミュレーションと題して、確率統計学第一で出てくる二項分布のシミュレーションをしてもらいます。 先週の課題同様、まずはRに慣れて下さい。 他のプログラミング言語が得意で、R言語には触れたくもない、という場合には、ここで課した課題を達成する、という条件で、そちらの言語で取り組んでもらっても構いません。

この資料では、確率統計学第一で出てくる、大数の法則と中心極限定理についてのシミュレーションを行ってもらいます。

この資料では、離散確率事象のシミュレーションを行ってもらいます。 確率論の復習というか、併走する内容が続きます。 全6回から7回の予定です。

この資料では、ポアソン分布についての演習をして貰います。