Series
Information Science and Technology

データマイニング入門

Produced by
#Mathematics
#AI & Information Science
#Education
#Robotics & Technological
#Language & Thought
#データサイエンス
#機械学習
#プログラミング
#Python
#変数
#ビッグデータ
#情報科学
#AI
#データ分析
#Official UTokyo Courses (OCW)
#Information Science and Technology
ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

Content List

1. イントロダクション

1-1　講義概要

Lecturer | Junichiro Mori

1-2　Python

Lecturer | Junichiro Mori

1-3　データマイニング

Lecturer | Junichiro Mori

1-4　データサイエンス

Lecturer | Junichiro Mori

1-5　データソース

Lecturer | Junichiro Mori
Resources
Available

講義資料1

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料1_python_for_data_analysis1.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料2_data_mining.txt.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

simple_score.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

2. Python基礎 (1)

2-1　Pythonの基礎(1)

Lecturer | Junichiro Mori

2-2　Pythonの基礎(2)

Lecturer | Junichiro Mori

2-3　Pythonの基礎(3)

Lecturer | Junichiro Mori

2-4　Pythonの基礎(4)

Lecturer | Junichiro Mori

2-5　Pythonの基礎(5)

Lecturer | Junichiro Mori

2-6　Pythonの基礎(6)

Lecturer | Junichiro Mori

2-7　Pythonの基礎(7)

Lecturer | Junichiro Mori

2-8　Pythonの基礎(8)

Lecturer | Junichiro Mori

2-9　課題

Lecturer | Junichiro Mori
Resources
Available

講義資料2

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料3_ex1.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

exam_score.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

3. Python基礎 (2)

3-1　今回の流れ / デバッギング

Lecturer | Junichiro Mori

3-2　データ

Lecturer | Junichiro Mori

3-3　記述統計

Lecturer | Junichiro Mori

3-4　標本と母集団

Lecturer | Junichiro Mori

3-5　データの分布と可視化

Lecturer | Junichiro Mori

3-6　Pandas(1)

Lecturer | Junichiro Mori

3-7　Pandas(2)

Lecturer | Junichiro Mori

3-8　Pandas(3)

Lecturer | Junichiro Mori

3-9　Pandas(4)

Lecturer | Junichiro Mori

3-10 課題(1)

Lecturer | Junichiro Mori

3-11 課題(2)

Lecturer | Junichiro Mori
Resources
Available

講義資料3

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料4_ex2.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料5_python_for_data_analysis2.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

simple_score.csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

user_class.csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

user_score.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

4. データの記述統計・前処理

4-1　データの記述統計

Lecturer | Junichiro Mori

4-2　統計的推測

Lecturer | Junichiro Mori

4-3　データの相関

Lecturer | Junichiro Mori

4-4　データマイニングのプロセス:データの前処理 (1)

Lecturer | Junichiro Mori

4-5　データマイニングのプロセス:データの前処理 (2)

Lecturer | Junichiro Mori

4-6　課題 (1)

Lecturer | Junichiro Mori

4-7　NumPy (1)

Lecturer | Junichiro Mori

4-8　NumPy (2)

Lecturer | Junichiro Mori

4-9　NumPy (3)

Lecturer | Junichiro Mori

4-10 matplotlib

Lecturer | Junichiro Mori

4-11 課題 (2)

Lecturer | Junichiro Mori

4-12 課題 (3)

Lecturer | Junichiro Mori
Resources
Available

講義資料4

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料6_ex3.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料7_python_for_data_analysis3.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料8_python_for_data_analysis4.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

exam_score.csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

simple_score.csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

score_outlier.csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

score_missing.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

5. テキスト分析の基礎

5-1 テキスト分析の基礎

Lecturer | Junichiro Mori

5-2 コーパス

Lecturer | Junichiro Mori

5-3 テキスト分析

Lecturer | Junichiro Mori

5-4 ベクトル空間モデル

Lecturer | Junichiro Mori

5-5 cos類似度

Lecturer | Junichiro Mori

5-6 単語共起

Lecturer | Junichiro Mori

5-7 テキスト分析と学習タスク

Lecturer | Junichiro Mori

5-8 Pythonと文字列

Lecturer | Junichiro Mori

5-9 課題(1)

Lecturer | Junichiro Mori

5-10 課題(2)

Lecturer | Junichiro Mori
Resources
Available

講義資料5

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料9_ex4.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

course_list.csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

keyword_list.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

6. ネットワーク分析の基礎

6-1 ネットワーク分析の基礎

Lecturer | Junichiro Mori

6-2 パス ／ 経路

Lecturer | Junichiro Mori

6-3 中心性 (1)

Lecturer | Junichiro Mori

6-4 中心性 (2)

Lecturer | Junichiro Mori

6-5 ネットワークの特徴

Lecturer | Junichiro Mori

6-6 コミュニティ抽出 (1)

Lecturer | Junichiro Mori

6-7 コミュニティ抽出 (2)

Lecturer | Junichiro Mori

6-8 NetworkX

Lecturer | Junichiro Mori

6-9 課題 (1)

Lecturer | Junichiro Mori

6-10 課題 (2)

Lecturer | Junichiro Mori
Resources
Available

講義資料6

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料10_ex5.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料11_networkx.pdf

Lecturer | Junichiro Mori
Resources
Available

7. クラスタリング

7-1 クラスタリング

Lecturer | Junichiro Mori

7-2 凝縮型階層的クラスタリング

Lecturer | Junichiro Mori

7-3 K-MEANS法

Lecturer | Junichiro Mori

7-4 K-MEANS++ ／ クラスタ数の決定

Lecturer | Junichiro Mori

7-5 課題

Lecturer | Junichiro Mori

7-6 課題

Lecturer | Junichiro Mori

7-7 課題

Lecturer | Junichiro Mori

7-8 課題

Lecturer | Junichiro Mori
Resources
Available

講義資料7

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料12_ex6.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

course_list .csv.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

keyword_list.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

8. 主成分分析

8-1 主成分分析：概要

Lecturer | Junichiro Mori

8-2 主成分分析：数式的解説

Lecturer | Junichiro Mori

8-3 主成分分析：正規直交基底

Lecturer | Junichiro Mori

8-4 主成分分析の手順

Lecturer | Junichiro Mori

8-5 課題(1)

Lecturer | Junichiro Mori

8-6 課題(2)

Lecturer | Junichiro Mori
Resources
Available

講義資料8

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料13_ex7.pdf

Lecturer | Junichiro Mori
Resources
Available

9. 教師あり学習(1)：線形回帰

9-1 教師あり学習

Lecturer | Junichiro Mori

9-2 線形回帰：概要, コスト関数

Lecturer | Junichiro Mori

9-3 線形回帰：最急降下法(1)

Lecturer | Junichiro Mori

9-4 線形回帰：最急降下法(2)

Lecturer | Junichiro Mori

9-5 学習モデルの評価

Lecturer | Junichiro Mori

9-6 正規方程式

Lecturer | Junichiro Mori

9-7 最尤推定

Lecturer | Junichiro Mori

9-8 課題(1)

Lecturer | Junichiro Mori

9-9 課題(2)

Lecturer | Junichiro Mori

9-10 課題(3)

Lecturer | Junichiro Mori
Resources
Available

講義資料9

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料14_ex8.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

iris.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

10. 教師あり学習(2)：ロジスティック回帰、過学習と正則化

10-1 過学習

Lecturer | Junichiro Mori

10-2 正則化

Lecturer | Junichiro Mori

10-3 正則化の解釈

Lecturer | Junichiro Mori

10-4 ロジスティック回帰：シグモイド関数

Lecturer | Junichiro Mori

10-5 ロジスティック回帰：コスト関数

Lecturer | Junichiro Mori

10-6 ロジスティック回帰：多変数の入力

Lecturer | Junichiro Mori

10-7 ロジスティック回帰の過学習、精度検証

Lecturer | Junichiro Mori

10-8 課題(1)

Lecturer | Junichiro Mori

10-9 課題(2)

Lecturer | Junichiro Mori

10-10 scikit-learnでのロジスティック回帰

Lecturer | Junichiro Mori
Resources
Available

講義資料10

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料15_ex9.pdf

Lecturer | Junichiro Mori
Resources
Available

11. 機械学習の実践

11-1 特徴量選択

Lecturer | Junichiro Mori

11-2 BIASとVARIANCE

Lecturer | Junichiro Mori

11-3 学習モデルの調整

Lecturer | Junichiro Mori

11-4 機械学習の実践：データの観察

Lecturer | Junichiro Mori

11-5 機械学習の実践：モデルの学習

Lecturer | Junichiro Mori

11-6 機械学習の実践：モデル選択と評価

Lecturer | Junichiro Mori

11-7 機械学習の実践：グリッドサーチ

Lecturer | Junichiro Mori

11-8 機械学習の実践：cross_val_score

Lecturer | Junichiro Mori

11-9 機械学習の実践：概観

Lecturer | Junichiro Mori

11-10 課題

Lecturer | Junichiro Mori
Resources
Available

講義資料11

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料16_ex10.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

配付資料17_practical_ds.pdf

Lecturer | Junichiro Mori
Resources
Available
Resources
Available

winequality-red.csv.pdf

Lecturer | Junichiro Mori
Resources
Available

12. 全体のまとめ

12-1 データ分析のフレームワーク

Lecturer | Junichiro Mori

12-2 全体のまとめ(1)：概観

Lecturer | Junichiro Mori

12-3 全体のまとめ(2)：データ分析

Lecturer | Junichiro Mori

12-4 全体のまとめ(3)：機械学習

Lecturer | Junichiro Mori

12-5 数学について

Lecturer | Junichiro Mori

12-6 参考書・ウェブサイト紹介

Lecturer | Junichiro Mori
Resources
Available

講義資料12

Lecturer | Junichiro Mori
Resources
Available
Back to Series List