Machine Learning-2023-Autumn

介绍

统计学课程2023年秋季学期

课程视频 https://space.bilibili.com/456646151

课程说明

1. 本课程为将介绍机器学习的基本知识、常用的机器学习模型，介绍Python软件的操作及运用。

2. 通过本课程，学会如何进行定量数据的统计分析，懂得运用什么样的统计模型来分析数据，学会Python软件的使用。掌握定量研究的基本套路，能够独立完成定量分析，撰写定量报告或论文。

课程安排

Lecture 1 机器学习绪论

阅读文献： Breiman, Leo. 2001. “Statistical Modeling: The Two Cultures”. Statistical Science, 16(3),199-231.

Lecture 2 线性回归（1）

Lecture 3 线性回归（2）

Lecture 4 Python入门

Lecture 5 Python绘图

Lecture 6 线性回归（3）及Python操作

Lecture 7 逻辑斯蒂回归（1）

Lecture 8 逻辑斯蒂回归（2）

Lecture 9 多项逻辑斯蒂回归

Lecture 10 判别分析（1）

阅读文献： Hastie, Trevor and Robert Tibshirani. 1996. Discriminant Analysis by Gaussian Mixtures. Journal of Royal Statistical Society, B, 58, 155-176.

Lecture 11 判别分析（2）

Lecture 12 朴素贝叶斯

Lecture 13 K近邻法

Lecture 14 岭回归

阅读文献： Hoerl, Arthur and Robert Kennard. 1970. Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12:1, 55-67.

Lecture 15 套索回归（Lasso）

阅读文献1： Tibshirani, Robert. 1996. Regression Shrinkage and Selection via the Lasso. Journal of Royal Statistical Society, B, 58, 267-288.

阅读文献2： Zou, Hui and Trevor Hastie. 2005. Regularization and Variable Selection via the Elastic Net. Journal of Royal Statistical Society, B, 67, 301-320.

Lecture 16 决策树（1）

阅读文献： Quinlan, J.R. Induction of Decision Trees. 1986. Machine Learning, 1, 81-106.（发表于Machine Learning创刊号）

Lecture 17 决策树（2）

Lecture 18 随机森林（1）

阅读文献： Breiman, Leo. Random Forests. 2001. Machine Learning, 45, 5-32.

Lecture 19 提升法（1）

阅读文献： Robert Schapire. 1997. The Strength of Weak Learnability. Machine Learning, 5(2),197-227.

Lecture 20 提升法（2）

阅读文献1： Freund, Yoav and Robert Schapire. 1997. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55, 119-139. （提出Adaptive Boosting）

阅读文献2： Chen, Tianqi and Carlos Guestrin. 2016.XGBoost: A Scalable Tree Boosting System.

Lecture 21 支持向量机（1）

阅读文献： Cortes, Corina and Vladimir Vapnik. 1995. Support-Vector Networks. Machine Learning, 20, 273-297.（殆因当时神经网络尚属热门，这篇SVM的论文题目加上了Networks。）

Lecture 22 支持向量机（2）

阅读文献： Drucker, Harris et.,al. 1997. Support Vector Regression Machines. 1996. Neural Information Processing Systems.（Vapnik等人发表于顶会NIPS）

Lecture 23 深度神经网络

阅读文献1：LeCun, Botton, Bengio and Haffner. 1998. Gradient-based Learning Applied to Document Recognition. Proceedings of the IEEE, 86, 2278-2324.（正式提出卷积神经网络，采用CNN解决图像分类问题，提出LeNet-5。）

阅读文献2：Krizhevsky, Alex, Ilya Sutskever, and Geoffrey Hinton. 2012. ImageNet Classification with Deep Convolutional Neural Networks. In Advances in Neural Information Processing Systems. （此文9页，在CNN沉寂14年之后，发表于顶会NIPS，提出深度卷积网络模型。AlexNet引入ReLu激活函数，解决了梯度消失的问题，在2012年图像识别大赛一鸣惊人获得冠军，一举奠定深度学习的优势地位。）

阅读文献3：LeCun, Yann, Yoshua Bengio and Geoffrey Hinton. 2015. Nature, 521, 436-444.（综述文章，介绍CNN, RNN）

教材

陈强，2021，《机器学习及Python应用》，北京：高等教育出版社。

参考书

方匡南，2018，《数据科学》。北京:电子工业出版社。