机器学习理论与实战培训大纲
1 绪论：ML与AI的回顾和简介
务实的AI与机器学习发展历史回顾（课程内容总体介绍）
AI的潮起潮落：弱人工智能和强人工智能
机器学习模型的构成：目标函数、优化、推理预测
机器学习模型的分类：监督学习与非监督学习
机器学习研究的新趋势：从标签学习到结构体学习模型
2 标签学习 介绍的机器学习模型包括：决策树、回归树、GBRT、Logistic Regression、集成方法
2.1 以分类、回归的思想建模（小化回归误差和小化信息熵） 决策树：信息熵
回归树
Gradient Boosting Regression Tree：在工业界的广发应用与特征工程
核心讲授思想：从优化的观点出发，讲解树生成的贪心算法
2.2 以概率的框架建模（大化数据似然） 复习概率论基本知识：sum rule, product rule
Logistic Regression：从二分类到多分类的Softmax
朴素贝叶斯
核心讲授思想：讲授大化似然的优化目标、梯度下降的优化方法、和模型预测方法
2.3 集成学习方法 Bagging、Random Forest、Adaboost
核心讲授思想：集成学习核心思想，特别介绍Adaboost算法在理论上的性能保障
3 结构体建模 主要讲授：概率图模型与EM算法
3.1 有向的概率图模型 有向概率图模型：基本知识（全概率公式的表达与模型条件独立假设的等价关系）
经典有向概率图的具体模型：
朴素贝叶斯的概率图模型
矩阵分解的协同过滤方法：Probabilistic Matrix Factorization（顺带讲解协同过滤的其它方法）
概率图模型设计的方法论
引入隐变量的有向图概率图模型
主题模型：PLSA
混合高斯模型（无监督聚类）
EM算法细节：对引入隐向量的结构体的建模
核心讲授思想：讲授有向的概率图模型的基本知识和经典模型实例；讲授引入隐变量到概率图模型的目的，和该情况下的优化方法（EM算法）
3.2 无向概率图模型 无向的概率图模型：基本知识（全概率公式的表达与模型条件独立假设的等价关系）
经典无向概率图的具体模型：条件随机场（Viterbi算法）
核心讲授思想：讲授无向的概率图模型的基本知识和经典模型实例
4 结构体预测 主要讲授：深度学习神经网络方法
4.1 神经网络基础 神经网络概述
全连接前馈神经网络：模型优化的BP算法（随机梯度下降、梯度消失）
PLSA的神经网络实现方法
核心讲授思想：神经网络是对从输入到输出的计算流程可视化，同时便于反向求导等运算
4.2 Theano编程 编程介绍、调试、Theano背后的设计思想
核心讲授思想：以Theano下的全连接前馈神经网络的实现为例，讲解Theano的神经网络编程
4.3 卷积神经网络 卷积神经网络原理：BP算法在卷积神经网络下的推导
卷积神经网络应用：基本应用、图像虚幻化的应用
4.4 循环神经网络 循环神经网络原理：BP算法在循环神经网络下的推导
循环神经网络基本应用：序列标注、语言建模
循环神经网络高级应用：机器翻译、对话生成
核心讲授思想：机器学习从特征工程迈向网络设计
5 前沿研究与实际案例
5.1 机器学习案例实战一 闲聊机器人构建：生成式模型的研究前沿
对话的多机理建模
自顶向下的树结构神经网络生成
结构体预测的Adaboost方法（与对抗神经网络的结合） |
shuhaipeixun
总部李老师