一、统计学习
简单理解：统计学习就是机器学习
研究对象：数据
目的：对数据预测与分析（尤其是新数据）
方法：基于数据构建概率模型
分类：监督学习、无监督学习、半监督学习、强化学习
二、统计学习分类
基本分类
1）监督学习（需要大量数据）
定义：从标注数据中学习预测模型的机器学习问题。
输入空间：输入所有可能取值的集合。
输出空间：输出所有可能取值的集合。
（上述两者可以是有限元素的集合，也可以是整个欧氏空间）
监督学习的目的就是学习一个输入到输出的映射，用一个模型表示。若该模型属于由输入空间到输出空间的映射的集合，该集合就是假设空间。
独立同分布→相互独立的
2）无监督学习
定义：从无标注数据中学习预测模型的机器学习问题。
3）强化学习
定义：智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。
4）半监督学习（不需要很多数据）
定义：利用标注数据和未标注数据学习预测模型的机器学习问题。
5）主动学习
定义：机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题。
按模型分类
1）概率&非概率模型
概率模型→条件概率 P(y|x)
非概率模型→函数形式 y=f(x)
基本概率公式：
2）线性&非线性模型
3）参数化&非参数化模型
按算法分类
分为在线学习和批量学习。
按技巧分类
1）贝叶斯学习
P(B|A)也是似然函数。
先验概率：是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的“因”出现的概率。
贝叶斯公式很重要，它可以看作完全概率公式的变形。
条件概率：知道原因推结果
贝叶斯公式：执果索因
似然函数：
贝叶斯估计关系图：
2）核方法
定义：使用核函数表示和学习非线性模型的一种机器学习方法，适用于监督学习&无监督学习。
外积→点乘（数量积），得到结果是一个数
内积→叉乘，得到结果是一个向量
三、统计学习方法三要素
精髓：方法=模型+策略+算法！
模型
模型的假设空间包含所有可能的条件概率或决策函数。
策略
监督学习两个基本策略：经验风险最小化&结构风险最小化。
当样本容量很大时，经验风险最小化有优势。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化 <=> 极大似然估计。
当样本容量很小时，经验风险最小化就劣势了，会过拟合。
结构风险最小化就是为了防止过拟合而提出的 <=> 正则化。
指示函数：指示函数是定义在某集合X上的函数，表示其中有哪些元素属于某一子集A。
符号函数：数学上的Sgn 函数返回一个整型变量，指出参数的正负号。语法Sgn(number)， number 参数是任何有效的数值表达式。返回值如果 number 大于0，则Sgn 返回1；等于0，返回0；小于0，则返回-1。number 参数的符号决定了Sgn 函数的返回值。
四、模型评估&选择
训练误差&测试误差
数据集=训练集+测试集+验证集
训练误差是模型关于训练数据集的平均损失。
测试误差是模型关于测试数据集的平均损失。
过拟合&模型选择
过拟合&欠拟合
点击这里查看解释~
图示：
五、正则化
正则化是模型选择的典型方法，它是结构风险最小化的实现，在经验风险上加一个正则化项或罚项即可。
简单来说，正则化是把一个大的区间压缩到一个小的范围内。
六、泛化能力
定义：指由学习方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。
一般通过测试误差评价某个学习方法的泛化能力。
百度解释的泛化能力是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
通俗的解释：
七、生成模型&判别模型
监督学习方法又分为：生成方法&判别方法。
学习得到的模型又分别称为生成模型&判别模型。
八、监督学习的应用
三大应用：分类、标注、回归
监督学习从数据中学习一个分类模型或分类决策函数，称为分类器。
而分类器对新的输入进行输出的预测，称为分类。可能的输出称为类别。
对二分类问题常用的评价指标是精确率&召回率。
标注常用的统计学习方法：隐马尔可夫模型、条件随机场。
回归学习最常用的损失函数是平方损失函数，此情况下可用最小二乘法求解。
连乘图解：
转载：https://blog.csdn.net/m0_51495585/article/details/116402458