你手里是否有这本深度学习领域奠基性经典畅销书《深度学习》,是否有的地方看不懂?是否被一些数学问题搞得焦头烂额,是否因为数学问题已经放弃了阅读这本经典书。小编给你支一个招。
你可以准备一本《机器学习的数学》把机器学习中的数学知识掌握好。再去看深度学习。
为什么这么说,先看看阅读《深度学习》所需要的数学知识。请看下图中的第1部分介绍基本的数学工具和机器学习的概念。
再看《机器学习中的数学》中用到了哪些数学知识
概率论
概率论对于机器学习来说也是至关重要的,它是一种重要的工具。如果将机器学习算法的输入、输出看作随机变量/向量,则可以用概率论的观点对问题进行建模。使用概率论的一个好处是可以对不确定性进行建模,这对于某些问题是非常有必要的。另外,它还可以挖掘变量之间的概率依赖关系,实现因果推理。概率论为某些随机算法-如蒙特卡洛算法、遗传算法,以及随机数生成算法-包括基本随机数生成、以及采样算法提供了理论依据和指导。最后,概率论也是信息论,随机过程的先导课程。
工科的概率论与数理统计教材,已经讲述了机器学习所需的大部分概率论知识,只有以下的知识点除外:
1. 条件独立性
2. Jensen不等式
3. 某些概率分布,如多项分布,拉普拉斯分布,t分布等
4. 概率分布变换
5. 多维正态分布
6. 多维概率分布变换
7. 某些参数估计方法,包括最大后验概率估计,贝叶斯估计等
8. 随机数生成算法,包括逆变换采样,拒绝采样等算法
最优化方法
最优化方法在机器学习中处于中心地位,遗憾的是很多读者并没有系统的学过这门课程,包括线性规划,凸优化,非线性规划。在一般的数值分析课程中,只讲述了最优化方法的小部分内容。几乎所有机器学习算法最后都归结于求解最优化问题,从而确定模型参数,或直接获得预测结果。前者的典型代表是有监督学习,通过最小化损失函数或优化其他类型的目标函数确定模型的参数;后者的典型代表是数据降维算法,通过优化某种目标函数确定降维后的结果,如主成分分析。
信息论
信息论是概率论的延伸,在机器学习与深度学习中通常用于构造目标函数,以及对算法进行理论分析与证明。这同样是很多读者没有学习过的课程。
在机器学习尤其是深度学习中,信息论的知识随处可见:
1. 决策树的训练过程中需要使用熵作为指标
2. 在深度学习中经常会使用交叉熵、KL散度、JS散度、互信息等概念
3. 变分推断的推导需要以KL散度为基础
4. 距离度量学习、流形降维等算法也需要信息论的知识
随机过程
随机过程同样是概率论的延伸,这也是大部分读者没有学习过的课程。在机器学习中,随机过程被用于概率图模型、强化学习、以及贝叶斯优化等方法。不理解马尔可夫过程,你将对MCMC采样算法一头雾水。
图论
图论似乎只有计算机相关专业在本科时学过,而且还不完整,比如谱图理论。在机器学习中,概率图模型是典型的图结构。流形降维算法与谱聚类算法均使用了谱图理论。计算图是图的典型代表,图神经网络作为一种新的深度学习模型,与图论也有密切的关系。因此补充图论的知识也是很有必要的。
读到这开不开心,这本圣经级的深度学习书终于可以继续学下去了。
深度学习 [deep learning]
《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio和Aaron Courville撰写,是深度学习领域奠基性的经典教材。全书的内容包括3个部分:第1部分介绍基本的数学工具和机器学习的概念,它们是深度学习的预备知识;第2部分系统深入地讲解现今已成熟的深度学习方法和技术;第3部分讨论某些具有前瞻性的方向和想法,它们被公认为是深度学习未来的研究重点。
《深度学习》适合各类读者阅读,包括相关专业的大学生或研究生,以及不具有机器学习或统计背景、但是想要快速补充深度学习知识,以便在实际产品或平台中应用的软件工程师。
机器学习的数学
全书共由8章组成,用非常小的篇幅精准而系统地覆盖了机器学习、深度学习、强化学习所必需的数学知识,内容基本上涵盖了这3门课所需的绝大部分数学知识。针对理工科本科阶段的“高等数学/微积分”,“线性代数”,“概率论与数理统计”进行了精确地补充。下面介绍每一章的主要内容。
转载:https://blog.csdn.net/epubit17/article/details/113526734