人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）

前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

0. 人工智能数学课高等数学线性微积分数学教程笔记（目录）
1. 人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
2. 人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
3. 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
4. 人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
5. 人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
6. 人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
7. 人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

1. 数学内容概述

人工智能是应用数学，需要的数学知识包括：

• 微积分

  • 主要内容：导数与求导公式，一阶导数与函数的单调性，一元函数极值判定法则，高阶导数，二阶导数与函数的凹凸性，一元导数泰勒展开。
  • 主要用微分部分，求函数极值，即机器学习库中的求解器 (solver) 的功能；
  • 推荐书籍：高等数学（第七版，同济大学数学系），数学分析新讲(张筑生)
  • 知识点：
    • 导数与偏导数定义与计算；
    • 梯度向量；
    • 极值定理，可导函数在极值点处导数或梯度必须为0；
    • 雅克比矩阵，向量到向量映射函数的偏导数构成的矩阵，用于求导推导；
    • Hessian 矩阵，二阶导数对多元函数的推广，求函数极值；
    • 凸函数的定义与判断；
    • 泰勒展开公式，多元函数泰勒展开公式，推导出梯度下降法，牛顿法，拟牛顿法等一系列最优化方法；
    • 拉格朗日乘数法，拉格朗日对偶，求解带等式约束的极值问题。

• 线性代数

  • 主要内容：向量及其运算，矩阵及其运算，张量，行列式，二次型，特征值与特征向量。
  • 推荐书籍：工程数学线性代数(同济大学数学系)
  • 知识点：
    • 向量及其运算，包括加法，减法，数乘，转置，内积；
    • 向量和矩阵的范数，$L1$ 范数(曼哈顿距离)和 $L2$ 范数(两点间距离)；
    • 矩阵及其运算，包括加法，减法乘法和数乘；
    • 逆矩阵定义和性质；
    • 行列式定义和计算；
    • 二次型定义；
    • 矩阵正定性；
    • 矩阵的特征值 (eigenvalue) 与特征向量 (eigenvector) ；
    • 矩阵的奇异值分解 (SVD) ；
    • 线性方程组的数值解法，尤其是共轭梯度法。
  • 数据一般都是向量、矩阵或张量。

• 概率论

  • 主要内容：随机事件与概率，条件概率和贝叶斯公式，随机变量，随机变量的期望和方差，常用概率分布(正态分布，均匀分布，伯努利二项分布)，随机向量(联合概率密度函数等)，协方差和协方差矩阵，最大似然估计。
  • 将所处理的样本数据看作随机变量/向量，用概率论的观点对问题进行建模。
  • 推荐书籍：概率论与数理统计（第四版）
  • 知识点：
    • 随机事件概念，概率定义与计算；
    • 随机变量与概率分布，尤其是连续性随机变量的概率密度函数和分布函数；
    • 条件概率与贝叶斯公式；
    • 常见概率分布，正态分布，均匀分布，伯努利二项分布；
    • 随机变量的均值方差，协方差；
    • 随机变量的独立性；
    • 最大似然估计。

• 最优化

  • 推荐书籍：凸优化(作者：Stephen Boyd, Lieven Vandenberghe著 王书宁，许鋆，黄晓霖译)，非线性规划（第2版，作者：Dimitri P. Bertsekas 著 宋士吉、张玉利、贾庆山 译）
  • 凸优化问题

• 其他

  微分几何，泛函分析和识别函数，离散数学(图论)。