深度学习中的数学---第二章 神经网络的数学基础

1.神经网络所需的函数

1.一次函数
$y=ax+b\quad(a,b为常数，a\neq0)$
a称为斜率，b称为截距

2.二次函数
$y=ax^2+bx+c\quad(a,b,c为常数，a\neq0)$
例如：最小二乘法
3.单位阶跃函数
$u(x)=\begin{cases}0\quad(x<0)\\ 1\quad(x\geq0) \end{cases}$
神经网络的原型模型是用单位阶跃函数座位激活函数的
4.指数函数
$y =a^x\quad(a为正的常数。a\neq1)$
例如
$\sigma(z) =\frac {1} {1+e^{-z}}$ (e = 2.718281)
5.正态分布的概率密度函数

$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
其中常数 $\mu$称为期望值， $\sigma$称为标准差
按照正态分布产生的随机数称为正态分布随机数

2.有助于理解神经网络的数列和递推关系式

数列和递推关系式
联立递推关系式

3.神经网络中的 $\sum$和向量基础

1.向量的内积

$a\cdot b =\mid a \mid \mid b\mid\cos\theta$
2.柯西-施瓦茨不等式
$-\mid a\mid \mid b\mid \leq a\cdot b\leq\mid a \mid \mid b\mid$
3.内积的坐标表示，向量的一般化
加权输入标示为内积的形式
4.矩阵基础
行数和列数相同的矩阵称为方阵
矩阵相等：两个矩阵A，B相等的含义是它们对应的元素相等，极为A=B
矩阵的和，差，常数倍
矩阵的乘积
Hadamard乘积：对于相同形状的矩阵A，B将相同位置的元素相乘。由此产生的矩阵称为矩阵A，B的Hadamard乘积
转置矩阵

6.导数基础

$y=f(x)$的导数 $\dot{f(x)}$
$\dot{\sigma(x)}=\sigma(\theta)(1-\sigma(\theta))$

7.偏导数基础

8.误差反向传播法必须的链式法则

1.神经网络和复合函数
2.单变量函数的链式法则
3.多变量函数的链式法则

9.梯度下降法的基础：多变量函数的近似公式

1.单变量函数的近似公式
2.多变量函数的近似公式
3.近似公式的向量表示
$\Delta x=(\Delta w,\Delta x,\Delta y)$

10.梯度下降法的含义与公式

1.梯度下降法的思路
寻找函数最小值的点。著名的寻找最小值的点的方法----梯度下降法
2.近似公式和内积的关系
3.二变量函数的梯度下降法的基本式
$(\Delta x,\Delta y)=-\eta(\frac{\partial f(x,y)}{\partial x},\frac {\partial f(x,y)}{\partial y})$
4.哈密顿算子
$\nabla f = (\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2}，···，\frac{\partial f}{\partial x_n})$
5.
$\Delta x=-\eta\nabla f\quad(\eta 为正的微小常数)$

12.最优化问题和回归分析

1.在为了分析数据而建立数学模型是，通常模型是由参数决定的。在数学世界中，最优化问题就是如何确定这些参数
2/为了理解最优化问题，最浅显的例子就是回归分析
3.由多个变量组成的数据中，着眼于其中一个特定的变量，用其余的变量来解释这个特定的变量，这样的方法称为回归分析
4.一元线性回归分析
5.代数函数（误差函数，损失函数，代数函数）
6.模型参数的个数

转载：https://blog.csdn.net/u014365133/article/details/101028171