机器学习基本概念

 机器学习 ≈ 构建一个映射函数 \text { 机器学习 } \approx \text { 构建一个映射函数 }

机器学习三要素：模型、学习准则、优化算法

  • 模型

    • 线性方法：f(x,θ)=wTx+bf(\mathbf{x}, \theta)=\mathbf{w}^{\mathrm{T}} \mathbf{x}+b
    • 广义线性算法：f(x,θ)=wTϕ(x)+bf(\mathbf{x}, \theta)=\mathbf{w}^{\mathrm{T}} \boldsymbol{\phi}(\mathbf{x})+b

    如果 ϕ(x)\boldsymbol{\phi}(\mathbf{x}) 为可学习的非线性基函数，f(x,θ)f(\mathbf{x}, \theta) 等价于神经网络

  • 学习准则：风险最小化。

以线性回归（Linear Regression）为例：

期望风险（Expected Risk）：对所有样本（未知样本+已知训练样本）的预测能力。【全局】

R(θ)=E(x,y)∼pr(x,y)[L(y,f(x;θ))]\mathcal{R}(\theta)=\mathbb{E}_{(\boldsymbol{x}, y) \sim p_r(\boldsymbol{x}, y)}[\mathcal{L}(y, f(\boldsymbol{x} ; \theta))]

经验风险（Empirical Risk）：对所有已知训练样本都求损失函数，再累加求平均，表示决策函数对已知训练样本的预测能力。【局部】

D={x(n),y(n)},n∈[1,N]\mathcal{D}=\left\{x^{(n)}, y^{(n)}\right\}, n \in[1, N]

RDemp(θ)=1N∑n=1NL(y,f(x;θ))\mathcal{R}_{\mathcal{D}}^{e m p}(\theta)=\frac{1}{N} \sum_{n=1}^N \mathcal{L}(y, f(\boldsymbol{x} ; \theta))

期望最小化风险，是指真实数据分布和映射函数未知情况下，通过参数寻找使得期望风险最小化。首先期望风险不可计算，常用经验风险来近似。然后寻找一组最优的参数 θ∗\theta^*，使经验风险函数最小化。

机器学习求解问题 ⇒\Rightarrow 最优化问题

优化目标：经验风险最小化 RDemp(θ)=1N∑n=1NL(y,f(x;θ))\mathcal{R}_{\mathcal{D}}^{e m p}(\theta)=\frac{1}{N} \sum_{n=1}^N \mathcal{L}(y, f(\boldsymbol{x} ; \theta))

优化输出：寻找一组最优的参数 θ∗\theta^*

损失函数（Loss Function）：

L(y,f(x;θ))\mathcal{L}(y, f(\boldsymbol{x} ; \theta))

定义损失函数的一般方法：

损失函数 表达式
0−10-1 损失函数 L(y,f(x;θ))={0 if y=f(x;θ)1 if y≠f(x;θ)=I(y≠f(x;θ))\mathcal{L}(y, f(\boldsymbol{x} ; \theta))=\left\{\begin{array}{ll}0 & \text { if } y=f(\boldsymbol{x} ; \theta) \\ 1 & \text { if } y \neq f(\boldsymbol{x} ; \theta)\end{array}=I(y \neq f(\boldsymbol{x} ; \theta))\right.
平方损失函数 L(y,f(x;θ))=12(y−f(x;θ))2\mathcal{L}(y, f(\boldsymbol{x} ; \theta))=\frac{1}{2}(y-f(\boldsymbol{x} ; \theta))^2

  • 优化算法：梯度下降

​ 假设一个人需要从山的某处开始下山，尽快到达山底。在下山之前他需要确认两件事：下山的方向和下山的距离。因为下山的路有很多，他必须利用一些信息，找到从该处开始最陡峭的方向下山，这样可以保证他尽快到达山底。此外，这座山最陡峭的方向并不是一成不变的，每当走过一段规定的距离，他必须停下来，重新利用现有信息找到新的最陡峭的方向。通过反复进行该过程，最终抵达山底。

下山 无约束优化
山 优化函数表达式
山底 函数最优值
下山的距离 学习率
下山的方向 梯度方向
某处 优化函数初始值

批量梯度下降（Gradient Descent）：

  1. 给定待优化连续可微函数 J(Θ)J(\Theta) 、学习率 α\alpha 以及一组初始值 Θ0=(θ01,θ02,⋯ ,θ0l,)\Theta_0=\left(\theta_{01}, \theta_{02}, \cdots, \theta_{0 l},\right)
  2. 计算待优化函数梯度: ∇J(Θ0)\nabla J\left(\Theta_0\right)
  3. 更新迭代公式: Θ0+1=Θ0−α∇J(Θ0)\Theta^{0+1}=\Theta_0-\alpha \nabla J\left(\Theta_0\right)
  4. 计算 Θ0+1\Theta^{0+1} 处函数梯度 ∇J(Θ0+1)\nabla J\left(\Theta_{0+1}\right)
  5. 计算梯度向量的模来判断算法是否收敛: ∥∇J(Θ)∥⩽ε\|\nabla J(\Theta)\| \leqslant \varepsilon
  6. 若收敛，算法停止，否则根据迭代公式继续迭代

推广到学习准则中的经验风险，经过迭代计算风险函数的最小值：

RDemp(θ)=1N∑n=1NL(y,f(x;θ))θt+1=θt−α∂RDemp(θ)∂θ=θt−α1N∑n=1N∂L(y(n),f(x(n);θ))∂θ\begin{aligned} & \mathcal{R}_{\mathcal{D}}^{e m p}(\theta)=\frac{1}{N} \sum_{n=1}^N \mathcal{L}(y, f(\boldsymbol{x} ; \theta)) \\ & \theta_{t+1}=\theta_t-\alpha \frac{\partial \mathcal{R}_{\mathcal{D}}^{e m p}(\theta)}{\partial \theta} \\ & \quad=\theta_t-\alpha \frac{1}{N} \sum_{n=1}^N \frac{\partial \mathcal{L}\left(y^{(n)}, f\left(\boldsymbol{x}^{(n)} ; \theta\right)\right)}{\partial \theta} \end{aligned}

学习率是十分重要的！

  • 学习率超大，无法收敛
  • 学习率过大，无法收敛到合理区间
  • 学习率过小，收敛速度慢
随机梯度下降法（Stochastic Gradient Descent，SGD)：批量梯度下降法在每次迭代都需计算每个训练样本上损失函数的梯度并加和，计算复杂度较大；为了降低迭代的计算复杂度，可以每次迭代只采集一个训练样本，计算该样本的损失函数的梯度并更新参数，即随机梯度下降法。

小批量（Mini-Batch ）随机梯度下降法：批量梯度下降和随机梯度下降的折中。每次迭代时，随机选取一小部分训练样本来计算梯度并更新参数，这样既可以兼顾随机梯度下降法的优点，也可以提高训练效率。

提前停止法：验证集错误率不再下降，就停止迭代。

欠拟合（Underfitting）和欠拟合（Overfitting）

欠拟合：模型不能很好地拟合训练数据，在训练集的错误率高；模型能力不足，不能掌握训练样本的一般性质。

过拟合：训练数据少 or 模型能力强，将训练集的本身特点当做所有样本的一般性质，导致泛化性能下降。

根据前面提到的：

期望风险 经验风险
R(θ)=E(x,y)∼pr(x,y)[L(y,f(x;θ))]\mathcal{R}(\theta)=\mathbb{E}_{(\boldsymbol{x}, y) \sim p_r(\boldsymbol{x}, y)}[\mathcal{L}(y, f(\boldsymbol{x} ; \theta))] RDemp(θ)=1N∑n=1NL(y,f(x;θ))\mathcal{R}_{\mathcal{D}}^{e m p}(\theta)=\frac{1}{N} \sum_{n=1}^N \mathcal{L}(y, f(\boldsymbol{x} ; \theta))

泛化错误：可以衡量一个机器学习模型是否可以很好地泛化到未知数据，一般表现在一个模型在训练集和测试集上的错误率。

GD(f)=R(f)−RDemp(f)\mathcal{G}_{\mathcal{D}}(f)=\mathcal{R}(f)-\mathcal{R}_{\mathcal{D}}^{e m p}(f)

正则化（Regularization）：通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法。
  • 增加优化约束
  • 干扰优化过程

l1l_1 和 l2l_2 正则化：

θ∗=arg⁡min⁡θ1N∑n=1NL(y(n),f(x(n);θ))+ℓp(θ)\theta^*=\underset{\theta}{\arg \min } \frac{1}{N} \sum_{n=1}^N \mathcal{L}\left(y^{(n)}, f\left(\boldsymbol{x}^{(n)} ; \theta\right)\right)+\ell_p(\theta)

L1L_1 正则项 L2L_2 正则项
∥w∥1\|w\|_1 ∥w∥22\|w\|_2^2

数学基础

线性代数

基本概念：

  • 标量（scalar）：一个单独的数。
  • 向量（vector）：一列数。
  • 矩阵（matrix）：二维数组。
  • 张量（tensor）：超过二维的数组。

矩阵运算：

  • 转置
  • 矩阵加法
  • 矩阵乘法
  • 逆矩阵

范数：

  • l1l_1 范数：向量的各个元素的绝对值之和。
    • ∥v∥1=∑n=1N∣vn∣\|\boldsymbol{v}\|_1=\sum_{n=1}^N\left|v_n\right|
  • l2l_2 范数：向量的各个元素的平方和再开平方。
    • ∥v∥2=∑n=1Nvn2=v⊤v\|\boldsymbol{v}\|_2=\sqrt{\sum_{n=1}^N v_n^2}=\sqrt{\boldsymbol{v}^{\top} \boldsymbol{v}}
  • ℓ∞\ell_{\infty} 范数：向量的各个元素的最大绝对值。
    • ∥v∥∞=max⁡{v1,v2,⋯ ,vN}\|\boldsymbol{v}\|_{\infty}=\max \left\{v_1, v_2, \cdots, v_N\right\}

矩阵的范数，常用 lpl_p 范数一般定义：

∥A∥p=(∑m=1M∑n=1N∣amn∣p)1/p\|\boldsymbol{A}\|_p=\left(\sum_{m=1}^M \sum_{n=1}^N\left|a_{m n}\right|^p\right)^{1 / p}

矩阵的 FF 范数是向量的 l2l_2 范数的推广：∥W∥F=∑m=1M∑n=1N(wmn)2\|\boldsymbol{W}\|_F=\sqrt{\sum_{m=1}^M \sum_{n=1}^N\left(w_{m n}\right)^2}。

微积分基础

导数：曲线的斜率，反应曲线变化的快慢。

f′(x0)=lim⁡Δx→0f(x0+Δx)−f(x0)Δxf^{\prime}\left(x_0\right)=\lim _{\Delta x \rightarrow 0} \frac{f\left(x_0+\Delta x\right)-f\left(x_0\right)}{\Delta x}

高阶导数：函数的更高阶求导。

偏导数：：多元函数在保持其他变量固定，关于其中一个变量的求导。

方向导数：函数对某一方向求导。

常见函数的导数：

函数 函数形式 导数
常函数 f(x)=Cf(x)=C, 其中 CC 为常数 f′(x)=0f^{\prime}(x) =0
幂函数 f(x)=xrf(x)=x^r, 其中 rr 是非零实数 f′(x)=rxr−1f^{\prime}(x) =r x^{r-1}
指数函数 f(x)=exp⁡(x)f(x)=\exp (x) f′(x)=exp⁡(x)f^{\prime}(x) =\exp (x)
对数函数 f(x)=log⁡(x)f(x)=\log (x) f′(x)=1xf^{\prime}(x) =\frac{1}{x}

泰勒公式：函数 f(x)f(x) 以已知某一点的各阶导数值的作系数构建一个多项式来近似函数在某一点的邻域的值。

f(x)=f(a)+11!f′(a)(x−a)+12!f(2)(a)(x−a)2+⋯+1n!f(n)(a)(x−a)n+Rn(x)\begin{aligned} f(x)=f(a)+ & \frac{1}{1 !} f^{\prime}(a)(x-a)+\frac{1}{2 !} f^{(2)}(a)(x-a)^2+\cdots +\frac{1}{n !} f^{(n)}(a)(x-a)^n+R_n(x) \end{aligned}

Rn(x)R_n(x)：泰勒公式的余项，(x−a)n(x-a)^n 的高阶无穷小。

方向导数与梯度：梯度向量是方向导数最大的方向。

矩阵微分：多元微积分的一种表达方式，即使用矩阵和向量来表示因变量每个成分关于自变量每个成分的偏导数。

分为

矩阵：AA ，其元素记作 aija_{ij} ；

向量：x\boldsymbol{x}，其元素记作 xix_i

标量：t、αt、\alpha

矩阵、向量对标量求导：结果与矩阵、向量同型，每个元素就是矩阵、向量相应分量对标量的求导。

  • F:R→Rm×nF: \mathbf{R} \rightarrow \mathbf{R}^{\mathbf{m} \times \mathbf{n}}，∂F/∂x\partial F / \partial x 是 m×nm \times n 维矩阵，(∂F/∂x)ij=∂fij/∂x(\partial F / \partial x)_{i j}=\partial f_{i j} / \partial x

  • 或者记作 ∇xF\nabla_x F 或 Fx′F_x^{\prime}

  • f:R→Rm\mathbf{f}: \mathbf{R} \rightarrow \mathbf{R}^{\mathbf{m}}，∂f/∂x\partial \mathbf{f} / \partial x 是 mm 维向量，(∂f/∂x)i=∂fi/∂x(\partial \mathbf{f} / \partial x)_i=\partial f_i / \partial x

    • 行向量 fT\mathbf{f}^T 记作∇xfT\nabla_x \mathbf{f}^T 或 ∂fT/∂x\partial \mathbf{f}^T / \partial x
    • 列向量 f\mathbf{f} 记作 ∇xf\nabla_x \mathbf{f} 或 ∂f/∂x\partial \mathbf{f} / \partial x

标量对矩阵、向量求导：结果与矩阵、向量同型，每个元素就是标量对矩阵、向量相应分量的求导。

  • f:Rm×n→Rf: \mathbf{R}^{\mathbf{m} \times \mathbf{n}} \rightarrow \mathbf{R}，∂f/∂X\partial f / \partial X 是 m×nm \times n 维矩阵，(∂f/∂X)ij=∂f/∂xij(\partial f / \partial X)_{i j}=\partial f / \partial x_{i j}

    • 或者记作 ∇Xf\nabla_X f

  • f:Rm→Rf: \mathbf{R}^{\mathbf{m}} \rightarrow \mathbf{R}，∂f/∂x\partial f / \partial \mathbf{x} 是 mm 维向量，(∂f/∂x)i=∂f/∂xi(\partial f / \partial \mathbf{x})_i=\partial f / \partial x_i

    • 行向量 fT\mathbf{f}^T 记作∇xTf\nabla_{\mathbf{x}^T} f 或 ∂f/∂xT\partial f / \partial \mathbf{x}^{\mathbf{T}}
    • 列向量 f\mathbf{f} 记作 ∇xf\nabla_{\mathrm{x}} f 或 ∂f/∂x\partial f / \partial \mathbf{x}

向量对向量求导：雅可比矩阵

  • f:Rn→Rm\mathbf{f}: \mathbf{R}^{\mathbf{n}} \rightarrow \mathbf{R}^{\mathbf{m}}， ∂f/∂x\partial \mathbf{f} / \partial \mathbf{x} 是 m×nm \times n 维矩阵，(∂f/∂x)ij=∂fi/∂xj(\partial \mathbf{f} / \partial \mathbf{x})_{i j}=\partial f_i / \partial x_j
    • 或者记作 ∇xf∘\nabla_{\mathbf{x}} \mathbf{f}_{\circ}

举例常见：

  • 标量 (y∈R)(y \in \mathbb{R}) 关于向量 (x∈RM)\left(\boldsymbol{x} \in \mathbb{R}^M\right) 的偏导数
    • ∂y∂x=[∂y∂x1,⋯ ,∂y∂xM]⊤∈RM×1\frac{\partial y}{\partial x}=\left[\frac{\partial y}{\partial x_1}, \cdots, \frac{\partial y}{\partial x_M}\right]^{\top} \quad \in \mathbb{R}^{M \times 1}
  • 向量 (y∈RN)\left(\boldsymbol{y} \in \mathbb{R}^N\right) 关于标量 (x∈R)(x \in \mathbb{R}) 的偏导数
    • ∂y∂x=[∂y1∂x,⋯ ,∂yN∂x]∈R1×N\frac{\partial y}{\partial x}=\left[\frac{\partial y_1}{\partial x}, \cdots, \frac{\partial y_N}{\partial x}\right] \quad \in \mathbb{R}^{1 \times N}
  • 向量 (y=f(x)∈RN)\left(\boldsymbol{y}=f(x) \in \mathbb{R}^N\right) 关于向量 (x∈RM)\left(\boldsymbol{x} \in \mathbb{R}^M\right) 的偏导数
    • ∂f(x)∂x=[∂y1∂x1⋯∂yN∂x1⋮⋱⋮∂y1∂xM⋯∂yN∂xM]∈RM×N\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial y_N}{\partial x_1} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_1}{\partial x_M} & \cdots & \frac{\partial y_N}{\partial x_M}\end{array}\right] \in \mathbb{R}^{M \times N}

微分链式法则：

  • 标量微分链式法则：若 x∈R，y=g(x)∈R,z=f(y)∈Rx \in \mathbb{R} ， y=g(x) \in \mathbb{R}, z=f(y) \in \mathbb{R}，
    • dzdx=dydxdzdy\frac{d z}{d x}=\frac{d y}{d x} \frac{d z}{d y}
  • 向量微分链式法则：
    • 若 x∈R，y=g(x)∈RM,z=f(y)∈RNx \in \mathbb{R} ， \boldsymbol{y}=g(x) \in \mathbb{R}^M, \boldsymbol{z}=f(\boldsymbol{y}) \in \mathbb{R}^N，（标量 →\rightarrow 向量 →\rightarrow 向量）
      • ∂z∂x=∂y∂x∂z∂y∈R1×MRM×N=R1×N\frac{\partial z}{\partial x}=\frac{\partial y}{\partial x} \frac{\partial z}{\partial y} \in \mathbb{R}^{1 \times M} \mathbb{R}^{M \times N}=\mathbb{R}^{1 \times N}
    • 若 x∈RM，y=g(x)∈RN，z=f(y)∈RK\boldsymbol{x} \in \mathbb{R}^M ， \boldsymbol{y}=g(\boldsymbol{x}) \in \mathbb{R}^N ， \boldsymbol{z}=f(\boldsymbol{y}) \in \mathbb{R}^K ，（向量 →\rightarrow 向量 →\rightarrow 向量）
      • ∂z∂x=∂y∂x∂z∂y∈RM×NRN×K=RM×K\frac{\partial z}{\partial x}=\frac{\partial y}{\partial x} \frac{\partial z}{\partial y} \in \mathbb{R}^{M \times N} \mathbb{R}^{N \times K}=\mathbb{R}^{M \times K}
    • 若 X∈RM×N,y=g(X)∈RN,z=f(y)∈R\boldsymbol{X} \in \mathbb{R}^{M \times N}, \quad \boldsymbol{y}=g(\boldsymbol{X}) \in \mathbb{R}^N, z=f(\boldsymbol{y}) \in \mathbb{R} ，（矩阵 →\rightarrow 向量 →\rightarrow 标量）
      • ∂z∂xij=∂y∂xij∂z∂y∈R1×NRN×1=R\frac{\partial z}{\partial x_{i j}}=\frac{\partial y}{\partial x_{i j}} \frac{\partial z}{\partial y} \in \mathbb{R}^{1 \times N} \mathbb{R}^{N \times 1}=\mathbb{R}

概率与统计基础

条件概率：p(y∣x)≜P(Y=y∣X=x)=p(x,y)p(x)p(y \mid x) \triangleq P(Y=y \mid X=x)=\frac{p(x, y)}{p(x)}

贝叶斯公式：p(y∣x)=p(x∣y)p(y)p(x)p(y \mid x)=\frac{p(x \mid y) p(y)}{p(x)}

常见概率分布：

  • 离散随机变量的概率分布：伯努利分布、二项分布
  • 连续随机变量概率分布：均匀分布、正态分布

…

常用模型

线性回归

线性模型（Linear Model）：机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。

给定一个 DD 维样本 x=[x1,⋯ ,xD]T\boldsymbol{x}=\left[x_1, \cdots, x_D\right]^{\mathrm{T}}，其线性组合函数：

f(x;w,b)=w1x1+w2x2+⋯+wDxD+b=w⊤x+b\begin{aligned} f(\boldsymbol{x} ; \boldsymbol{w} , b) & =w_1 x_1+w_2 x_2+\cdots+w_D x_D+b \\ & =\boldsymbol{w}^{\top} \boldsymbol{x}+b\end{aligned}

线性回归是一种典型的线性模型：输出的标签是连续值；

分类问题：输出的标签是离散值。

引入函数 g(⋅)g(\cdot) ，使输出符合预期离散值得目标。

y=g(f(x;w,b))y=g(f(\boldsymbol{x} ; \boldsymbol{w},b))

f(x;w,b)f(\boldsymbol{x} ; \boldsymbol{w},b)：线性判别函数（Discriminant Function）

g(⋅)g(\cdot)：非线性决策函数（Decision Function）

举例：g(⋅)g(\cdot) 可以是符号函数（Sign Function）

g(f(x;w,b))=sgn⁡(f(x;w,b))≜{+1 if f(x;w,b)>0,−1 if f(x;w,b)<0.\begin{aligned} g(f(\boldsymbol{x} ; \boldsymbol{w},b)) & =\operatorname{sgn}(f(\boldsymbol{x} ; \boldsymbol{w},b)) \\ & \triangleq\left\{\begin{array}{rll} +1 & \text { if } & f(\boldsymbol{x} ; \boldsymbol{w},b)>0, \\ -1 & \text { if } & f(\boldsymbol{x} ; \boldsymbol{w},b)<0 . \end{array}\right. \end{aligned}

Logistic 回归

g(⋅)g(\cdot) 选择为 LogisticLogistic 函数

σ(x)=11+exp⁡(−x)\sigma(x)=\frac{1}{1+\exp (-x)}

  • 模型：分类决策问题 →\rightarrow 条件概率估计问题。
  1. 线性函数组合特征：f=w⊤x+bf=\boldsymbol{w}^{\top} \boldsymbol{x}+b
  2. 非线性函数决策：

p(y=1∣x)=σ(w⊤x)p(y=0∣x)=1−p(y=1∣x)≜11+exp⁡(−w⊤x)=exp⁡(−w⊤x)1+exp⁡(−w⊤x)\begin{aligned} p(y=1 \mid \boldsymbol{x}) & =\sigma\left(\boldsymbol{w}^{\top} \boldsymbol{x}\right) & p(y=0 \mid \boldsymbol{x}) & =1-p(y=1 \mid \boldsymbol{x}) \\ & \triangleq \frac{1}{1+\exp \left(-\boldsymbol{w}^{\top} \boldsymbol{x}\right)} & & =\frac{\exp \left(-\boldsymbol{w}^{\top} \boldsymbol{x}\right)}{1+\exp \left(-\boldsymbol{w}^{\top} \boldsymbol{x}\right)} \end{aligned}

  • 学习准则： 逻辑回归使用交叉熵作为损失函数。 

模型预测条件概率：

pω(y=1∣x)=σ(ωTx+b);pω(y=0∣x)=1−σ(ωTx+b)p_\omega(y=1 \mid \boldsymbol{x})=\sigma\left(\omega^{\boldsymbol{T}} \boldsymbol{x}+b\right) ; \quad p_\omega(y=0 \mid \boldsymbol{x})=1-\sigma\left(\omega^{\boldsymbol{T}} \boldsymbol{x}+b\right)

真实条件概率：

pr(y=1∣x)=y∗;pr(y=0∣x)=1−y∗\begin{gathered} p_r(y=1 \mid \boldsymbol{x})=y^* ; \quad p_r(y=0 \mid \boldsymbol{x})=1-y^* \end{gathered}

熵（Entropy）：信息论中，用来衡量一个随机事件的不确定性。表示为自信息的期望。

自信息（Self Information）：I(x)=−log⁡(p(x))I(x)=-\log (p(x))

H(X)=EX[I(x)]=EX[−log⁡p(x)]=−∑x∈Xp(x)log⁡p(x)\begin{aligned} H(X) & =\mathbb{E}_X[I(x)] =\mathbb{E}_X[-\log p(x)]=-\sum_{x \in \mathcal{X}} p(x) \log p(x) \end{aligned}

交叉熵（Cross Entropy）：按照概率分布 qq 的最优编码对真实分布为 pp 的信息进行编码的长度。

H(p,q)=Ep[−log⁡q(x)]=−∑xp(x)log⁡q(x)\begin{aligned} H(p, q) & =\mathbb{E}_p[-\log q(x)] =-\sum_x p(x) \log q(x) \end{aligned}

在给定 pp 的情况下， 如果 pp 和 qq 越接近，交叉熵越小 。如果 pp 和 qq 差别越大，交叉熵就越大。

给定 NN 个训练样本 {(x(n),y(n))}n=1N\left\{\left(\boldsymbol{x}^{(n)}, y^{(n)}\right)\right\}_{n=1}^N，使用 LogisticLogistic 回归模型进行预测，单个样本预测概率：

y^(n)=σ(w⊤x(n)),1≤n≤N\hat{y}^{(n)}=\sigma\left(\boldsymbol{w}^{\top} \boldsymbol{x}^{(n)}\right), \quad 1 \leq n \leq N

又训练样本 {(x(n),y(n))}n=1N\left\{\left(\boldsymbol{x}^{(n)}, y^{(n)}\right)\right\}_{n=1}^N，单个样本真实概率：

pr(y(n)=1∣x(n))=y(n),pr(y(n)=0∣x(n))=1−y(n)p_r\left(y^{(n)}=1 \mid x^{(n)}\right)=y^{(n)}, p_r\left(y^{(n)}=0 \mid x^{(n)}\right)=1-y^{(n)}

真实概率和预测概率的交叉熵为：−[pr(y(n)=1∣x(n))log⁡y^(n)+pr(y(n)=0∣x(n))log⁡(1−y^(n))]-\left[p_r\left(y^{(n)}=1 \mid x^{(n)}\right) \log \hat{y}^{(n)}+p_r\left(y^{(n)}=0 \mid x^{(n)}\right) \log \left(1-\hat{y}^{(n)}\right)\right]

考虑全部训练样本，基于交叉熵损失函数，模型在训练集上的风险函数为：

R(w)=−1N∑n=1N(pr(y(n)=1∣x(n))log⁡y^(n)+pr(y(n)=0∣x(n))log⁡(1−y^(n)))=−1N∑n=1N(y(n)log⁡y^(n)+(1−y(n))log⁡(1−y^(n)))\begin{aligned} \mathcal{R}(\boldsymbol{w}) & =-\frac{1}{N} \sum_{n=1}^N\left(p_r\left(y^{(n)}=1 \mid \boldsymbol{x}^{(n)}\right) \log \hat{y}^{(n)}+p_r\left(y^{(n)}=0 \mid \boldsymbol{x}^{(n)}\right) \log \left(1-\hat{y}^{(n)}\right)\right) \\ & =-\frac{1}{N} \sum_{n=1}^N\left(y^{(n)} \log \hat{y}^{(n)}+\left(1-y^{(n)}\right) \log \left(1-\hat{y}^{(n)}\right)\right) \end{aligned}

  • 优化算法：使用梯度下降，针对的是 w\boldsymbol{w}，上述与该项有关系的只有 y^(n)\hat{y}^{(n)}。

∂R(w)∂w=−1N∑n=1N(y(n)y^(n)(1−y^(n))y^(n)x(n)−(1−y(n))y^(n)(1−y^(n))1−y^(n)x(n))=−1N∑n=1N(y(n)(1−y^(n))x(n)−(1−y(n))y^(n)x(n))=−1N∑n=1Nx(n)(y(n)−y^(n))\begin{aligned} \frac{\partial \mathcal{R}(\boldsymbol{w})}{\partial \boldsymbol{w}} & =-\frac{1}{N} \sum_{n=1}^N\left(y^{(n)} \frac{\hat{y}^{(n)}\left(1-\hat{y}^{(n)}\right)}{\hat{y}^{(n)}} \boldsymbol{x}^{(n)}-\left(1-y^{(n)}\right) \frac{\hat{y}^{(n)}\left(1-\hat{y}^{(n)}\right)}{1-\hat{y}^{(n)}} \boldsymbol{x}^{(n)}\right) \\ & =-\frac{1}{N} \sum_{n=1}^N\left(y^{(n)}\left(1-\hat{y}^{(n)}\right) \boldsymbol{x}^{(n)}-\left(1-y^{(n)}\right) \hat{y}^{(n)} \boldsymbol{x}^{(n)}\right) \\ & =-\frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(y^{(n)}-\hat{y}^{(n)}\right) \end{aligned}

wt+1←wt+α1N∑n=1Nx(n)(y(n)−y^wt(n))\boldsymbol{w}_{t+1} \leftarrow \boldsymbol{w}_t+\alpha \frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(y^{(n)}-\hat{y}_{\boldsymbol{w}_t}^{(n)}\right)

要素 公式
模型 p(y=1∣x)=σ(wTx)≜11+exp⁡(−wTx)p(y=1 \mid \mathbf{x})=\sigma\left(\mathbf{w}^{\mathrm{T}} \mathbf{x}\right) \triangleq \frac{1}{1+\exp \left(-\mathbf{w}^{\mathrm{T}} \mathbf{x}\right)}
学习准则 R(w)=−1N∑n=1N(y(n)log⁡y^(n)+(1−y(n))log⁡(1−y^(n)))\mathcal{R}(\mathbf{w})=-\frac{1}{N} \sum_{n=1}^N\left(y^{(n)} \log \hat{y}^{(n)}+\left(1-y^{(n)}\right) \log \left(1-\hat{y}^{(n)}\right)\right)
优化算法 ∂R(w)∂w=−1N∑n=1Nx(n)(y(n)−y^(n))wt+1←wt+α1N∑n=1Nx(n)(y(n)−y^wt(n))\frac{\partial \mathcal{R}(\boldsymbol{w})}{\partial \boldsymbol{w}}=-\frac{1}{N} \sum_{n=1}^N \mathbf{x}^{(n)}\left(y^{(n)}-\hat{y}^{(n)}\right) \\ \boldsymbol{w}_{t+1} \leftarrow \boldsymbol{w}_t+\alpha \frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(y^{(n)}-\hat{y}_{\boldsymbol{w}_t}^{(n)}\right)

Softmax 回归

多分类问题（Multi class Classification）：分类的类别数大于 22。分类一般需要多个线性判别函数，但设计这些判别函数有很多种方式。

假设一个多分类问题类别有 {1,2,⋯ ,C}\{1,2, \cdots, C\}，常用的方式：

  • “一对其余”方式：把多分类问题转换为 CC 个“一对其余”的二分类问题。这种方式共需要 CC 个判别函数，其中第 ii 个判别函数 fif_i 是将类别 ii 的样本和不属于类别 ii 的样本分开。
  • "一对一"方式：把多分类问题转换为 C(C−1)2\frac{C(C-1)}{2} 个“一对一”的二分类问题。这种方式共需要 C(C−1)2\frac{C(C-1)}{2} 个判别函数，其中第 (i,j)(i,j) 个判别函数是把类别 ii 和类别 jj 的样本分开。
  • “argmax”方式：改进的“一对其余”方式。这种方式共需要 CC 个判别函数。

对于样本 x\boldsymbol{x} ，如果存在一个类别 cc ，相对于所有的其他类别 c~(c~≠c)\tilde{c}(\tilde{c} \neq c) 有 fc(x;wc,b)>fc~(x,wc~,b)f_c\left(\boldsymbol{x} ; \boldsymbol{w}_c,b\right)>f_{\tilde{c}}\left(\boldsymbol{x}, \boldsymbol{w}_{\tilde{c}},b\right) ，那 么 x\boldsymbol{x} 属于类别 c0c_0。

y=CCc=1max⁡fc(x;wc,b)\begin{aligned} y=\underset{c=1}{\stackrel{C}{C}} \max f_c\left(\boldsymbol{x} ; \boldsymbol{w}_c,b\right) \end{aligned}

多类线性可分：对于训练集 D={(x(n),y(n))}n=1N\mathcal{D}=\left\{\left(\boldsymbol{x}^{(n)}, y^{(n)}\right)\right\}_{n=1}^N，如果存在 CC 个 权重向量 w1∗,⋯ ,wC∗\boldsymbol{w}_1^*, \cdots, \boldsymbol{w}_C^*，使得第 c(1≤c≤C)c(1 \leq c \leq C) 类的所有样本都满足 fc(x;wc∗,b)>f_c\left(\boldsymbol{x} ; \boldsymbol{w}_c^*,b\right)> fc~(x,wc~∗,b),∀c~≠cf_{\tilde{c}}\left(\boldsymbol{x}, \boldsymbol{w}_{\tilde{c}}^*,b\right), \forall \tilde{c} \neq c, 那么训练集 D\mathcal{D} 是线性可分的。

从上面定义可知，如果数据集是多类线性可分的，那么一定存在一个“argmaxargmax”方式的线性分类器可以将它们正确分开。

Softmax Regression 也称为多项（Multinomial）或多类（Multi Class）的 Logistic 回归，是 LogisticLogistic 回归在多分类问题上的推广。

softmax⁡(xk)=exp⁡(xk)∑i=1Kexp⁡(xi)\begin{aligned} \operatorname{softmax}\left(x_k\right)=\frac{\exp \left(x_k\right)}{\sum_{i=1}^K \exp \left(x_i\right)} \end{aligned}

  • 模型：分类决策问题 →\rightarrow 条件概率估计问题
  1. 线性函数组合特征：f=w⊤x+bf=\boldsymbol{w}^{\top} \boldsymbol{x}+b
  2. 非线性函数决策，SoftmaxSoftmax 回归：wi\boldsymbol{w}_i 是第 ii 类的权重向量

p(y=c∣x)=softmax⁡(wc⊤x+b)=exp⁡(wc⊤x+b)∑c′=1Cexp⁡(wc′⊤x+b)\begin{aligned} p(y=c \mid \boldsymbol{x}) & =\operatorname{softmax}\left(\boldsymbol{w}_c^{\top} \boldsymbol{x}+b\right) \\ & =\frac{\exp \left(\boldsymbol{w}_c^{\top} \boldsymbol{x}+b\right)}{\sum_{c^{\prime}=1}^C \exp \left(\boldsymbol{w}_{c^{\prime}}^{\top} \boldsymbol{x}+b\right)} \end{aligned}

  • 学习准则： SoftmaxSoftmax 回归使用交叉熵作为损失函数

给定 NN 个训练样本 {(x(n),y(n))}n=1N\left\{\left(\boldsymbol{x}^{(n)}, y^{(n)}\right)\right\}_{n=1}^N，使用 SoftmaxSoftmax 回归模型进行预测，单个样本预测概率：

y^(n)=arg⁡max⁡Cc=1  p(y=c∣x)\begin{aligned} \hat{y}^{(n)} & =\underset{c=1}{\stackrel{C}{\arg \max }} \; p(y=c \mid \boldsymbol{x}) \end{aligned}

又训练样本 {(x(n),y(n))}n=1N\left\{\left(\boldsymbol{x}^{(n)}, y^{(n)}\right)\right\}_{n=1}^N，单个样本真实概率：

y(n)\begin{aligned} y^{(n)} \end{aligned}

种类 预测概率 真实概率
11 y^1(n)\hat{y}^{(n)}_1 y1(n)y^{(n)}_1
22 y^2(n)\hat{y}^{(n)}_2 y2(n)y^{(n)}_2
⋯\cdots
ii y^i(n)\hat{y}^{(n)}_i yi(n)y^{(n)}_i
⋯\cdots
CC y^C(n)\hat{y}^{(n)}_C yC(n)y^{(n)}_C

考虑全部样本，可以写为：

y^=softmax⁡(W⊤x)=exp⁡(W⊤x)1C⊤exp⁡(W⊤x)\begin{aligned} \hat{\boldsymbol{y}} & =\operatorname{softmax}\left(\boldsymbol{W}^{\top} \boldsymbol{x}\right) \\ & =\frac{\exp \left(\boldsymbol{W}^{\top} \boldsymbol{x}\right)}{\mathbf{1}_C^{\top} \exp \left(\boldsymbol{W}^{\top} \boldsymbol{x}\right)} \end{aligned}

  • W=[w1,⋯ ,wC]\boldsymbol{W}=\left[\boldsymbol{w}_1, \cdots, \boldsymbol{w}_C\right] ：由 CC 个类的权重向量组成的矩阵。
  • 1C1_C ： CC 维的全 11 向量。
  • y^∈RC\hat{\boldsymbol{y}} \in \mathbb{R}^C ：所有类别的预测条件概率组成的向量，第 cc 维的值是第 cc 类的预测条件概率。

真实概率和预测概率的交叉熵为：−[y1(n)log⁡y^1(n)+y2(n)log⁡y^2(n)+⋯+yC(n)log⁡y^C(n)]=−∑c=1Cyc(n)log⁡(y^c(n))-\left[y^{(n)}_1 \log \hat{y}^{(n)}_1+y^{(n)}_2 \log \hat{y}^{(n)}_2 +\cdots + y^{(n)}_C \log \hat{y}^{(n)}_C\right]=-\sum_{c=1}^C y^{(n)}_c \log \left(\hat{y}^{(n)}_c\right)

考虑全部训练样本，基于交叉熵损失函数，模型在训练集上的风险函数为：

R(W)=−1N∑n=1N∑c=1Cyc(n)log⁡y^c(n)=−1N∑n=1N(y(n))⊤log⁡y^(n)\begin{aligned} \mathcal{R}(\boldsymbol{W}) & =-\frac{1}{N} \sum_{n=1}^N \sum_{c=1}^C \boldsymbol{y}_c^{(n)} \log \hat{\boldsymbol{y}}_c^{(n)} \\ & =-\frac{1}{N} \sum_{n=1}^N\left(\boldsymbol{y}^{(n)}\right)^{\top} \log \hat{\boldsymbol{y}}^{(n)} \end{aligned}

  • 优化算法：使用梯度下降，针对的是 w\boldsymbol{w}，上述与该项有关系的只有 y^(n)\hat{\boldsymbol{y}}^{(n)}。

∂R(W)∂W=−1N∑n=1Nx(n)(y(n)−y^(n))⊤\begin{aligned} \frac{\partial \mathcal{R}(\boldsymbol{W})}{\partial \boldsymbol{W}}=-\frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(\boldsymbol{y}^{(n)}-\hat{\boldsymbol{y}}^{(n)}\right)^{\top} \end{aligned}

Wt+1←Wt+α(1N∑n=1Nx(n)(y(n)−y^Wt(n))⊤)\begin{aligned} \boldsymbol{W}_{t+1} \leftarrow \boldsymbol{W}_t+\alpha\left(\frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(\boldsymbol{y}^{(n)}-\hat{\boldsymbol{y}}_{W_t}^{(n)}\right)^{\top}\right) \end{aligned}

要素 公式
模型 p(y=c∣x)=softmax⁡(wcTx)=exp⁡(wc⊤x)∑i=1Cexp⁡(wi⊤x)p(y=c \mid \mathbf{x}) =\operatorname{softmax}\left(\mathbf{w}_c^{\mathrm{T}} \mathbf{x}\right) =\frac{\exp \left(\mathbf{w}_c^{\top} \mathbf{x}\right)}{\sum_{i=1}^C \exp \left(\mathbf{w}_i^{\top} \mathbf{x}\right)}
学习准则 R(W)=−1N∑n=1N(y(n))⊤log⁡y^(n)\mathcal{R}(\boldsymbol{W})=-\frac{1}{N} \sum_{n=1}^N\left(\boldsymbol{y}^{(n)}\right)^{\top} \log \hat{\boldsymbol{y}}^{(n)}
优化算法 ∂R(W)∂W=−1N∑n=1Nx(n)(y(n)−y^(n))⊤Wt+1←Wt+α(1N∑n=1Nx(n)(y(n)−y^Wt(n))⊤)\frac{\partial \mathcal{R}(\boldsymbol{W})}{\partial \boldsymbol{W}}=-\frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(\boldsymbol{y}^{(n)}-\hat{\boldsymbol{y}}^{(n)}\right)^{\top} \\ \boldsymbol{W}_{t+1} \leftarrow \boldsymbol{W}_t+\alpha\left(\frac{1}{N} \sum_{n=1}^N \boldsymbol{x}^{(n)}\left(\boldsymbol{y}^{(n)}-\hat{\boldsymbol{y}}_{W_t}^{(n)}\right)^{\top}\right)

感知机

感知机（Perceptron）由 FrankRoseblatt 于1957年提出，是一种广泛使用的线性分类器。感知器可谓是最简单的人工神经网络，只有一个神经元。模拟生物神经元行为的机器，有与生物神经元相对应的部件：

生物神经元部件 感知机组成
突触 权重
阈值 偏置
细胞体 激活函数
  • 模型：

g(x,w)={+1 当 wTx>0,−1 当 wTx<0.\begin{aligned} g(\mathbf{x}, \mathbf{w})= \begin{cases}+1 & \text { 当 } \mathbf{w}^{\mathrm{T}} \mathbf{x}>0, \\ -1 & \text { 当 } \mathbf{w}^{\mathrm{T}} \mathbf{x}<0 .\end{cases} \end{aligned}

  • 学习准则：

L(w;x,y)=max⁡(0,−ywTx)\begin{aligned} \mathcal{L}(\mathbf{w} ; \mathbf{x}, y)=\max \left(0,-y \mathbf{w}^{\mathrm{T}} \mathbf{x}\right) \end{aligned}

  • 优化算法：

∂L(w;x,y)∂w={0 当 ywTx>0,−yx 当 ywTx<0.\begin{aligned} \frac{\partial \mathcal{L}(\mathbf{w} ; \mathbf{x}, y)}{\partial \mathbf{w}}= \begin{cases}0 & \text { 当 } y \mathbf{w}^{\mathrm{T}} \mathbf{x}>0, \\ -y \mathbf{x} & \text { 当 } y \mathbf{w}^{\mathrm{T}} \mathbf{x}<0 .\end{cases} \end{aligned}

 当 ywTx<0wk+1←wk+yx\begin{aligned} \text { 当 } y \mathbf{w}^{\mathrm{T}} \mathbf{x}<0 \quad \boldsymbol{w}_{k+1} \leftarrow \boldsymbol{w}_k+y \boldsymbol{x} \end{aligned}

线性分类模型小结

线性模型 激活函数 损失函数 优化方法
线性回归 - (y−w⊤x)2\left(y-\boldsymbol{w}^{\top} \boldsymbol{x}\right)^2 梯度下降
LogisticLogistic 回归 σ(w⊤x)\sigma\left(\boldsymbol{w}^{\top} \boldsymbol{x}\right) ylog⁡σ(w⊤x)\boldsymbol{y} \log \sigma\left(\boldsymbol{w}^{\top} \boldsymbol{x}\right) 梯度下降
SoftmaxSoftmax 回归 softmax⁡(W⊤x)\operatorname{softmax}\left(\boldsymbol{W}^{\top} \boldsymbol{x}\right) ylog⁡softmax⁡(W⊤x)\boldsymbol{y} \log \operatorname{softmax}\left(\boldsymbol{W}^{\top} \boldsymbol{x}\right) 梯度下降
感知机 sgn⁡(w⊤x)\operatorname{sgn}\left(\boldsymbol{w}^{\top} \boldsymbol{x}\right) max⁡(0,−yw⊤x)\max \left(0,-y \boldsymbol{w}^{\top} \boldsymbol{x}\right) 随机梯度下降