数据学习——专注于人工智能算法、学术论文、程序开发
本文摘自合肥工业大学电子商务研究院刘业政老师的课堂总结。谢谢你，鲁老师。哈哈。由于存在许多外部引用，因此不允许链接。你可以查一下原文。
人类认识世界的过程可以理解为对世界中的物体进行分类的过程。如果没有分类能力，人类的认知就不可能实现。因此，我们从分类的角度来描述这个题。
1.线性可分性和线性不可分性
说到分类，我们需要谈谈线性可分性和线性不可分性。这就是模式识别的概念。在欧几里得几何中，线性可分性是一组点的属性。最容易描述的情况是，二维平面中有几个点一个红点和一个蓝点。如果你可以用直线将不同颜色的点分开，那么你就可以将它们线性分开。确定一组点是否线性可分涉及查看是否可以找到分隔这些点的超平面。超平面是等维1的n维欧几里得空间的线性子空间。也就是说，它必须具有n-1维。例如，平面中的线、空间中的平面等都是二维空间和三维空间中的超平面。如下图所示，这是一个可线性分离的空间和不可线性分离的二维空间的例子。
图1
利用线性可分性的概念，我们可以构造分类器来帮助我们对目标对象进行分类。例如，如果您的数据是p维向量，您可以通过构造p-1维超平面来分离它们。假设我们想要分离二维平面中的点，如图1中的第一个线性分离示例所示。然后我们可以构造一个线性函数的分类器。
y=fx=wx+b
我们希望这个方程能够分离不同颜色的点。这意味着要获得该函数，我们需要一组参数w和b。在线左侧创建所有红点，在线右侧创建所有蓝点。
图2
综上所述，它是机器学习中的一个分类任务。我们需要构建分类模型Y=FX，以便我们能够很好地判断数据属于哪一类。假设有N条训练数据，分类器的目标是
其中N为样本量，k为范数阶数，k=0,1,2,以上是对机器学习中分类模型的简单总结。不懂的同学可以自己补课。这不是本文的重点。我不会详细介绍这个过程，只是使用这个表格。
2.过拟合和欠拟合
然而，在现实世界中，并非所有数据都是线性可分的。从图2中可以看出，平面上的点的分类不是线性可分的。点是二维空间中的点。第一张图使用的分类器是线性分类器，wx+b，但是目前分类效果不是很好。第二张图中的分类器是添加一维后的分类，w1x2+w2x+b。第三张照片中的分类器是w_1x^3+w_2x^2+w_3x+b，这是过度拟合的。可见，增加空间维度会显着增加参数，增加计算复杂度，甚至可能导致过拟合题。
在这个例子中，我们看到，对于线性不可分离性，继续在当前维度构建分类器将导致欠拟合，如图2最左边的图所示。此时，可以将空间映射到更高维的空间，然后可以将数据线性分离。如图3所示，二维平面中不可线性分离的点可以映射到三维空间，然后使用该平面使其线性可分离。但是，如果我们增加的空间维数太高，就会增加大量参数，导致过拟合，如上图3最右图所示。欠拟合是指分类器没有很好地对当前数据进行分类，过拟合是指分类器对训练数据进行过拟合，在训练集上表现出良好的分类效果，但由于噪声等原因分类能力非常好。这实际上意味着下降。有了新数据。
图3
3.预期风险、经历风险、结构风险
让我们从不同的角度来理解前面提到的欠拟合和过拟合题。在机器学习中，我们一般面临三类风险预期风险、经验风险和结构风险。由于过拟合实际上是只考虑经验风险而忽略结构风险的结果，所以这里简单介绍一下。
31.预期风险
首先，我们来谈谈机器学习的目标确保模型的预测与数据的实际输出相匹配。这显然是不可能的。所以我们定义一个函数来衡量模型的预测值与真实值之间的差异，即模型的拟合能力。模型和数据之间的差距可以通过定义成本函数来描述。
成本函数描述了数据总体和模型之间的差异。成本函数定义了通常所说的预期风险，即模型拟合整个数据的能力。我们的目标是期望风险尽可能小。预期风险越小，模型的拟合能力越强。当然，预期的风险函数在实践中很难获得，因为很难知道数据的总体分布是什么。因此，我们需要定义一个不同的风险函数而不是预期风险。
32.体验风险
前面我们提到了机器学习分类任务的目标函数。在训练模型时，分类的目标很简单，就是希望样本的实际值和预测值之间的差异尽可能小。特定样本的预测值与实际值之间的差异就是损失，可以利用上述差异来确定损失函数，因此也称为损失函数。损失函数的值取决于随机变量的输出，因此它实际上是一个随机变量。因此，我们通常根据对损失函数的期望做出决策。损失函数表示样本的预测值与实际值之间的差异。这种差异的定义可以是零阶的、线性的、二次的等，甚至是对数的。
损失函数让我们了解模型对单个样本的预测能力。如果您想了解模型对所有样本的预测能力，可以将损失函数叠加到所有样本上。因此，最好的分类模型应该具有全零的损失函数结果。也就是说，预测值必须与实际值完全相同。虽然这显然在现实中是不可能的，但我们可以将损失函数视为目标函数。损失函数的值越小，预测越准确。损失函数定义了我们通常所说的经验风险。
这里，Xi是输入值，Yi是输入对应的实际值，FXi是预测值。N是样本数。
从上面的讨论中我们可以看出，这里的损失函数定义了样本数据（即训练集）上的风险函数，称为经验风险。这针对的是训练数据，即模型的适应度。训练数据。经验风险越小，模型对训练集的拟合能力就越好。显然，使用经验风险而不是预期风险也是有题的。这是因为该风险函数无法衡量模型对新数据的预测能力。
33、信托风险和结构性风险
尽管如此，我们更喜欢经验风险尽可能小的模型，因为它们证明了模型拟合训练数据的能力。当然，仅使用经验风险作为唯一目标函数来优化模型是不够的。训练数据可能有噪音，并且可能不能代表总体。因此，与训练数据的良好拟合并不一定意味着模型能够很好地拟合测试数据。只考虑经验风险的模型会出现上述过拟合现象。换句话说，你可以定义一个高维模型，可以很好地对原始数据进行分类和建模。然而，高维模型函数过于复杂，参数过多，容易出现过拟合。因此，我们需要定义一个新的风险函数，使得模型能够在优化经验风险的同时降低自身的复杂度。这就是结构风险函数。定义如下
换句话说，结构性风险等于经验风险+信任风险。上式右边第二项是机器学习中分类函数VC维的置信区间。VC维置信区间描述了模型对未知文本的预测误差。信任风险的详细由来和VC层面的知识稍后会介绍，但我们在这里简单讨论一下。VC维是一个数字，描述样本集中有效假设的数量。这意味着一段数据的假设空间非常大，但这不利于找到逼近理想解的假设空间，所以我们需要找到理论数据来保证假设空间不更大。理论上这将帮助您找到理想的解决方案。VC维的概念有助于我们理解假设空间的数量。这里我们使用VC的最终结论，即VC维度的大小。这与学习算法、输入变量的分布以及我们求解的目标函数无关。这只是关于模型和假设空间。VC维反映了假设空间H的稳健性。VC尺寸越大，H变得越强。因为可以拆卸更多的破碎点。即VC维越大，模型的泛化能力越低，信任风险越大。在模型中，模型变得非常复杂。因此，结构风险的目标是保证当经验风险较小时，信任风险也较小。
4、规律性的作用
我之前已经说过很多次了，但让我总结一下在机器学习中，模型的目标是拟合数据。但我们也不希望我们的模型过度拟合。也就是说，我们对模型的要求是经验风险和结构风险同时很小。也就是说，模型拟合能力好，但必须降低模型的复杂度来提高模型的泛化能力。有两种方法可以降低模型复杂度一是通过降维、减少特征来减少模型参数的数量。二是参数。减小参数的取值范围。第二种方法是添加普通术语。添加正规项后，新模型的假设空间受到。此时，模型的VC维变小，意味着模型的泛化能力更强。新的目标函数是
这里，nn表示模型的参数个数，lambda是正规项的系数，mm是正规项的阶数，可以是0,1,2,
以零阶正则为例，即模型的参数要么为0，要么为1，模型参数的数量大大减少。然而，零阶标准的求解是一个NP难题，因此显然不满足我们的要求。初级标准又如何呢？一阶范数可能会降低模型复杂性，但推导一阶范数更加困难。所以一般来说我们可以对正规项取二次范数。
5、一般术语的其他理解
除了理解上述机器学习中的常规术语之外，还有两种其他方法可以理解常规术语的含义。
51.拉格朗日乘子
在数学优化题中，拉格朗日乘子法是一种当变量受一个或多个条件影响时求多元函数极值的方法。该方法可以将具有n个变量和k个约束的优化题转化为求解具有n+k个变量的方程组的题。该方法引入一个新的未知数或一组新的未知数，即拉格朗日乘子，也称为拉格朗日乘子或变换方程，即嵌入约束方程中的拉格朗日乘子。线性单个向量的系数梯度的组合。微积分中最常见的题之一是找到函数的最大值和最小值。然而，通常很难找到极限函数的显式表示，特别是当函数具有前提条件或约束时。拉格朗日乘子提供了一种非常方便的方法来解决这些类型的题，而无需显式引入约束或求解外部变量。在机器学习中，目标函数是
这种形式只是一个有限极限题。这个受限极值题可以使用拉格朗日乘法转换为新函数的极值题。
我们可以看到这两个公式是等价的。这意味着正则化的本质是对未知参数施加一定的约束。
52.贝叶斯字典
对正规项的另一种理解来自于随机矩阵分解的先验分析。引用
如果U和V各自具有前面的参数
我在这里添加了一个对数函数。添加字典后，我们可以看到随机矩阵分解的结果是未知参数的字典变多了。如果先验是高斯分布，则变换与之前的第二个标准完全相同。
总结
最后，总而言之，正规项通过增加对模型参数的约束来减少模型的过度拟合。其原则是模型应同时降低经验风险和结构风险，而降低结构风险的概念最初源于VC层面的概念。
参考文献1《机器学习的数学基础》刘业政，合肥工业大学商学院电子商务研究所
参考资料2
参考资料3
参考资料4
参考资料5
参考6:
参考7
一、运筹学中，线性规划标准型约束方程中的b要求必须大于等于零么？
在标准形式中，b必须大于或等于0。如果b小于0，转换为标准形式时，两边同时乘以-1，所以s-t中的b更大。大于或等于0。
二、什么叫做方程组的约束条件？
该方程有两个约束是一个方程，包含未知数。
三、在基本rs触发器中输出q与q-在什么情况下不是相反的？
基本RS触发器的逻辑方程为
约束方程
根据上面两个公式，就得到了四个输入和输出之间的关系。
R端有效时为1-0，S端无效时为-1，Q=0，Q不为1，触发器置0。
2-1如果R端无效，-0如果S端有效，则Q=1，Q不为0，触发器置1。
RSTrigger-10照片，
如上所述，当触发器的两个输入端添加不同的逻辑电平时，两个输出端Q和Q具有两个互补的稳定状态。一般来说，触发器Q端的状态被认为是触发器的状态。通常我们说触发器处于某种状态，实际上是指Q端的状态。当Q=1而不是Q=0时，触发器被称为处于状态1，否则触发器被称为处于状态0。S=0、R=1将触发器设置为1或将其设置为1。设置的判定条件为S=0，因此S端称为设置1端。当R=0且S=1时，触发器被设置为0或复位。
同样，R端子称为置0端子或复位端子。要将触发器从原来的1状态变为0，必须将R端的电平从1变为0，S端的电平必须从0变为1。这里添加的输入信号称为触发信号，发生的转换过程称为翻转。这里的触发信号是电平，因此这种类型的触发器称为电平控制触发器。从功能上看，它只能根据S和R的行为设置0和1，因此也称为置0置1触发器或置位复位触发器。其逻辑符号如图7-2-1-b所示。设置0或设置1为低电平有效触发信号，因此S和R端子上都画有小圆圈。
3-如果两个RS端子都被禁用，触发器状态将不会改变。
当触发器保持其状态时，输入端添加无效电平。如果需要触发翻转，则需要在特定的输入端添加负脉冲。加到S端使触发器置1，脉冲信号到达电平后仍保持1状态，相当于存储了S端的电平信号。这体现了触发器具有记忆功能。
4-如果两个RS端都有效，则触发器的状态不确定。
在这种情况下，两个与非门的输出端Q1和Q2都不为1。当两个输入信号同时去除后，两个与非门的延迟时间无法确定，因此触发器无法确定是1还是0，这种情况称为不定状态，应该避免。从另一个角度来看，即使R、S端置为0，低电平置为1，也不能同时为0。
另外，或非门的输入端和输出端也可以交叉连接，形成set-0和set-1触发器。其逻辑图及逻辑符号如图7-2-2、7-所示。分别为2-2。此类触发器的触发信号为高电平激活，因此逻辑符号的S端和R端没有小圆圈。
本文介绍约束方程没有办法输入怎么办，以及约束方程没有办法输入对应的相关信息已经解完毕，希望对大家有帮助。
No Comment