在线客服
企业微信
文章开头，吴恩达回忆他的研究历程中曾有一次抉择：
多年前，在一次项目中，选择算法时，他不得不在神经网络与决策树学习算法之间做选择。考虑到计算预算，他最终选择了神经网络，在很长的一段时间内弃用增强决策树。
这是一个错误的决定，「幸好我的团队很快修改了我的选择，项目才成功。」吴恩达谈道。
他由此感叹，不断学习与更新基础知识是十分重要的。与其他技术领域一样，随着研究人员的增加、研究成果数量的增长，机器学习领域也在不断发展。但有些基础算法与核心思想的贡献是经得起时间考验的：
算法：线性和逻辑回归、决策树等
概念：正则化、优化损失函数、偏差/方差等
在吴恩达看来，这些算法与概念是许多机器学习模型的核心思想，包括房价预测器、文本-图像生成器（如DALL·E）等。
在最新的这篇文章中，吴恩达与团队调研了六种基础算法的来源、用途、演变等，并提供了较为详细的讲解。
这六种算法分别是：线性回归、逻辑回归、梯度下降、神经网络、决策树与k均值聚类算法。
1
线性回归：直的&窄的
线性回归是机器学习中的一个关键的统计方法，但它并非不战而胜。它由两位杰出的数学家提出，但200 年过去了，这个问题仍未解决。长期存在的争议不仅证明了该算法具有出色的实用性，还证明了它的本质十分简单。
那么线性回归到底是谁的算法呢？
1805 年，法国数学家 Adrien-Marie Legendre 发表了将一条线拟合到一组点的方法，同时试图预测彗星的位置（天体导航是当时全球商业中最有价值的科学方向，就像今天的人工智能一样）。
吴恩达：机器学习的六个核心算法
四年后，24 岁的德国神童 Carl Friedrich Gauss （高斯）坚称他自 1795 年以来一直在使用它，但认为它太琐碎了，无法写。高斯的主张促使Legendre匿名发表了一份文章，称“一位非常著名的几何学家毫不犹豫地采用了这种方法。”
吴恩达：机器学习的六个核心算法
斜率和偏差：当结果与影响它的变量之间的关系遵循直线时，线性回归很有用。例如，汽车的油耗与其重量成线性关系。
汽车的油耗 y 与其重量 x 之间的关系取决于直线的斜率 w（油耗随重量上升的幅度）和偏置项 b（零重量时的油耗）：y=w*x+b。
在训练期间，给定汽车的重量，算法会预测预期的油耗。它比较了预期和实际的油耗。然后，它将平方差最小化，通常通过普通最小二乘技术，磨练 w 和 b 的值。
考虑汽车的阻力可以生成更精确的预测。附加变量将线延伸到平面。通过这种方式，线性回归可以容纳任意数量的变量/维度。
普及的两个步骤：该算法立即帮助航海者追踪星星，以及帮助后来的生物学家（尤其是查尔斯·达尔文的堂兄Francis Galton）识别植物和动物的可遗传特征。这两项深入发展释放了线性回归的广泛潜力。1922 年，英国统计学家 Ronald Fisher 和 Karl Pearson 展示了线性回归如何适应相关性和分布的一般统计框架，使其在所有科学中都有用。而且，近一个世纪后，计算机的出现提供了数据和处理能力，可以更大程度地利用它。
应对歧义：当然，数据永远不会被完美地衡量，有些变量比其他变量更重要。这些生活事实激发了更复杂的变体。例如，带有正则化的线性回归（也称为「岭回归」，ridge regression）鼓励线性回归模型不要过多地依赖于任何一个变量，或者更确切地说，均匀地依赖于最重要的变量。如果为了简单起见，另一种形式的正则化（L1 而不是 L2）会产生 lasso（压缩估计），鼓励尽可能多的系数为零。换句话说，它学会选择具有高预测能力的变量并忽略其余的。弹性网络结合了这两种类型的正则化。当数据稀疏或特征看起来相关时，它很有用。
在每个神经元中：现在，简单的版本仍然非常有用。神经网络中最常见的神经元类型是线性回归模型，随后是非线性激活函数，使线性回归成为深度学习的基本组成部分。
2
逻辑回归：跟随曲线
曾经有一段时间，逻辑回归只用于对一件事进行分类：如果你喝了一瓶毒药，你可能会被贴上的标签是“活着”还是“死去”呢？时代变了，今天，不仅呼叫紧急服务为这个问题提供了更好的答案，而且逻辑回归也成为了深度学习的核心。
毒物控制：
逻辑函数可以追溯到 1830 年代，当时比利时统计学家 P.F. Verhulst 发明它来描述人口动态：随着时间的推移，指数增长的初始爆炸随着它消耗可用资源而趋于平缓，从而产生特征逻辑曲线。一个多世纪过去后，美国统计学家 E. B. Wilson 和他的学生 Jane Worcester 又设计了逻辑回归来计算给定有害物质有多少是致命的。
吴恩达：机器学习的六个核心算法
拟合函数：逻辑回归将逻辑函数拟合到数据集，以便预测给定事件（例如，摄入士的宁）发生特定结果（例如，过早死亡）的概率。
训练水平调整曲线的中心位置，垂直调整曲线的中间位置，以最大限度地减少函数输出与数据之间的误差。
将中心调整到右侧或左侧意味着杀死普通人需要或多或少的毒药。陡峭的坡度意味着确定性：在中途点之前，大多数人幸存下来；超过一半，「就只能说再见了」（死亡的意思）。缓坡更宽容：低于曲线中部，一半以上幸存；再往上，只有不到一半的人会幸存。
在一个结果和另一个结果之间设置一个阈值，比如 0.5，曲线就变成了一个分类器。只需在模型中输入剂量，您就会知道您应该计划聚会还是葬礼。
更多结果：Verhulst 的工作发现了二元结果的概率，忽略了进一步的可能性，例如中毒受害者可能会进入来世的哪一边。他的继任者扩展了算法：
在 1960 年代后期，英国统计学家 David Cox 和荷兰统计学家 Henri Theil 独立工作，对具有两种以上可能结果的情况进行了逻辑回归。
进一步的工作产生了有序逻辑回归，其中结果是有序值。
为了处理稀疏或高维数据，逻辑回归可以利用与线性回归相同的正则化技术。
吴恩达：机器学习的六个核心算法
多功能曲线：逻辑函数以相当准确的方式描述了广泛的现象，因此逻辑回归在许多情况下提供了有用的基线预测。在医学上，它可以估计死亡率和疾病风险。在政治学中，它预测选举的赢家和输家。在经济学中，它预测商业前景。更重要的是，它在各种各样的神经网络中驱动一部分神经元（其中非线性是 Sigmoid 函数）。
3
梯度下降：一切都在下坡
想象一下黄昏后在山上徒步旅行，发现脚下什么都看不到。而且您的手机电池没电了，因此您无法使用 GPS 应用程序找到回家的路。您可能会通过梯度下降找到最快的路径。小心不要从悬崖上走。
太阳和地毯：梯度下降比通过陡峭的地形下降更有利。1847年，法国数学家Augustin-Louis Cauchy发明了近似恒星轨道的算法。60 年后，他的同胞 Jacques Hadamard 独立开发了它来描述薄而灵活的物体（如地毯）的变形，这可能会使膝盖向下徒步更容易。然而，在机器学习中，它最常见的用途是找到学习算法损失函数的最低点。
吴恩达：机器学习的六个核心算法
图注：Augustin-Louis Cauchy
向下爬：经过训练的神经网络提供了一个函数，该函数在给定输入的情况下计算所需的输出。训练网络的一种方法是通过迭代计算实际输出与期望输出之间的差异，然后更改网络的参数值以缩小差异，从而将输出中的损失或误差最小化。梯度下降缩小了差异，将计算损失的函数最小化。网络的参数值相当于地形上的一个位置，损失的是当前高度。随着你的下降，你可以提高网络计算接近所需输出的能力。可见性是有限的，因为在典型的监督学习情况下，该算法仅依赖于网络的参数值和损失函数的梯度或斜率——即你在山上的位置和你脚下的斜率。
基本方法是向地形下降最陡的方向移动。诀窍是校准你的步幅。步幅太小，就需要很长时间才能取得进展；步幅太大，你就会跳入未知的领域，可能是上坡而不是下坡。
给定当前位置，算法通过计算损失函数的梯度来估计最快下降的方向。梯度指向上坡，那么该算法就是通过减去梯度的一小部分来以相反的方向前进。称为学习率的分数 α 决定了再次测量梯度之前的步长。
反复做这几个步骤，希望你能到达一个山谷。恭喜！
卡在山谷里：太糟糕了，你的手机没电了，因为算法可能没有把你推到凸山的底部。你可能会陷入由多个山谷（局部最小值）、山峰（局部最大值）、鞍点（鞍点）和高原组成的非凸面景观中。事实上，图像识别、文本生成和语音识别等任务都是非凸的，并且已经出现了梯度下降的许多变体来处理这种情况。例如，该算法可能具有帮助它放大小幅上涨和下跌的动量，从而使其更有可能到达底部。研究人员设计了如此多的变体，以至于看起来优化器的数量与局部最小值一样多。幸运的是，局部最小值和全局最小值往往大致相等。
最优优化器：梯度下降是寻找任一函数的最小值的明确选择。在可以直接计算精确解的情况下——例如，具有大量变量的线性回归任务中——它可以逼近一个值，而且通常速度更快、成本更低。但它确实在复杂的非线性任务中发挥了作用。凭借梯度下降和冒险精神，你可能可以及时赶出山区吃晚饭。
