图解十大机器学习算法 4

8、支持向量机Support Vector Machine

支持向量机也许是最受欢迎和讨论的机器学习算法之一。

超平面是分割输入变量空间的线。在SVM中，会选出一个超平面以将输入变量空间中的点按其类别（0类或1类）进行分离。在二维空间中可以将其视为一条线，所有的输入点都可以被这条线完全分开。SVM学习算法就是要找到能让超平面对类别有最佳分离的系数。 

超平面和最近的数据点之间的距离被称为边界，有最大边界的超平面是最佳之选。同时，只有这些离得近的数据点才和超平面的定义和分类器的构造有关，这些点被称为支持向量，他们支持或定义超平面。在具体实践中，我们会用到优化算法来找到能最大化边界的系数值。

SVM可能是最强大的即用分类器之一，在你的数据集上值得一试。

9、bagging和随机森林Ranom Forest

随机森林是最流行和最强大的机器学习算法之一。它是一种被称为Bootstrap Aggregation或Bagging的集成机器学习算法。

bootstrap是一种强大的统计方法，用于从数据样本中估计某一数量，例如平均值。它会抽取大量样本数据，计算平均值，然后平均所有平均值，以便更准确地估算真实平均值。

在bagging中用到了相同的方法，但最常用到的是决策树，而不是估计整个统计模型。

它会训练数据进行多重抽样，然后为每个数据样本构建模型。当你需要对新数据进行预测时，每个模型都会进行预测，并对预测结果进行平均，以更好地估计真实的输出值。

随机森林是对决策树的一种调整，相对于选择最佳分割点，随机森林通过引入随机性来实现次优分割。

因此，为每个数据样本创建的模型之间的差异性会更大，但就自身意义来说依然准确无误。结合预测结果可以更好地估计正确的潜在输出值。

如果你使用高方差算法（如决策树）获得良好结果，那么加上这个算法后效果会更好。

10、Boosting和AaBoost

Boosting是一种从一些弱分类器中创建一个强分类器的集成技术。 它先由训练数据构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误。不断添加模型，直到训练集完美预测或已经添加到数量上限。

AaBoost是为二分类开发的第一个真正成功的Boosting算法，同时也是理解Boosting的最佳起点。 目前基于AaBoost而构建的算法中最著名的就是随机梯度boosting。

AaBoost常与短决策树一起使用。在创建第一棵树之后，每个训练实例在树上的性能都决定了下一棵树需要在这个训练实例上投入多少关注。难以预测的训练数据会被赋予更多的权重，而易于预测的实例被赋予更少的权重。

模型按顺序依次创建，每个模型的更新都会影响序列中下一棵树的学习效果。在建完所有树之后，算法对新数据进行预测，并且通过训练数据的准确程度来加权每棵树的性能。

因为算法极为注重错误纠正，所以一个没有异常值的整洁数据十分重要。

初学者在面对各种各样的机器学习算法时提出的一个典型问题是“我应该使用哪种算法？”问题的答案取决于因素，其中包括：

• 数据的大小，质量和性质
• 可用的计算时间
• 任务的紧迫性
• 你想要对数据做什么

即使是一位经验丰富的数据科学家，在尝试不同的算法之前，也无法知道哪种算法会表现最好。虽然还有很多其他的机器学习算法，但这些算法是最受欢迎的算法。如果你是机器学习的新手，这是一个很好的学习起点。