第二种方式则称为判别模型（discriminative models），这种方法是试图去最大化一个训练集（training set）的输出值。在训练的成本函数中有一个额外的项加入，可以容易地表示正则化。例子包含：

注意：相对于名字，线性判别分析在分类学并不属于判别模型这类。然而，当我们比较线性判别分析和另一主要的线性降维算法：主成分分析，它的名字则是有意义的。线性判别分析是一个监督式学习算法，会使用资料中的标签。而主成分分析是一个不考虑标签的非监督式学习算法。简而言之，这个名字是一个历史因素。

判别训练通常会比模型化条件密度函数产生较高的准确。然而，在处理遗失资料时，使用条件密度模型通常是更为简单的。

所有以上所列线性分类器算法，只要使用kernel trick都可被转成在另一个向量空间的非线性算法。

二次分类器是在机器学习中，使用二次曲面来将物件或事件分成两个或以上的分类。 它是线性分类器的一般化版本。

统计分类考虑一个集合，每一个元素是一个对物件或事件观察后所得的向量x，每一个都被分成y。 这个集合一般被称为训练资料。 问题是在于，要如何决定一个新的观察项目其最好的类别应是哪一种。 对一个二次分类器，它假设其解会成二次关系，所以y是由以下来决定：

在特列的情况下，每个观察牵涉到两个测量项。 这意味着，这切分的平面将是圆锥曲线之一（如：直线、圆、椭圆、抛物线、双曲线）。