更新时间：2022-08-25 17:41
判别模型是一种对未观测数据y与已观测数据x之间关系进行建模的方法，直接对条件概率p(y|x;θ)建模。
在机器学习领域判别模型是一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量 x ，判别模型通过构建条件概率分布 P(y|x) 预测 y 。
在概率框架内，已知输入变量x，判别模型通过求解条件概率分布P(y|x)预测y。
常见的判别式模型有线性回归模型、线性判别分析、支持向量机SVM、神经网络等。
与生成模型不同，判别模型不考虑x与y间的联合分布。但对于诸如分类和回归问题，由于不考虑联合概率分布，采用判别模型可以取得更好的效果。另一方面，生成模型在刻画复杂学习任务中的依赖关系方面较判别模型更加灵活。
大部分判别模型本身是监督学习模型，不易扩展用于非监督学习过程。具体应用的特点最终决定判别模型和生成模型的适用性。
在概率统计理论中,生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。
香农(1948) 给出了有一个英语双词频率表生成句子的例子。可以生成如“representing and speedily is an good”这种句子。一开始并不能生成正确的英文句子，但随着词频表由双词扩大为三词甚至多词，生成的句子也就慢慢的成型了。
生成模型的定义与判别模型相对应：生成模型是所有变量的全概率模型，而判别模型是在给定观测变量值前提下目标变量条件概率模型。因此生成模型能够用于模拟（即生成）模型中任意变量的分布情况，而判别模型只能根据观测变量得到目标变量的采样。判别模型不对观测变量的分布建模，因此它不能够表达观测变量与目标变量之间更复杂的关系。因此，生成模型更适用于无监督的任务，如分类和聚类。
典型的生成模型包括:
如果观测数据是由生成模型中采样的，那么最大化数据似然概率是一个常见的方法。但是，大部分统计模型只是近似于真实分布，如果任务的目标是在已知一部分变量的值的条件下，对另一部分变量的推断，那么可以认为这种模型近似造成了一些对于当前任务来说不必要的假设。在这种情况下，使用判别模型对条件概率函数建模可能更准确，尽管具体的应用细节会最终决定哪种方法更为适用。