风险函数(Risk function)

定义为代价函数的均值，即：

△ 贝叶斯估计－使风险函数最小的估计。

由于估计误差 决定估计问题中估计质量的好坏，所以，通常仅对估计值与真实值之差 感兴趣。若考虑误差函数的代价，这时C可定义为(S- )的单变量函数，有下列三种情况：

(a) 平方误差

(b) 绝对值误差

(c) 均匀代价函数如图1。

贝叶斯判据：平均代价最小，即 E(c)=min。

由于c是 的函数，而 又是观察值x的函数，所以c就是x和s的联合函数，所以有：

用后验概率函数表示为：

令： ，R称为条件风险函数。

下面针对三种代价函数分三种情况探讨估计准则：

情况(a)： 平方误差情况下，风险函数最小的估计量称为最小均方估计(minimum mean square estimation)

其风险函数为：

由于：p(s,x)=p(s|x)p(x)

则风险函数为：

∵p(x)≥0故RMS最小即等效为上式括号[ ]内项最小。

上式内项对求导，故有

则有：

由于

此即为最小均方估值，表示已知x时，s的条件均值。

情况(b)：

绝对值误差情况下，风险函数如图2：

上式括号[ ]内项如图3：

故RMS最小即等效为上式括号[ ]内项最小。于是，可令上式对的导数为零，则有如图4：

ABS估计应取在后验概率密度函数面积的平分线上，即估值为条件概率密度函数的中值(median)。

——称为后验中值估计如图5

情况(c)：

均匀代价函数

上式[ ]号中的后面一项如图6：

当此式最大，即p(s|x)最大时，平均代价Runf最小。此时称为最大后验估值(Maximum a Posteriori)。

取对数，则有如图7，既满足图8的条件。

最后，将三种情况估计式中后验概率密度函数借助于贝叶斯公式用先验概率代替得到：

ABS估计如图9：

MAP估计如图10：

MS估计如图11：

设x1, x2,..., xN为随机变量x的独立同分布的N个观测样值，p(x|θ)为x的依赖参量θ分布密度函数，参量θ为待估计的量。则似然函数如图12：

估计准则：选取使似然函数L(θ)为最大的作为θ的估计量，称为θ的最大似然估计。

L (θ)最大等效ln L(θ)最大。要求θ的最大似然估计，必需解似然方程：

由于对数函数的单调性，取对数似然函数进行估计，则有：

此式为必要条件，而不是充分条件。

例5.1 在假设H1和H0下，接收信号为：

H1:Zk=m+vK, k=1,2,...N

H0:Zk= vK, k=1,2,...N

当常数m为未知时，求m的最大似然估计。

解：用前面的检测理论是判决那个假设为真。

本节的估计理论，H1假设为真，vK为高斯噪声。、本例中，参量估计=，其均值为m，接下来的步骤如图13。

以雷达系统为例，接收端收到的混有噪声和干扰的信号样本就是雷达目标的回波，通常可写成Acos[2πf（t-tr）+φ0]，A是回波幅度；f是回波频率；tr是雷达波发射时间和回波收到时间之差(通常称为时延）。这些都是待估计的参量，包含着目标的散射待性、空间距离和运动速度等信息。雷达接收端的任务就是要按照数学规则，采用适当技术措施把这些混合信号变换成具有一定概率模型的信号，然后再按照设定的规则得到估计量。假设待估计的参量之一是θ，从对n个观测数据的处理所得的估计量为 ， 一般也是一个随机变量。估计量的好坏可用它的统计特性来表示。当θ为实际参量时，称 与其真值θ之差为估计误差，用 表示，即 =θ- 。如果 的期望值为零。即

或

表示估计量的期望值等于真值，称为无偏估计。如果对同一参量用不同估计方法得出不同的无偏估计 如其中之一 的方差是所有估计量方差中最小的，并达到相应的下限时，则称 为有效估计。如果对任一小的正数ε有下列概率的极限关系

则 称为一致估计量。