系统识别 第6章.ppt

第6章 极大似然法辨识,6.1 极大似然参数辨识方法 极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。,6.2 递推极大似然法,设:,则式（6.2.13）可写成,（6.2.15）,（6.2.16）,下面来求:,对式（6.2.17）应用矩阵求逆引理得,或写为:,（6.2.20）,（6.2.21）,利用式（6.2.20）可得,（6.2.22）,将上式代入式（6.2.19）得,（6.2.23）,与,的递推关系如下：,（6.2.24）,（6.2.25）,由式（6.1.40）可得,的第1行：,根据式子（6.1.46）可得：,则：,（6.2.27）,计算,的第2行,根据（6.1.46）可得,则,（6.2.27）,同理可得 其它各行。 与 递推关系为：,（6.2.28）,递推方程式（6.2.21），式（6.2.23）和式 （6.2.28）为一组极大似然法的递推公式，这个算法比增广矩阵的收敛性要好，式一个比较好的辨识方法。可以证明，这个方法以概率1收敛到估计准则的一个局部极小值。,6.2.2 按牛顿-拉卜森法导出极大似然法递推公式,设系统的差分方程为：,（6.2.29）,式中,， 和 中的参数 为待估参数。参数向量为：,（6.2.30）,由式（6.2.29） 可得：,（6.2.31）,对于不同参数的偏导数有：,（6.2.32）,（6.2.33）,式中：,（6.2.34）,（6.2.35）,（6.2.36）,（6.2.37）,式（6.2.32），（6.2.33）和（6.2.34）中的偏 导数可通过y(k)和u(k)的简单移位得到。 的一阶偏导数向量为：,（6.2.38）,式（6.2.38）中：,（6.2.39）,式（6.2.40）不为0的二阶偏导数为：,（6.2.41）,（6.2.42）,其余的二阶偏导数全为0。,在式（6.2.40）中只有分块矩阵 ， ， 和 不为0。其余的矩阵块都为0。 因此：,（6.2.43）,式（6.2.43）中的 和 的矩阵结构 如下所示：,（6.2.44）,（6.2.45）,按J取最小来估计参数 。J关于 的梯度为：,（6.2.48）,式（6.2.48）中：,（6.2.49）,J关于 的海赛矩阵为：,（6.2.50）,令：,（6.2.51）,（6.2.52）,应用牛顿-拉卜森公式，可得递推公式：,为了书写方便，将上式改写为,（6.2.53）,（6.2.54）,为了进行递推计算，下面给出q和R的递推公式。 把 表示为： 根据上式可得递推公式得出：,（6.2.55）,把 表示为：,（6.2.56）,根据（6.2.56）可以得出递推公式：,（6.2.57）,6.3 参数估计的可达精度 任何估计方法的参数估计精度都是有限的。 对于一个无偏估计来说，估计误差的方法不会 小于某个极限值，这个极限值称为估计的可达 精度。我们先来讨论一个简单的例子。,设b为待估参数，其观测方程为 式中 为白噪声序列。,（6.3.1）,用极大似然法估计b，似然函数为：,（6.3.2）,对似然函数 取对数得： 式中：,（6.3.3）,（6.3.4）,求式（6.3.3）对b的微分并令其等于0可得：,（6.3.6）,（6.3.5）,下面讨论估值 的可达精度。由于似然函 数 是随机变量y(1), y(2), y(k)的联合概 率密度，因而有：,（6.3.7）,求式（6.3.7）对b的微分可得： 此式可以改写为：,（6.3.8）,（6.3.9）,将式（6.3.9）对b微分得： 由此可知：,（6.3.12）,（6.3.10）,（6.3.11）,（6.3.13）,（6.3.14）,根据式 (6.3.9)和(6.3.14)则有:,（6.3.15）,应用（Cauchy-Sshwarz）不等式: 可得：,（6.3.16）,（6.3.17）,根据方差的定义有：,（6.3.18）,根据式(6.3.17)可得：,（6.3.19）,式(6.3.18)称为（Cramer-Rao）不等式。 在无偏估计情况下，估计误差的方差大于或等 于 ，即 为估计的精度极 限，估计误差的方差不可能小于该值。,对于参数向量 ，如果g(Y)为其无偏估计， 即 ，则 的协方差满足Cramer- Rao不等式。,（6.3.20）,不等式 中： 它表示任一无偏估计的协方差。 为,（6.3.21）,（6.3.22）,称为Fisher矩阵。参数向量 的任一无 偏估计的协方差阵不能小于 。此为 的可 达精度，也是Cramer-Rao不等式的下界。,第六章完结,