【基础入门】最小二乘原理详解+系统参数辨识

• • 3.1最小二乘法的概念
  • • 3.1.1系统辨识结构
    • 3.1.2最小二乘法的基本概念
    • 3.2最小二乘问题的描述
    • 3.3最小二乘问题的一次完成算法
    • • 3.3.1普通最小二乘问题的解
      • 3.3.2加权最小二乘问题的解
    • 3.5 最小二乘参数估计的递推算法
    • • 3.5.1递推算法的概念(RLS)

3.1最小二乘法的概念

早在1795年，著名科学家高斯就提出了最小二乘法LSM(least squares method)并将其应用到了行星和彗星运动轨道的计算中。 高斯在计算行星和彗星运动轨道时， 要根据望远镜所获得的观测数据， 估计描述天体运动的六个参数值。 高斯认为，根据观测数据推断未知参数时，未知参数的最合适数值应是这样的数值，它使各次实际观测值和计算值之间差值的平方乘以度量其精确度的数值以后的和为最小。 这就是最早的最小二乘法思想。 此后， 最小二乘法就被用来解决许多实际问题。 针对不同用途，对最小二乘法进行修正，就出现了各种相应的最小二乘算法。在系统辨识领域中， 最小二乘法是一种基本的估计方法。 最小二乘法可用于动态系统，也可用于静态系统；可用于线性系统，也可用于非线性系统；可用于离线估计， 也可用于在线估计。 在随机的环境下， 利用最小二乘法时， 并不要求观测数据提供其概率统计方面的信息， 而其估计结果， 却有相当好的统计特性。 最小二乘法容易理解和掌握， 利用最小二乘原理所拟定的辨识算法在实施上比较简单。 在其他参数辨识方法难以使用时， 最小二乘法能提供问题的解决方案。 此外， 许多用于辨识和系统参数估计的算法往往也可以解释为最小二乘法。 所有这些原因使得最小二乘法广泛应用于系统辨识领域， 同时最小二乘法也达到了相当完善的程度。

3.1.1系统辨识结构

考虑随机模型的参数估计问题时，首先考虑单
输入单输出系统SISO如图 所示，把待辨识的系统看做“黑箱”，它只考虑系统的输入输出特性，而不强调系统的内部机理。图中，输 入u(k) 和输出z(k) 是可以观测的；
是系统模型， 用来描述系统的输入输出特

3.1.2最小二乘法的基本概念

对于SISO 离散随机系统，其描述方程为

可得系统输入输出的最小二乘格式

式中， H为样本集合，sita 为被辨识的参数集合。
取准则函数

上述基本概念表明，未知模型参数 最可能的值是在实际观测值与计算值之累次误差的平方和达到最小值处， 所得到的这种模型输出能最好地接近实际系统的输出。

3.2最小二乘问题的描述

设时不变 系统的数学模型为

3.3最小二乘问题的一次完成算法

3.3.1普通最小二乘问题的解

3.3.2加权最小二乘问题的解

3.5 最小二乘参数估计的递推算法

前面给出的最小二乘一次完成算法适合于理论分析。 在具体使用时， 不仅占用内存量大，还不适合在线辨识。为了减少计算量，减少数据在计算机中所占的存储量，也为了有可能实时地辨识出动态系统的特性，在用最小二乘法进行参数估计时，把它化成一种既经济又有效的参数递推估计，也叫做序贯估计。

3.5.1递推算法的概念(RLS)

所谓参数递推估计， 就是当被辨识系统在运行时， 每取得一次新的观测数据后，就在前次估计结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得出新的参数估计值。这样，随着新的观测数据的逐次引入，一次接着一次的进行参数估计，直到参数估计值达到满意的精确程度为止。 最小二乘递推算法 RLS(recursive least squares)的基本思想可以概括成
新的估计值 老的估计值 修正项

【基础入门】最小二乘原理详解+系统参数辨识

• • 3.1最小二乘法的概念
  • • 3.1.1系统辨识结构
    • 3.1.2最小二乘法的基本概念
    • 3.2最小二乘问题的描述
    • 3.3最小二乘问题的一次完成算法
    • • 3.3.1普通最小二乘问题的解
      • 3.3.2加权最小二乘问题的解
    • 3.5 最小二乘参数估计的递推算法
    • • 3.5.1递推算法的概念(RLS)

3.1最小二乘法的概念

早在1795年，著名科学家高斯就提出了最小二乘法LSM(least squares method)并将其应用到了行星和彗星运动轨道的计算中。 高斯在计算行星和彗星运动轨道时， 要根据望远镜所获得的观测数据， 估计描述天体运动的六个参数值。 高斯认为，根据观测数据推断未知参数时，未知参数的最合适数值应是这样的数值，它使各次实际观测值和计算值之间差值的平方乘以度量其精确度的数值以后的和为最小。 这就是最早的最小二乘法思想。 此后， 最小二乘法就被用来解决许多实际问题。 针对不同用途，对最小二乘法进行修正，就出现了各种相应的最小二乘算法。在系统辨识领域中， 最小二乘法是一种基本的估计方法。 最小二乘法可用于动态系统，也可用于静态系统；可用于线性系统，也可用于非线性系统；可用于离线估计， 也可用于在线估计。 在随机的环境下， 利用最小二乘法时， 并不要求观测数据提供其概率统计方面的信息， 而其估计结果， 却有相当好的统计特性。 最小二乘法容易理解和掌握， 利用最小二乘原理所拟定的辨识算法在实施上比较简单。 在其他参数辨识方法难以使用时， 最小二乘法能提供问题的解决方案。 此外， 许多用于辨识和系统参数估计的算法往往也可以解释为最小二乘法。 所有这些原因使得最小二乘法广泛应用于系统辨识领域， 同时最小二乘法也达到了相当完善的程度。

3.1.1系统辨识结构

考虑随机模型的参数估计问题时，首先考虑单
输入单输出系统SISO如图 所示，把待辨识的系统看做“黑箱”，它只考虑系统的输入输出特性，而不强调系统的内部机理。图中，输 入u(k) 和输出z(k) 是可以观测的；
是系统模型， 用来描述系统的输入输出特

3.1.2最小二乘法的基本概念

对于SISO 离散随机系统，其描述方程为

可得系统输入输出的最小二乘格式

式中， H为样本集合，sita 为被辨识的参数集合。
取准则函数

上述基本概念表明，未知模型参数 最可能的值是在实际观测值与计算值之累次误差的平方和达到最小值处， 所得到的这种模型输出能最好地接近实际系统的输出。

3.2最小二乘问题的描述

设时不变 系统的数学模型为

3.3最小二乘问题的一次完成算法

3.3.1普通最小二乘问题的解

3.3.2加权最小二乘问题的解

3.5 最小二乘参数估计的递推算法

前面给出的最小二乘一次完成算法适合于理论分析。 在具体使用时， 不仅占用内存量大，还不适合在线辨识。为了减少计算量，减少数据在计算机中所占的存储量，也为了有可能实时地辨识出动态系统的特性，在用最小二乘法进行参数估计时，把它化成一种既经济又有效的参数递推估计，也叫做序贯估计。

3.5.1递推算法的概念(RLS)

所谓参数递推估计， 就是当被辨识系统在运行时， 每取得一次新的观测数据后，就在前次估计结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得出新的参数估计值。这样，随着新的观测数据的逐次引入，一次接着一次的进行参数估计，直到参数估计值达到满意的精确程度为止。 最小二乘递推算法 RLS(recursive least squares)的基本思想可以概括成
新的估计值 老的估计值 修正项