本文从线性偏最小二乘(PlS)算法出发对基于内部非线性映射模型的PlS算法的思想本质进行深入的剖析和探讨。结合拟合非线性过程的实际问题,从拟合精度、计算复杂度两方面对基于二次函数和神经网络作为内部模型的PlS方法以及基于误差反馈调整的PlS算法进行了比较,在此基础上对不同的非线性PlS算法的应用提出了若干指导性建议

宋斯男

师佳

Xiamen University Institutional Repository

4 科技创新导报 Science and Technology Innovation Herald2010  NO.07Science and Technology Innovation Herald研 究 报 告科技创新导报偏 最 小 二 乘 方 法 是 集 多 种 技 术 于 一 身 的 一 种 多 元 统 计 方 法 ,这些技术包括最小二乘回归分析、主成分分析(PCA)、典型相关分析(ICA)[1],因此该方法具备了这些方法的诸多特性。与多元线性回归相比,偏最小二乘方法能够有效的克服自变量间的多重相关性对 系 统 建 模 的 不 良 影 响,在 多 变 量 、小 样 本 的 建 模 问 题 上 表 现 良好。但由于线性PLS算法并不能很好的应对实际系统普遍存在的非线性特性 ,因 此 近 年 来 在 线 性PLS算 法 的 基 础 上 提 出 了 很 多 非 线性 PLS算 法 。本文所研究的是以非线性映射模型作为内部模型的一类非线性PLS算法,通过对这类算法的数学描述和算法流程的剖析。揭示了 这 类 非 线 性 PLS算 法 的 实 质,并 将 这 类 算 法 中 三 个 比 较 有 代 表性的算法用于非线性过程的拟合,从计算精度、运算速度方面进行了 比 较,在 比 较 结 果 的 基 础 上 对 这 些 非 线 性 PLS算 法 的 应 用 提 出了一些指导性建议。1 基于非线性内部映射的非线性PLS算法为了揭示内部基于非线性映射模型PLS算法的本质,首先回顾线性PLS算 法 的 核 心 思 想1.1 线性PLS算法的核心思想线性PLS算法建立的线性模型分为外部模型和内部模型,两部分 如 下 描 述 :外 部 模 型 :(1)(2)TTX TP EY U Q F = += +内部模型: U TB=                                  ( 3 )外 部 模 型 分 别 给 出 了 输 入 变 量 X 和 输 出 变 量 Y 的PCA模型,其中, T 和 U 分别是输入变量和输出变量的主元矩阵, P 和 Q 分别是载荷矩阵。内部模型则描述了输入变量和输出变量主元之间的线性回归关系。B 为回归的系数矩阵。E、F为残差矩阵。从上述描述可以看出 PLS算 法 的 特 点 在 于 通 过 提 取 输 入 输 出 变 量 的 主 元 ,使他们之间的协方差达到最大,让Y能够被尽量少的PLS成分线性的充 分 解 释,这里,构 成 矩 阵 T 的 向 量 相 互 正 交,消 除 了 自 变 量 间 的线性相关性。1.2 基于非线内部性映射的PLS算法为 了 描 述 实 际 过 程 或 系 统 中 不 可 避 免 的 非 线 性 特 点 ,必须在PLS算 法 中 建 立 非 线 性 模 型 ,所 谓 基 于 内 部 模 型 非 线 性 映 射 的 基本 思 路 是 保 持 线 性PLS算 法 框 架 不 变 ,只 是 在 建 立 输 入 和 输 出 主元( nt 和 nu )之 间 的 映 射 关 系 时,不 采 用 模 型 回 归 而 采 用 非 线 性 映射 ,即 ( )U f T= 。为提高非线性PLS的拟合精度,对以二次多项式和神经网络作为 非 线 性 内 部 映 射 的PLS算 法 进 行 改 进 ,改 进 的 主 要 思 路 是 利 用主元的预测误差来对自变量权值 w 进行校正,实现以内部模型的建模误差来动态地指导主元的提取,算法中最为核心的问题是如何根据拟合误差 e 来确定每一步 w 的修正量 ∆ w 。该问题在数学上等 价 于 如 下 优 化 问 题 :            min ( ( ))k k k kwJ u f X w w∆= − + ∆             ( 4 )      ( ( )) ( ) ( )k k k kf X w w f t e f Xw e+ ∆ ≈ + = +          ( 5 )为 了 求 解 上 述 优 化 问 题 ,将 非 线 性 函 数 ( )f Xw 在 kw 处 做Newton-Raphson 线 性 化 处 理 ,有 :   ( ( )) ( ) | ( ) |k kk k k w w k w wf ff X w w f t w f Xw ww w= =∂ ∂+ ∆ = + = +∂ ∂∆ ∆  ( 6 )比较 (5)(6)式 可 得: ( ) |kk k w wfu f t ww =∂− =∂∆这里 ku 是 实 际 的 输 出 主 元 ,由 前 一 步 迭 代 确 定 ,即: 1k ku F q−=映 射 函 数 f 已知(二 次 多 项 式 或 神 经 网络),故 ( )kf Xw 和fw∂∂也可 计 算 ,令|( )kw w kk k kfZwe u f Xwδδ === −则优化问题(4)简 化 为 确 定 ∆ w 使得下式成立: ke Z w≈ ∆利 用 二 次 线 性 回 归 技 术 可 知 每 一 步 最 优 的 调 整 量 为1( )T Tk kw Z Z Z e−∆ = (6)至此,可以得到基于误差反馈校正的迭代非线性PLS算法流程如 下 :Step1:将 输 入 输 出 数 据 矩 阵 X 、Y 做 标 准 化 处 理 得 到 0E 、 0F ,令 0E E= 、 0F F= 。Step2:取 F 的 一 列 作 为 输 出 主 元u的初值。Step3:计 算 提 取 输 入 主 元 的 权 重 向 量 并 将 其 单 位 化 :TTTu Ewu u= ,www=Step4:计 算 输 入 主 元 : TEwtw w=Step5:用 u 和 t 拟 合 非 线 性 映 射 f ,得 到 预 测 输 出 ( )u f t=Step6:计 算 Y 上 的 载 荷 向 量 ,并 将 其 单 位 化 :TTTt Fqt t= ,qqq=S t e p 7 : TY quq q=Step8 :更 新 w ,并 将 其 单 位 化 ,:∆1 1( ) ( ) ( ( ))T T T Tw Z Z Z e Z Z Z F q f t− −= = − ,w w w∆ ,www=Step9:计 算 新 的 主 元 : TEwtw w=Step10:检验 t 是否收敛 ,如 果 不 收 敛 则 返 回Step3,如 果 收 敛 则基于内部非线性映射模型 PLS算法的比较研究宋斯男1  师佳2(1.厦门大学信息科学与技术学院自动控制技术研究所; 2.厦门大学化学化工学院化学工程与生物工程系  厦门  361005)摘 要:本文从线性偏最小二乘(PLS)算法出发对基于内部非线性映射模型的PLS算法的思想本质进行深入的剖析和探讨。结合拟合非线性过程的实际问题,从拟合精度、计算复杂度两方面对基于二次函数和神经网络作为内部模型的PLS方法以及基于误差反馈调整的PLS算法进行了比较,在此基础上对不同的非线性PLS算法的应用提出了若干指导性建议。关键词:主成分分析  PCA  偏最小二乘  PLS  神经网络中图分类号:O657.3 文献标识码:A 文章编号:1674-098X(2010)03(a)-0004-02表1  不同算法的计算时间与拟合误差统计数据5 科技创新导报 Science and Technology Innovation Herald研 究 报 告2010  NO.07Science and Technology Innovation Herald 科技创新导报向下进 行Step11:计 算 X 上 的 载 荷 向 量 :TTTt Ept t=Step12:计 算 输 入 输 出 残 差 矩 阵 : TE E t p= − , ( ) TF F f t q= −Step13:如 果 精 度 不 满 足 要 求 则 重 复 Step22 非线性PLS算法的探讨对于内部模型映射是神经网络的PLS算法来说,算法本质上构成了一种新型的神经网络,与一般的神经网络建模相比,该神经网络的输入层和输出层都利用了主成份分析技术对输入输出数据进行了压缩,从 而 减 小 了 内 部 神 经 网 络 建 模 的 复 杂 度 。非基于误差的算法将新加入的两个线性层与神经网络自身的割裂开来,使神经网络本身强大的非线性能力被外部不可变化的线性层所束缚,降低了非线性拟合能力。而基于误差反馈的PLS算法把PLS算法的诸多优秀特性与神经网络非线性能力充分结合起来的同时,将内部模型的建立和提取主元的过程联系起来,提高了内部模型与外部模型的匹配程度,从而提升了神经的非线性拟合能 力 。以 二 次 多 项 式 和 神 经 网 络 作 为 内 部 模 型 映 射,先 后 得 到 两 种改 进 的 非 线 性 PLS算 法 :分 别 为 EB-Q-PLS和 EB-NN-PLS。本 文 接下来将NN-PLS算法与以上两种算法以及基于BP算法的神经网络用于一个非线性过程的拟合问题,通过对拟合精度和计算复杂度的 比 较,分 析 不 同 的 非 线 性PLS算法的效能,并 由 此 给 出 一 些 应 用这些算法的指导性建议。3 非线性PLS算法的效能比较3 . 1 拟合非线性差分方程分 别 用 NN-PLS、EB-Q-PLS、EB-NN-PLS以 及 BP神 经 网 络四种算法对由以下的非线性差分方程描述的动态过程进行建模:12 ( 2)sin( ( 1))2 1 2( ) sin( ( 1) ( 2)) cos(4 ( 1) ( 2))x k y ky k e x k y k x k x kπ− −= + − − + − −输 入 1 2x x、 分 别 为 区 间 [-0.25,0.25]上 的 随 机 数 ,利 用 上 述 差分模型得到600组输入输出数据,其中500组用于建模,100组用于验证。仿真结果如表1。由 从 表 1 的 数 据 可 知 , 尽 管 E B - Q - P L S 和 E B - N N - P L S 分 别只 提 取 了 2 个 和 1 个 主 元 , 但 拟 合 误 差 却 小 于 提 取 了 4 个 主 元 的NN-PLS算 法 。尤 其 是 EB-NN-PLS算 法 , 拟 合 误 差 要 远 远 小 于同 样 采 用 神 经 网 络 作 为 内 部 映 射 的 NN-PLS算 法 , 因 此 , 在 拟 合精 度 方 面 ,采 用 误 差 反 馈 机 制 的 算 法 要 好 于 没 有 采 用 误 差 反 馈机 制 的 算 法 。从 表 中 还 可 以 看 出 ,EB-Q-PLS算 法 耗 时 最 少 ,这 主 要 是 由 于其内部非线性映射为二次多项式,其算法的复杂程度要远远小于神 经 网 络 ,并 且 上 面 提 到 ,EB-Q-PLS提 取 的 主 元 数 目 比 NN-PLS少,但 拟 合 误 差 却 比 NN-PLS要小,因此,从 运 算 效 率 、误 差 数 据 上来 看 ,EB-Q-PLS 都 要 好 于 NN-PLS 算 法 。BP神经网络算法具备很好的非线性拟合能力,从表中可以看出,该 算 法 的 拟 合 精 度 较 好,因此,采用BP神 经 网 络 作 为 内 部 非 线性 模 型 映 射 的BP-NN-PLS算 法 在 拟 合 精 度 的 表 现 上 要 好 于 以 二次 函 数 作 为 内 部 映 射 的 EB-Q-PLS,但 对 神 经 网 络 的 训 练 却 使 算法大为耗时。同 样 采 用 神 经 网 络 ,NN-PLS每 提 取 一 个 主 元 只 需 训 练 一 个SISO网络,与 之 相 比,EB-NN-PLS采 用 迭 代 的 的 方 式 提 取 主 元 ,每迭代一次就要训练一个SISO网络并且每一次迭代的次数并不能控制 ,而 BP-NN则 要 训 练 一 个 MIMO网 络 ,因 此 ,NN-PLS算 法 训 练网络的方式是三种算法中最简单的,从表中的数据来看,耗时是三种算法中最少的。3.2 建议基于上述的比较结果,在应用何种非线性PLS算法来拟合非线性 模 型 或 过 程 的 问 题 上 给 出 如 下 建 议:(1)基于误差反馈的PLS算法在非线性拟合能力方面要好于没有 基 于 误 差 反 馈 的PLS算法,因此,在 使 用 PLS的 解 决 非 线 性 问 题的 时 候 建 议 首 先 考 虑 使 用 基 于 误 差 反 馈 的 PLS算 法 。如 EB-Q-PLS、EB-NN-PLS。(2)EB-Q-PLS算 法 结 构 简 单 、实 施 方 便 ,运 算 速 度 较 快 ,但 由于采用二次函数作为内部非线性映射,对非线性拟合能力有一定限制,建议在输入输出变量数目较多但非线性程度中等偏弱的系统建模问题中使用,以达到比NN-PLS各方面更好的效果。同时该算法也是进一步发展在线建模技术的首选算法。(3)EB-NN-PLS算 法 既 具 备 PLS算 法 的 优 点 ,又 能 将 神 经 网 络的非线性拟合能力强的特点充分发挥出来,与传统的BP-NN网络相比,可 以 去 除 变 量 间 的 相 关 性 、并 且 需 要 训 练 的 网 络 参 数 较 少 ,在处理大量数据的时候更不容易产生过拟合的问题,是 目 前 一 种非 常 先 进 的 PLS算法,因此,在 更 为 普 遍 的 多 输 入 、多 输 出 的 高 度非 线 性 系 统 建 模 问 题 中 ,建 议 采 用 该 方 法,以 建 立 更 为 精 确 、泛化能力更好的数据模型。4 总结与展望本文从线性PLS算法出发,对几种基于内部非线性映射模型的PLS算法的本质进行了剖析。同时结合非线性过程的拟合问题对几种 算 法 的 效 能 进 行 了 比 较 ,并 在 此 基 础 上 对 非 线 性PLS算法的应用给出了指导性建议。与其他基于数据驱动的建模算法一样,非线性PLS算法也属于后验方法,同样面临着算法如何与先验的机理模型相结合来有效提高建模精度的问题。这是非线性PLS的一个研究方向。另外,考虑到 实 际 过 程 可 能 存 在 的 参 数 时 变 性,用 本 文 提 到 非 线 性 PLS算法不适应这个问题,目前已经提出了一些能够根据系统的变化自适应 地 调 整 模 型 的 在 线PLS算法,如Qin等 人 提 出 的 分 块 递 推 式 PLS算法 [9],但 这 些 在 线 算 法 均 是 基 于 线 性 PLS算法,如 何 将 本 文 提 到的非线性建模思路与这些方法的自适应思想相结合也是一个值得研究的问题。参考文献[1] Johnson R.A.Wichern D.W 实 用 多 元 统 计 分 析 [M].2001.[2] 王 惠 文 .偏 最 小 二 乘 回 归 方 法 及 其 应 用 [M].1999.[3] Hoskuldsson A, PLS regression methods[J],Chemometrics,1 9 8 8 .[4] Wold ,  S . ,Ke t t aneh-Wold ,N. ,& Skage rbe rg ,B .  Non- l in -ear PLS modelling. Chemometrics and International Labora-tory Systems 1989.[5] Qin  S . J ,McAVoy  T . J .Non l inea r  PLS  Mode l ing  Us ingNeuralNetworks[J] .Computer&Chemical  Engineering,1992.[6] G.Baffi .E.B. Martin. A.J. Morris Non-linear projection tolatent structures revis i ted:  the quadrat ic PLS algorithm,Computer&Chemical engineering 1999.[7] G.Baffi .E.B. Martin. A.J. Morris Non-linear projection tolatent structures revisited (the neural network PLS algorithm),Computer&Chemical engineering 1999.[8] Liang J,Qian J X. Multivariate statistical process monitioringand control:Recent development s and applications to chamicalindustry ,  2003.[9] Recursive PLS algorithms for adaptive data modeling[J] .Computer&Chemical Engneering 1998.

基于内部非线性映射模型PLS算法的比较研究

http://dspace.xmu.edu.cn/bitstream/handle/2288/106356/%e5%9f%ba%e4%ba%8e%e5%86%85%e9%83%a8%e9%9d%9e%e7%ba%bf%e6%80%a7%e6%98%a0%e5%b0%84%e6%a8%a1%e5%9e%8bPLS%e7%ae%97%e6%b3%95%e7%9a%84%e6%af%94%e8%be%83%e7%a0%94%e7%a9%b6.pdf?sequence=1&isAllowed=y

基于内部非线性映射模型PLS算法的比较研究

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository