　模型传递问题是近红外光谱分析技术中解决数据通用性的关键问题。文章以玉米籽粒近红外光谱
图(检测其中水分含量) 为例, 考察了模型传递的问题。使用斜率截距算法, 直接校正法和目标因子分析等算
法, 在5 台滤光片型近红外仪器上实现了模型传递, 并比较了各种方法的模型传递效果。研究表明, 直接校
正法的模型传递效果最好, 4 台从仪器的平均传递差异度为7101 %。文章还研究了标准样品数量对模型传
递效果的影响。作为转换集的标准样品数目越多, 模型传递效果越好, 一般有20 个标准样品就能达到稳定
的效果。当转换集小于20 时, 直接校正法的传递效果急剧下降, 而标准样品数量对斜率截距法和目标因子
分析法的影响不明显。国家“863”计划项目(2006AA01Z129) 资

叶楠

周昌乐

张晔晖

徐晓洁

林坤辉

陈嘉威

Xiamen University Institutional Repository

第28卷 ,第10期 　 　　　　　　　　　　　光 谱 学 与 光 谱 分 析 Vol128 ,No110 ,pp2459224622 0 0 8 年 1 0 月 　　　　　　　　　　　 　Spect roscopy and Spect ral Analysis October , 2008 　滤光片型近红外仪器模型传递的研究陈嘉威1 , 周昌乐1 3 , 张晔晖2 , 徐晓洁3 , 林坤辉4 , 叶 　楠21. 厦门大学信息科学与技术学院 , 福建 厦门　3610052. 中国农业大学信息与电气工程学院 , 北京　1000943. 北京农学院 , 北京　1022064. 厦门大学软件学院 , 福建 厦门　361005摘 　要 　模型传递问题是近红外光谱分析技术中解决数据通用性的关键问题。文章以玉米籽粒近红外光谱图 (检测其中水分含量)为例 , 考察了模型传递的问题。使用斜率截距算法 , 直接校正法和目标因子分析等算法 , 在 5 台滤光片型近红外仪器上实现了模型传递 , 并比较了各种方法的模型传递效果。研究表明 , 直接校正法的模型传递效果最好 , 4 台从仪器的平均传递差异度为 7101 %。文章还研究了标准样品数量对模型传递效果的影响。作为转换集的标准样品数目越多 , 模型传递效果越好 , 一般有 20 个标准样品就能达到稳定的效果。当转换集小于 20 时 , 直接校正法的传递效果急剧下降 , 而标准样品数量对斜率截距法和目标因子分析法的影响不明显。关键词 　光谱分析 ; 模型传递 ; 近红外光谱 ; 多元校正中图分类号 : TP39 　　文献标识码 : A 　　　DOI : 1013964/ j1 issn1100020593 (2008) 1022459204　收稿日期 : 2008202208 , 修订日期 : 2008204220　基金项目 : 国家“863”计划项目 (2006AA01Z129)资助　作者简介 : 陈嘉威 , 1982 年生 , 厦门大学信息科学与技术学院博士研究生　　e2mail : jw_chen @126. com 　　3 通讯联系人引 　言　　近红外光谱分析技术由于样品处理简单 , 分析速度快 ,不用试剂和无损检测等特点 , 具有广阔的应用前景。其中滤光片型近红外仪器由于价格低廉、性能稳定 , 将对近红外光谱分析技术的普及与推广起着至关重要的作用。近红外光谱分析的前提是数学模型 , 然而建立一个稳定、可靠、准确的数学模型是相当复杂的过程 , 需要耗费大量的时间、人力、物力和财力。由于仪器之间的差异 , 一台仪器建立的模型在其他仪器上往往不能使用 , 同一台仪器也会因为仪器元件的老化和更换使原来建立的模型不再适用。模型传递技术通过寻求两台仪器之间的一种变换关系来避免重复建模 , 从而大大降低近红外光谱分析的成本 , 提高分析的效率。模型传递的成功与否直接影响近红外光谱分析技术的推广应用。模型传递问题主要通过有标样法来解决 , 即选择一定数量的样品作为标准样品转换集 , 并在主仪器和从仪器上分别测得其信号 , 从而找出该函数关系。有标样法包括基于预测结果的校正方法和基于光谱信号的校正方法。基于预测结果的校正以斜率截距算法 ( Slope/ Bias) 为代表 [1 ] 。基于光谱信号的校正主要分为两类 : 一是全光谱校正法 , 如校正吸光度矩阵的直接校正法 (DS) [2 ] , 对波长分段进行校正的 PDS( Piecewise Direct Standardization) 算法 [3 ] , 以及分别对波长和吸光度进行校正的 Shenk 算法等 [4 ] ; 二是以提取光谱数据中的有效信息为目的 , 对光谱数据进行筛选过滤后进行校正 , 如普鲁克分析法 [5 ] 、目标因子分析法 ( TFA) [6 ] 、正交信号校正法 [7 ] 、基于支持向量机的模型传递法 [8 ]等。这些算法主要应用于连续扫描型近红外仪器 (主要是傅里叶型和光栅型)的模型传递之中。由于滤光片型近红外仪器的波长点较少 , 存在数据处理量小等特点 , 适用于其他类型仪器的 PDS 算法、Shenk 算法等 , 对滤光片型近红外仪器并不适用。本文选择最有代表性的斜率截距算法、直接校正法、目标因子分析法对滤光片型近红外仪器的模型传递进行了研究 , 为滤光片型近红外仪器的推广应用提供依据。1 　原理与算法111 　斜率截距校正法斜率截距校正法 ( Slope/ Bias) 是建立主仪器与从仪器所得预测结果间函数关系的方法。通过校正预测结果 , 实现模型传递。在主仪器上建立校正模型 b。选择 N t 个标准样品作为转换集 , 用主仪器与从仪器测得的标准样品光谱阵 Tm , Ts 分别计算标样集预测矩阵 y m , ys , 如式 (1)所示。ym = Tm ×b, 　ys = Ts ×b (1)　　假定 ym 和 y s 存在关系 y m = bias + slope ×ys , 用最小二乘法求出 slope和 bias , 即为这一线性模型的斜率和截距。过程如下 :S xx = ∑( ysj - y s) 2 , S yy = ∑( ymj - y m ) 2 ,S xy = ∑( ysj - y s) ( ymj - y m ) (2)slope = S xy / S xx , bias = y m - slope ×y s (3)　　从仪器上测得未知样品光谱阵 X s , 通过斜率截距校正因子 , 就可利用主仪器建立的模型 b 预测未知样品的化学值 , 如式 (4)所示。y un = bias + slope ×( Xs ×b) (4)112 　直接校正法直接校正法 (DS)是一种多元全光谱模型传递方法。通过比较主从仪器的光谱数据的差异 , 实现对光谱数据吸光度的校正。它的基本思想是利用转换矩阵 F将从仪器上测得的未知样品光谱 X s 转换为 X st , 理论上 Xst 与主仪器上测得的光谱是一致的。主仪器上得到标准样品光谱矩阵 Tm , 从仪器上得到标准样品光谱矩阵 Ts , 二者因为在不同条件下测定 , 所以存在着差异 , 通过传递矩阵 F 将 T s 转换成 T m , 使二者相匹配。其中矩阵 F描述了主、从两种测定条件下光谱的差异。由 Tm = Ts ×F + E, E 为残差矩阵 , 则通过最小二乘法计算可得到转换矩阵 F = T - 1s ×Tm , 其中 T - 1s 为 T s 的广义逆 , F为 m ×m 矩阵 ( m 为波长点数) 。对在从仪器上测得的未知样品光谱矩阵 Xsu , 利用 F 将X su转化成与主仪器匹配的光谱 X st 。Xst = F ×Xsu (5)　　再由主仪器上建立的校正模型 b计算最终结果。yun = Xst ×b (6)113 　目标因子分析法目标因子分析法 ( TFA)是一种多元统计分析方法 , 目的是将原变量表达为新变量的线性组合。在分析过程中根据有关吸光度矩阵的基本情况 , 找到最佳因子数目 , 使多余信息减到最小。目标因子分析是在不损失原有信息的前提下 , 从光谱信号中获取有用信息的一种有效途径。基于目标因子分析的模型传递算法计算过程如下 :(1)在主仪器测得的标准样品光谱 Tm , 当各组分均符合比耳定律 , 其吸收曲线线性无关且满足吸光度加和性原理时 , 经因子分析 , 可将 Tm 分解为两个矩阵相乘 , 得到载荷矩阵和因子矩阵 :Tm = Tms ×Tmc (7)　　(2)对从仪器测得的标准样品光谱进行主成分分析 , 得到载荷矩阵和因子矩阵 :Ts = Tss ×Tsc (8)　　(3)通过目标变换使二者的因子矩阵相等 , 即Tmc = Fs ×Tsc (9)　　(4)目标变换后从仪器的载荷矩阵为 Tnewss = Tss ×Fs , 由于主仪器的因子矩阵可以通过 Tmc = T - 1ms ×Tm 计算 , 同时由于变换后从仪器的因子矩阵等于主仪器的因子矩阵 Tnewsc =Tmc , 所以从仪器的光谱可以表达为 :Ts = Tnewss ×Tnewsc = Tss ×Fs ×T - 1ms ×Tm (10)　　因而传递矩阵 F可由式 (11)得到FF = Tss ×Fs ×T - 1ms , F = T - 1s ×FF ×Ts (11)　　传递矩阵 F可以用于传递两台仪器的光谱 :X st = Xs ×F (12)　　由传递矩阵 F和主仪器上建立的校正模型 b 可以得到模型传递后的预测结果。y un = Xst ×b (13)2 　实验部分211 　仪器及试剂105 种玉米籽粒样品 , 用国标法测得水分值 , 范围为1014 %～1818 % , 平均水分含量为 1316 %。5 台滤光片型近红外玉米品质分析仪 , 由中国农业大学研制 ; 工作谱区为880～1 100 nm ; 吸光度范围 0～5 AU ; 滤光片带宽 10～15nm ; 共 14 个波长点。212 　光谱测定在 5 台滤光片型近红外玉米品质分析仪上用漫透射方式分别测定 105 个玉米样品结果图略。3 　结果与讨论311 　各台仪器自建模型预测的结果将每台仪器测定的 105 个样品 , 分 80 个作为校正集 , 25个作为检验集 , 各台仪器的校正集和检验集的样品相应一致 ; 用偏最小二乘法 ( PL S)建立模型 , 预测结果表 1 所示。Table 1 　Result of PLS modelInst rument R2 SEP RSD/ %S1 01 970 7 0136 2165S2 01 971 1 0135 2157S3 01 975 6 0133 2141S4 01 956 6 0143 3123S5 01 977 9 0131 2130　　表中 r2 是决定系数 , 接近 100 %表示预测浓度值接近真值。SEP 为预测标准差 , 是衡量模型好坏的一个重要指标。RSD 是相对标准差 , 由预测标准差除以检验集的样品均值得到 , 反映的是模型对某一组分的总体预测效果。由表 1 可知 , 5 台仪器的决定系数都大于 0195 , 相对标准差也很小 , 说明这几台滤光片型近红外仪器的性能达到分析要求。但 4 号仪器和 5 号仪器相比预测标准差相差近 1/ 4 ,相对标准差也将近差 1 % , 说明这类仪器的一致性不好 , 可能是滤光片的波长准确性和带宽一致性差引起的。0642 光谱学与光谱分析 　　　　　　　　　　　　　　　　　　　 第 28 卷312 　转换集样品数和不同模型传递算法对模型传递的影响分别使用 10 , 15 , 20 , 30 , 40 , 50 , 60 , 80 数目样品作为转换集 , 把 1 号机作为主仪器 , 2 , 3 , 4 和 5 号机作为从仪器 , 用偏最小二乘法在主仪器上建立模型 , 分别用斜率截距法、直接校正法和目标因子分析法三种模型传递算法进行校正 , 结果见图 1。Fig11 　Average calibration transfer result at 4 instruments1 : S/ B ; 2 : TFA ; 3 : DS　　从图 1 可以发现 , 随着转换集样品数目的增加 , 三种模型传递的预测标准差呈下降趋势 , 模型传递效果越来越好。当转换集样品数目达到 20 后预测标准差降低不再明显 , 模型传递效果达到最佳。图 1 还说明用不同模型传递算法 , 模型传递效果有很大的差异。斜率截距法最差 , 因为它是一种简单的对预测值的一元校正法 , 对模型的修正是有限的 , 像滤光片型仪器 , 主从仪器之间差异很大 , 只是简单的拟合直线来预测没有标准化的光谱 , 很难获得满意的传递结果 ; 目标因子分析法由于去除了光谱矩阵中的多余信息 , 效果稍好 ; 而直接校正法效果最好 , 它是一种多元全光谱标准化方法 , 它通过比较主从仪器的光谱数据的差异 , 实现光谱数据的校正 , 从而有效地提高了预测结果。313 　转换集样品的选择方式对模型传递的影响把 80 个玉米样品按水分含量排序 , 然后分别在 1 到 80号、11 到 70 号、20 到 60 号中尽可能等间隔选 10 个标准样品作为转换集 , 计算这 3 组转换集在三种不同模型传递算法下 4 台从仪器的平均预测标准差 ; 同样选 3 组 20 个标准样品和 3 组 30 个标准样品计算。结果表明 , 模型传递效果与转换集样品的选择方式相关 , 在 1 到 80 号中选择的标准样品好于在 20 到 60 号中选择的标准样品。为了使模型传递达到最佳效果 , 应该选择各类具有代表性的样品作为转换集。314 　不同建模方法对模型传递的影响用 20 个样品作为转换集 , 分别用偏最小二乘法 ( PL S) 、多元线性回归 (ML R) 和主成分回归 ( PCR) 方法在主仪器上建立模型 , 再分别用斜率截距法、直接校正法和目标因子分析法进行校正 , 求得 4 台从仪器平均预测标准差 , 结果如表2 所示。　　表中模型传递差异度 (calibration t ransfer difference ,CTD)用来衡量模型传递效果。模型传递差异度反映的是用模型传递方法得到的预测标准差与用建模方法得到的预测标准差的差异程度 , 由下式表示CTD = (SEPST - SEPS) / SEPS ×100 %其中 SEPS 为从仪器自己建立模型的预测标准差 , SEPST为模型传递后的预测标准差。模型传递差异度越接近 0 % , 则模型传递的效果越好。从表 2 明显可见 , 偏最小二乘法最佳 , 多元线性回归次之 , 但与偏最小二乘法比较接近 , 主成分回归方法很差。Table 2 　Average transfer difference under different modelsCTD SLOPE/ BIAS/ % DS/ % TFA/ %PL S 24189 7101 151 3ML R 36164 8129 181 58PCR 46172 241 74 221 91315 　不同主仪器对模型传递的影响分别把自建模型预测效果最差的 4 号机和预测效果最好的 5 号机作为主仪器 , 1 , 2 和 3 号机作为从仪器 , 先用偏最小二乘法在主仪器上建立模型 , 再分别用斜率截距法、直接校正法和目标因子分析法进行校正 , ! 结果如表 3 所示。Table 3 　Average transfer result when usingNo14 and No15 as the masterMaster Slaves SEP SLOPE/ BIAS DS TFAMaster 412301 3501 3301 3601 6801 9101 4201 40154014201 4101 4601 36Master 512301 3501 3301 3601 5101 4401 5501 3013101 401 4601 4101 55　　从表 3 可以看到 , 模型传递的效果受主仪器模型的影响。用预测效果最差的 4 号机作为主仪器 , 则从仪器原来自建模预测效果好的传递后变差了 , 效果差的传递后反而变好了 ; 用预测效果最好的 5 号机作为主仪器 , 则从仪器原来效果好的传递后还是好的 , 效果差的传递后还是差的 ; 也就是原来预测效果与主仪器越相近 , 则模型传递差异度越小 , 模型传递效果越好。总体说来 , 主仪器自建模预测效果越好 ,则模型传递效果越好 , 所以应该选效果最好的仪器作为主仪器。4 　结 　论　　滤光片型近红外仪器的波长准确性和带宽一致性不高 ,因此通过斜率截距法对预测值进行一元校正对模型的修正是有限的。由于滤光片型近红外仪器的波长点较少 , 目标因子分析法在提取光谱数据的主成分降低数据维数的同时减少了数据中的有效信息 , 因此目标因为分析法的模型传递效果不如直接校正法稳定。采用直接校正法 , 在只选用 20 个标准样品作为转换集的情况下 , 平均模型传递差异度为 7101 % , 完全能够满足滤光片型近红外仪器测量的要求。1642第 10 期 　　　　　　　　　　　　　　　　　　　　光谱学与光谱分析参 考 文 献[ 1 ] 　Bouveresse E , Casolino C , de la Pezuela C. Journal of Pharmaceutical and Biomedical Analysis , 1998 , 18 : 35.[ 2 ] 　Annet te Behrens. Spect rochimica Acta , Part B , 1997 , 52 : 445.[ 3 ] 　Frédéric Despagne , D Luc Massart , Martin Jansen , et al . Analytica Chimica Acta , 2000 , 406 : 233.[ 4 ] 　Shenk J S , Westerhaus M O. U. S. Patent , 1989 , No. 4. 866. 644.[ 5 ] 　CHU Xiao2li , YUAN Hong2fu , L U Wan2zhen (褚小立 , 袁洪福 , 陆婉珍) . Chinese J . Anal . Chem. (分析化学) , 2002 , 30 (1) : 114.[ 6 ] 　WAN G Yan2bin , YUAN Hong2fu , L U Wan2zhen (王艳斌 , 袁洪福 , 陆婉珍) . Spect roscopy and Spect ral Analysis (光谱学与光谱分析) ,2005 , 25 (3) : 398.[ 7 ] 　ZHAN G Lin , ZHAN G Li2ming , L I Yan , et al (张　琳 , 张黎明 , 李　燕 , 等) . Chinese Journal of Analytical Chemist ry (分析化学) , 2005 ,33 (12) : 1709.[ 8 ] 　XION G Yu2hong , WEN Zhi2yu , L IAN G Yu2qian , et al (熊宇虹 , 温志渝 , 梁玉前 , 等) . Spect roscopy and Spect ral Analysis (光谱学与光谱分析) , 2007 , 27 (1) : 147.Research on Calibration Transfer of NIR Filter SpectrophotometerCH EN Jia2wei1 , ZHOU Chang2le1 3 , ZHAN G Ye2hui2 , XU Xiao2jie3 , L IN Kun2hui4 , YE Nan21. School of Information Science and Technology , Xiamen University , Xiamen 　361005 , China2. College of Information and Elect rical Engineering , China Agricultural University , Beijing 　100094 , China3. Beijing Agricultural College , Beijing 　102206 , China4. School of Software , Xiamen University , Xiamen 　361005 , ChinaAbstract 　Calibration t ransfer is an important issue to building up universal and comparable performance of spect rometer data innear inf rared spect ral analysis technology. Methods of slope/ bias correction , direct standardization (DS) , and target factor anal2ysis ( TFA) were used for the calibration t ransfer among five N IR filter spect rophotometers using maize as the samples. Theeffect s of three calibration t ransfer methods were compared. The DS method has the best performance. The average calibrationt ransfer difference of DS is 7101 %. This study also relates to the dependence of calibration t ransfer on the number of standardi2zation samples. It was proven by experiment that the result s of calibration t ransfer will be better as the number of samples is in2creased and will be generally stable when there are twenty standardization samples. However , the effect of calibration t ransferattained by DS is degraded sharply when the number of standardization samples decreases to be below twenty. Moreover , slope/bias and TFA are not sensitive to the number of standardization samples.Keywords 　Spect ral analysis ; Calibration t ransfer ; Near inf rared spect roscopy ; Multivariate calibration(Received Feb. 8 , 2008 ; accepted Apr. 28 , 2008) 　　3 Corresponding author2642 光谱学与光谱分析 　　　　　　　　　　　　　　　　　　　 第 28 卷

滤光片型近红外仪器模型传递的研究

http://dspace.xmu.edu.cn/bitstream/handle/2288/8300/%e6%bb%a4%e5%85%89%e7%89%87%e5%9e%8b%e8%bf%91%e7%ba%a2%e5%a4%96%e4%bb%aa%e5%99%a8%e6%a8%a1%e5%9e%8b%e4%bc%a0%e9%80%92%e7%9a%84%e7%a0%94%e7%a9%b6.pdf?sequence=2&isAllowed=y

滤光片型近红外仪器模型传递的研究

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository