中文摘要: 针对Matlab 6. 5统计工具箱没有优化正态总体方差的区间估计,且没有给出正态总体方
差检验的问题,通过编写Matlab程序,优化统计工具箱对正态总体方差的区间估计,开发正态总体
方差的假设检验算法. 实例表明该方法在推断统计方面实用性较强.Abstract: The interval estimation on variance of normal distribution isn’t op timized inMatlab 6. 5 statis2
tics toolbox, and it doesn’t p rovide hypothesis testing on variance of normal distribution. So a Matlab
p rogram is developed to op timize interval estimation on variance of normal distribution and p rovide arith2
metic of hypothesis testing on variance of normal distribution. The examp les show that the method has
better p racticability on deducing statistics

游文杰

邓亮章

Xiamen University Institutional Repository

第 16卷 第 2期2007年 6月计 算 机 辅 助 工 程COMPUTER A IDED ENGINEER INGVol. 16 No. 2Jun. 2007文章编号 : 100620871 (2007) 0220045203Matlab统计工具箱的若干优化补充游文杰 1, 2a , 　邓亮章 2b, 3(1. 福建师范大学 福清分校 ,福建 福清 　350300; 2. 厦门大学 a. 信息科学与技术学院 ;b. 数学科学学院 ,福建 厦门 　361005; 3. 福建信息职业技术学院 ,福州 　350003)摘　要 : 针对 Matlab 6. 5统计工具箱没有优化正态总体方差的区间估计 ,且没有给出正态总体方差检验的问题 ,通过编写 Matlab程序 ,优化统计工具箱对正态总体方差的区间估计 ,开发正态总体方差的假设检验算法. 实例表明该方法在推断统计方面实用性较强.关键词 : Matlab; 统计工具箱 ; 区间估计 ; 假设检验中图分类号 : O212. 1; TP311. 52　　　文献标志码 : AO ptim iza tion and supplem ent on M a tlab sta tistics toolboxYOU W enjie1, 2a , DENG L iangzhang2b, 3(1. Fuqing B ranch, Fujian Normal Univ. , Fuqing Fujian 350300, China; 2. a. College of Computer & Info. Eng. ;b. College ofMathematics Sci. , Xiamen Univ. , Xiamen Fujian 361005, China;3. Fujian Polytechnic of Info. Tech. , Fuzhou 350003, China)Abstract: The interval estimation on variance of normal distribution isn’t op tim ized in Matlab 6. 5 statis2tics toolbox, and it doesn’t p rovide hypothesis testing on variance of normal distribution. So a Matlabp rogram is developed to op tim ize interval estimation on variance of normal distribution and p rovide arith2metic of hypothesis testing on variance of normal distribution. The examp les show that the method hasbetter p racticability on deducing statistics.Key words: Matlab; statistics toolbox; interval estimation; hypothesis testing收稿日期 : 2006 209 207　修回日期 : 2006 210 215作者简介 :游文杰 (1974 2) ,男 ,福建福清人 ,讲师 ,硕士研究生 ,研究方向为随机数学建模 , ( E2mail) ywj - huang@163. com0　引　言Matlab应用于统计分析上所具有的操作简单、接口方便、扩充能力强等优势是其他软件 ( SAS,SPSS等 )不可比拟的 ,再加上其应用范围广泛 ,因此在统计应用上占据极其重要的地位. Matlab 6. 5统计工具箱 ( Statistics Toolbox) [ 1 ]加强 Matlab在统计分析方面的功能 ,并提供 250种以上的运算功能以及易于使用的接口 ,让使用者能够轻松分析历史资料、构建数据模型、仿真系统并开发统计算法.参数估计和假设检验是数理统计最基本的方法. Matlab统计工具箱在正态总体方差的区间估计并非最优 ,并且没有给出正态总体方差的检验. 本文针对该缺陷进行优化 ,并开发统计工具箱在正态总体方差的假设检验算法.1　基于 Matlab的正态总体方差区间估计算法的改进与优化　　利用样本对总体进行统计推断的一类问题是参数估计 ,参数估计分为点估计和区间估计两种. Mat2lab统计工具箱在参数估计方面提供多种分布类型的分布函数及其置信区间的估计方法.© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net1. 1　单正态总体方差的区间估计 [ 2, 3 ]设总体 X 服从正态分布 N (μ,σ2 ) , X1 , X2 , ⋯,Xn 为总体 X的随机抽样 ,样本均值为 X,样本方差为S2,对总体参数σ2 的区间估计有结论 :σ的置信度为 1 -α的置信区间为n - 1Sχ2α2( n - 1),n - 1Sχ21 - α2 ( n - 1)　　在给定置信度情况下 ,置信区间是不唯一的. 区间越长说明估计值分散的可能性越大 ,所以区间长度是估计优良的反映. 为此 ,在置信水平一定的前提下 ,应该选取区间长度最短的 1个. 但在实际应用中 ,仍取对称的分位点χ21 - α2 ( n - 1 )与χ2α2( n - 1 )来确定置信区间 ,这种方法得到的不是最优区间估计 ,并且在小样本时会产生不小的误差. 以下利用 Mat2lab强大的数值计算能力实现非对称χ2 分布区间估计的优化. 输入置信度及样本值 ,就可得更优 (短 )区间 ,简单直观.1. 2　置信区间算法优化改进 [ 1, 4 ]在 Matlab中编制函数文件 m insigmaci. m ,存入统计工具箱中以备调用.function [ sigmaci, len ] = m insigmaci( x, alpha)len = 100;m = size ( x, 2) ; %样本容量sigmahat = std ( x) ; %样本标准差for i = 101: 200k = i/100;chi2crit1 = chi2 inv ( alpha /k, m - 1) ; %调用 chi2square分位点函数chi2crit2 = chi2 inv(1 - alpha3 ( k - 1) /k, m - 1) ;sigmacileft = sigmahat3 sqrt( (m - 1) /chi2crit2) ;sigmaciright = sigmahat3 sqrt( (m - 1) /chi2crit1) ;length = sigmaciright2sigmacileft; %置信区间长度if length < len　　m ink = k; %用来计算两侧尾部概率　　m insigmacileft = sigmacileft;　　m insigmaciright = sigmaciright;　　len = length;endendsigmaci = [m insigmacileft; m insigmaciright]; %优化后的置信区间len; %优化后置信区间长度2　基于 Matlab 的正态总体方差的假设检验　　利用样本对总体方差进行统计推断的另一类问题是假设检验 ,Matlab统计工具箱在这方面提供包括单样本 t检验、双样本 t检验、z检验和χ2 拟合检验等方法 ,但没给出对单正态总体方差的χ2 检验.2. 1　单正态总体方差的假设检验设总体 X服从正态分布 N (μ,σ2 ) , X1 , X2 , ⋯,Xn 为总体 X的随机抽样 ,μ,σ2 均未知 ,要求检验假设 (显著性水平为α) [ 2, 5 ] :H0 ∶σ2 =σ20 , 　H1 ∶σ2 ≠σ20H0 ∶σ2 ≤σ20 , 　H1 ∶σ2 >σ20H0 ∶σ2 ≥σ20 , 　H1 ∶σ2<σ20拒绝域χ2 ≥χ2α2( n - 1)或χ2 ≤χ21 - α2 ( n - 1)χ2 ≥χ2α ( n - 1)χ2 ≤χ21 -α ( n - 1)上述检验法称为χ2 检验法 (注 :不同于 Matlab统计工具箱提供的χ2 拟合检验法 ) . 以下利用 Mat2lab实现正态总体方差的χ2 检验 ,补充统计工具箱在正态总体方差的假设检验算法.2. 2　单正态总体χ2 检验算法实现在 Matlab中编制函数文件 chi2 test. m ,存入统计工具箱中以备调用.function [ h, sig] = chi2 test( x, sigma, alpha, tail)samp lesize = length ( x) ; %样本容量s2 = var( x) ; %样本方差chi2 = ( samp lesize - 1) 3 s2 / ( sigma 2̂) ; % chi22square抽样分布if ( tail == 0) %双边检验a = chi2 inv(1 - alpha /2, samp lesize - 1) ; %临界点b = chi2 inv( alpha /2, samp lesize - 1) ;sig = 2 3 ( 1 - chi2cdf ( chi2, samp lesize - 1) ) ; %样本观测值的概率if ( chi2 < b) & ( chi2 > a) %判断是否落入拒绝域　　h = 0; %接受原假设 H0else　　h = 1; %接受备择假设 H1endendif tail == 1%单边检验 (右边检验 )a = chi2 inv(1 - alpha, samp lesize - 1) ;sig = 1 - chi2cdf( chi2, samp lesize - 1) ;if ( chi2 < a)　　h = 0;else　　h = 1;endendif tail == - 1%单边检验 (左边检验 )64 计 　算 　机 　辅 　助 　工 　程 　　 2007年 　© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.neta = chi2 inv( alpha, samp lesize - 1) ;sig = chi2cdf( chi2, samp lesize - 1) ;if ( chi2 > a)　　h = 0;else　　h = 1;endend3　实例应用例 1　试验室有 1批贵重元器件 ,设元器件的使用寿命近似地服从正态分布 ,试求该元器件总体标准差σ的置信度为 0. 95的置信区间. 随机抽样检测 4个元件 ,测得数据如下 : 506, 508, 499, 503, 504.(1) 传统区间估计方法 　计算样本标准差 S =3. 391 2. 由置信度 1 - α = 0. 95,α = 0. 05, 自由度n - 1 = 5 - 1 = 4; 查表得 : χ20. 975 ( 4 ) = 0. 484,χ20. 025 (4) = 11. 143. 所以由上面结论 1得置信区间为(2. 031 8, 9. 744 7) ,长度为 7. 712 9.(2) 调用统计工具箱函数 　调用优化前 normfit函数 [ 1 ] ,运行如下代码x = [ 506 508 499 503 504 ]; 　alpha = 0. 05;[muhat, sigmahat, muci, sigmaci] = normfit( x, alpha) ;sigmaci运行结果 : sigmaci = 2. 031 8　9. 744 7调用优化后 m insigmaci函数 ,运行如下代码x = [ 506 508 499 503 504 ]; 　alpha = 0. 05;m insigmaci( x, alpha)运行结果 : ans = 1. 668 0　8. 156 5评注 　按传统方法计算出的置信区间不是最优的. 利用优化后统计工具箱 m insigmaci函数 ,求得置信区间 (1. 668 0, 8. 156 5) ,长度为 6. 488 5,比直接调用 normfit 函 数 , 求 得 置 信 区 间 ( 2. 031 8,9. 744 7) ,长度为 7. 712 9,短了 1. 224 4,区间长度比约为 0. 841 3,并且可进一步算得两边的尾部概率分别为P{χ2 ( n - 1 ) ≥χ2α2 ( n - 1 ) } = P {χ2 ( 4 ) ≥0. 691 3} = 0. 047 6 = 0. 952 4α;P{χ2 ( n - 1 ) ≤χ2α1 ( n - 1 ) } = P {χ2 ( 4 ) ≤0. 141 9} = 0. 002 4 = 0. 047 6α.例 2　某试验室用 1台精密仪器加工某元件.该元件的使用寿命是随机变量并服从正态分布. 仪器正 常 时 , 其 均 值 为 0. 5 kh , 标 准 差 不 超 过0. 015 kh. 某日开机后为检验该仪器是否正常 ,随机抽取它所加工的元件 9个 ,测得数据 ( kh)为0. 497　0. 506　0. 518　0. 524　0. 4980. 511　0. 520　0. 515　0. 512问仪器是否正常 ? (显著性水平α= 0. 05)(1) 调用统计工具箱函数 ztest　检验 H0 ∶μ =μ0 = 0. 5; H1 ∶μ≠μ0 = 0. 5调用 ztest函数 ,运行如下代码x = [ 0. 497 0. 506 0. 518 0. 524 0. 498 0. 511 0. 520 0. 5150. 512 ];[ h, p, ci] = ztest( x, 0. 5, 0. 015)运行结果 : h = 1 　p = 0. 024 8ci = 0. 501 4　0. 521 0所以拒绝原假设 H0 ,接受备择假设 H1 ,即发现仪器存在显著偏差 ,该仪器均值不为 0. 5 kh.(2) 调用统计工具箱 (编制 )函数 chi2 test　检验 H0 ∶σ≤σ0 = 0. 015; H1 ∶σ >σ0 = 0. 015调用 chi2 test函数 ,运行如下代码x = [ 0. 497 0. 506 0. 518 0. 524 0. 498 0. 511 0. 520 0. 5150. 512 ];[ h, sig ] = chi2 test ( x, 0. 015, 0. 05, 1) %单边检验 (右边检验 )运行结果 : h = 0 　 sig = 0. 925 5所以接受原假设 H0 ,拒绝备择假设 H1 ,即没有发现仪器存在显著不稳定 ,可以认为该仪器标准差不超过 0. 015 kh. 因此说明该仪器虽然工作稳定 ,但是存在显著偏差 (偏大 ) ,故仪器工作不正常.评注 　该问题隐含两个问题 : (1)检验μ =μ0 ;(2)检验σ≤σ0. 对于问题 (1)直接调用 Matlab统计工具箱 ztest函数 , h = 1说明拒绝原假设 H0 ; p =0. 024 8说明样本观测值的概率非常小 ( < 0. 05,小概率事件 ) ,对原假设质疑. 对于问题 ( 2)调用补充Matlab统计工具箱 chi2 test函数 , h = 0说明接受原假设 H0 ; sig = 0. 925 5说明样本观测值的概率不算太小 ( µ 0. 05,非小概率事件 ) ,对原假设不应质疑.4　结束语Matlab统计工具箱应用非常广泛 ,除了其本身提供的工具箱以外 ,还可以根据实际问题的需要 ,建立起相应的 m2文件 (命令式文件或函数式文件 )解决更加复杂的问题 ,并且程序通用性强. 本文在推断统计方面对统计工具箱进行一些优化与补充.(下转第 78页 )74第 2期 游文杰 ,等 :Matlab统计工具箱的若干优化补充© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net的特征个数较少 ,因此效果略逊于传统的粗粒度描述方法 ;随着兴趣特征个数的增多 ,子兴趣的描述也变得比较详细 ,因此算法性能逐渐提高. 这说明基于聚类方法的构造方法优于基于词频统计的构造方法 ,而且细粒度用户兴趣描述比传统的粗粒度用户兴趣描述更能细致、准确地刻画用户的兴趣和偏好.(2) 随着用户兴趣特征个数的增多 ,细兴趣粒度描述的用户子兴趣越来越详细 ,系统性能逐渐提高 ;但是 ,当用户兴趣特征项达到 210个以上时 ,细兴趣粒度描述的用户兴趣模型的性能开始下降. 这说明 ,用户兴趣描述中并非兴趣特征项越多越好 ,而是随着特征数的增多 ,引入的噪声也逐渐增加 ,从而导致兴趣模型的性能下降.4　结束语个性化信息服务已经成为一种趋势 ,人们借助个性化搜索引擎来满足对信息准确、快速地定位. 本文针对个性化服务中的关键技术———用户建模进行研究 ,在传统的基于词频统计的粗粒度用户建模基础上 ,将聚类算法引入到自动建模中 ,并使用细粒度的用户模型描述. 模拟实验表明该算法能够更加详细、准确地描述用户兴趣 ,提高系统性能.文中用户子兴趣模型是从特征词的角度来描述的 ,不能深层次地理解用户的兴趣. 今后将力争进一步深入到语法、语义和语用的角度探讨用户兴趣描述 ,提高个性化服务的效率.参考文献 :[ 1 ]　PAZZAN IM, B ILLSUS D. Learning and revising user p rofiles: the identification of interestingW eb sites [ J ]. Machine Learning, 1997, 27 (3) :3132331.[ 2 ]　SUGIYAMA K, HATANO K, YOSH IKAWA M. Adap tive W eb search based on user p rofile constructed without any effort from users [ C ] / / Proc13 th International Conference on World W ide W eb. USA: ACM Press, 2004: 6752684.[ 3 ]　林鸿飞 , 杨元生. 用户兴趣模型的表示和更新机制 [ J ]. 计算机研究与发展 , 2002, 39 (7) : 8432847.[ 4 ]　张卫丰 , 徐宝文. 基于 WWW缓冲的用户实时二维兴趣模型 [ J ]. 计算机学报 , 2004, 27 (4) : 4612470.[ 5 ]　ZAM IR O E. ClusteringW eb documents: a phrase2based method for group ing search engine results [D ]. Univ of W ashington, 1999.[ 6 ]　SHAW M W , BURGIN R, HOW ELL P. Performance standards and evaluations in IR test collections: cluster2based retrieval models [ J ]. InfoProcessing & Management, 1997, 33 (1) : 15236.(编辑 　廖粤新 )(上接第 47页 )参考文献 :[ 1 ]　The Math Works, Inc. Statistics toolbox user’s guide [ EB /OL ]. [ 2005208 ]. http: / /www. mathworks. com / access/helpdesk /help / toolbox/ stats/[ 2 ]　盛骤 , 谢式千 , 潘承毅. 概率论与数理统计 [M ]. 2版. 北京 : 高等教育出版社 , 1989: 173, 202.[ 3 ]　陈希孺. 数理统计引论 [M ]. 北京 : 科学出版社 , 1999.[ 4 ]　郭永宁 , 黄丽华. 提高 Matlab程序运行效率的若干手段 [ J ]. 福建电脑 , 2005 (11) : 147.[ 5 ]　魏宗舒. 概率论与数理统计教程 [M ]. 北京 : 高等教育出版社 , 1983.(编辑 　廖粤新 )87 计 　算 　机 　辅 　助 　工 　程 　　 2007年 　© 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved.    http://www.cnki.net

Optimization and supplement on Matlab statistics toolbox

http://dspace.xmu.edu.cn/bitstream/handle/2288/8314/Matlab%e7%bb%9f%e8%ae%a1%e5%b7%a5%e5%85%b7%e7%ae%b1%e7%9a%84%e8%8b%a5%e5%b9%b2%e4%bc%98%e5%8c%96%e8%a1%a5%e5%85%85.pdf?sequence=1&isAllowed=y

Optimization and supplement on Matlab statistics toolbox

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository