本文从统计学的角度对事务性数据库进行了描述,提出了加权构造综合属性函数方法,对事务项进行了排序分析,并用该方法对某些区中国移动手机用户的消费情况进行了综合评价,得到了许多有意义的结果。In this article, we describe the transactional databasas form the angle of statistics.We next propose the weighted construction method of the generalized attribute function for the transactional databases and analyse the data sorting of the transaction. Then we use the method to give a overall assessment on the consumption of China Mobile customers in some district of China,and gain a lot of meaningful results.国家社会科学基金资助(03BTJ014);; 国家统计局统计科学研究重点项目基金资助(LX2002-2

张志强

朱建平

范霄文

赵绍忠

Xiamen University Institutional Repository

　　文章编号 : 1002—1566 (2005) 03—0032—07数据挖掘中数据排序及其应用朱建平 1 ,张志强 2 ,范霄文 2 ,赵绍忠 2(11厦门大学统计学系 ,福建 ,厦门 , 361005　21山西财经大学经济学院 ,山西 ,太原 , 03006)摘要 :本文从统计学的角度对事务性数据库进行了描述 ,提出了加权构造综合属性函数方法 ,对事务项进行了排序分析 ,并用该方法对某些区中国移动手机用户的消费情况进行了综合评价 ,得到了许多有意义的结果。关键词 :数据挖掘 ;事务数据库 ;数据排序 ;综合属性函数中图分类号 : O212 文献标识码 : AThe Da ta Sorting for Da ta M in ing and Its Applica tionZHU J ian2p ing1 , ZHANG Zhi2qiang2 , FAN Xiao2wen2 , ZHAO Shao2zhong2(11Xiamen University, Fujian Xiamen, 361005, China,21Shanxi University of Finance and Econom ics, Shanxi Taiyuan 030006, China)Abstract: In this article, we describe the transactional databasas form the angle of statistics. W e next p ropose theweighted construction method of the generalized attribute function for the transactional databases and analyse the datasorting of the transaction. Then we use the method to give a overall assessment on the consump tion of China Mobilecustomers in some district of China, and gain a lot of meaningful results.Key words: data m ining; the transactimal databasas; the data sorting; the generalized atribute function一、引 　　言　　针对数据挖掘而言 ,首要工作是数据的准备 ,它包括数据选取 (Data selection)、数据预处理 (Data p rep rocessing)和数据变换 (Data transformation)。数据选取的目的是确定发现任务的操作对象 ,即目标数据。数据预处理一般包括消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换等。数据变换的主要目的是消减数据维数或降维 ,即从初始特征中找出真正有用的特征以减少数据挖掘时要考虑的特征或变量数。然而 ,在数据准备的过程中对数据排序的研究 ,往往被人们所忽视 ,但是它在数据挖掘中显得尤为重要。因为在数据量较少时 ,对于排序看起来不是什么问题 ,也无需专门去研究和讨论。然而 ,对于海量数据的分析 ,排序问题就不是那么简单了。可以想象利用 W eb的有关资料 ,我们如何将网络广告、街头广告、报刊广告等对电视广告的影响程度排序呢 ? 这些问题的解决不仅为进一步的数据挖掘提供适合的数据形式 ,而且为数据分析过程中的算法改进、提高精度、增强有效性奠定了理论基础。收稿日期 : 2003年 11月 7日基金项目 :国家社会科学基金资助 (03BTJ014) ;国家统计局统计科学研究重点项目基金资助 (LX2002 - 2)23 数理统计与管理 　　　　　　　　　　　　第 24卷 　第 3期 　2005年 5月 　　　　数据排序必须要有研究对象 ,即我们是对属性项 (变量 )进行排序 ,还是对事务项 (样本 )进行排序 ,这一点必须要明确。研究对象要根据问题的研究目的和内容来确定。在明确了排序的对象后 ,进行排序前还要确定一个排序标准 ,标准不一样 ,排序的结果不一样。排序标准的确定不是那么轻而易举的 ,如果标准确定不好 ,不仅反映不出实际问题 ,而且还有可能误导人们对问题的认识。因此 ,排序标准的确定既要建立在一定的理论基础上 ,又要有一定的实际背景。这是我们讨论的重要内容 ,在此我们主要研究事务项的排序问题。二、事务数据库的统计描述通常 ,数据被储存在一个事务性数据库中 ,它组成了一个数据表。在这个表中的每一行包含事务一个唯一的事务标识号 ,其列为一个组成事务的项的列表。在 Rough 集理论中( Pawlak, Z(1982) )可以称其表为一个信息系统 ,该信息系统可用四个要素构成 (Cios, K. J. ,Pedryca,W. and Swiniarski, R. W. (1998) ) ,即 S = { U, Q, V, f}。这里 , U是对象 (事务 )的一个有限集 { x1 , x2 , ⋯, xN } , N 为所研究的事务总量 ,称 U 为论域 ; Q = C∪D 是描述对象 (事务 )属性的一个有限集合 { q1 , q2 , ⋯, ql } ,称 Q 为属性集 ,其中 C表示条件属性集 , D 表示决策属性集 ; V = ∪q∈Q Vq 是属性项 q∈Q的值域 ; f是 U ×Q到 V的一个映射 ,即 f∶U ×Q→V,且 f ( x, q)∈Vq ,它表示对象 x关于属性 q的取值 ,指的是 U中每一个对象 (或事务 )的属性值。定义 :设一个事务的信息系统为 S = {U, Q, V, f} , Q = C∪D, A Α Q是任一子集 ,称IND (A ) = { ( xi , xj ) ∈U ×U ∶f ( xi , q) = f ( xj , q) , q ∈A } (1)为论域 U上的一个等价关系 ,有时也记为 RA。易知 , RA 满足自反性、对称性和传递性 ,其为一个等价关系。这里应该注意 ,如果 ( xi , xj )∈RA ,那么关于 A,称 xi 与 xj是不可识别的 ,记为 xi IND xj或 xi A xj。对于任何一个 xi ∈U,包含 xi 的一类记为 [ xi ]A ,即有[ xi ]A = { x ∈U ∶xi IND x} (2)称其为关于 A的由 xi 生成的等价类。设 S = {U, Q, V, f}为一个信息系统 ,关于属性集合 Q的等价关系为 RQ ,由定义 ,等价关系RQ 将论域 U分成等价类族 ,记为 U /RQ = { X1 , X2 , ⋯, Xn } ,其中 X i , i = 1, 2, ⋯, n中所包含的事务 ,其序号最小的记为 x3i , i = 1, 2, ⋯, n,且对于 Π q ∈Q满足f ( x3i , q) ≠ f ( x3j , q) , i, j = 1, 2, ⋯, n, 　i ≠ j. (3)即有 X i = [ x3i ]Q , i = 1, 2, ⋯, n,说明 X i 是关于属性集合 Q的由 x3i 生成的等价类。在此称 U /RQ = { X1 , X2 , ⋯, Xn }为可识别论域 ,记为 U3= { x31 , x32 , ⋯, x3n } ,称 S3= { U3, Q, V, f}为具有可识别性的信息系统。这样 ,可以清楚地看到信息系统 S3 增强了可识别性。若对于属性子集 A Α Q,由等价关系 RA ,将论域 U 划分为一个等价类族 U /RA = { X1 , X2 ,⋯, Xm } ,在不引起记号混乱的情形下 ,其序号最小的仍记为 x3i , i = 1, 2, ⋯, m ,由 x3i 生成的等价类为 X i ,记为 [ x3i ]A , i = 1, 2, ⋯, m。这样 , U /RA = { X1 , X2 , ⋯, Xm }构成了一个具有属性特征A的论域 ,记为 U3A = { x31 , x32 , ⋯, x3m } ,称 S3A = { U3A , QA , VA , f}为关于属性特征 A的具有可识别性的信息系统。我们从统计的角度看 ,原论域 U = { x1 , x2 , ⋯, xN }中的元素 (事务项 ) xi , i = 1, 2, ⋯, N 出现是等可能的 ,而压缩后的论域 U3 = { x31 , x32 , ⋯, x3n }中的元素 x3i , i = 1, 2, ⋯, n出现是非等可33朱建平等 :数据挖掘中数据排序及其应用能的 ,对 U3 进行分析时为了保持信息的完整性 (朱建平 (2003) ) ,我们考虑将论域 U上的任何一个等价关系或划分看成是定义在论域 U上的子集组成的σ代数上的一个随机变量 ,这时每一个集合上的概率定义为该集合的基数与论域 U的基数之比值。对于 x3i < U, i = 1, 2, ⋯, n,如果其基数 (所包含的元素个数 )为 ni , i = 1, 2, ⋯, n,满足∑ni =1ni = N ,则称 ni /N 为 x3i 相应的概率 ,记为 pi ,且 ∑ni =1pi = 1 ,其中 N 为论域 U的基数。这样可以用X3 表示x31 　x32 　⋯　x3np1 　p2 　⋯　pn, (4)称其为关于信息系统 S3 的信息源。三、事务项 (样品 )的排序标准1、以信息源为标准的排序设 S = {U, Q, V, f}为描述某一事务数据库的信息系统 ,我们考虑的属性特征构成的子集为 A Α Q,由 (4)式将信息系统 S压缩为关于属性特征 A的具有可识别的信息系统 S3A ,即 S3A ={U3A , QA , VA , f}。记 U3A = { x31 , x32 ⋯, x3m } ,称其为关于特征 A的可识别论域。如果记 N 为原论域 U的基数 , ni 为 x3i 的基数 i = 1, 2, ⋯, m ,则得到关于信息系统 S3A 的信息源 ,即X3A >x31 　x32 　⋯　x3mp1 　p2 　⋯　pm, (5)其中 pi = ni /N ,称为第 i个等价类 x3i 的呈现度。 pi 越大 , x3i 中所包含的事务项 (样品 ) ,在整个论域 U中呈现的次数越多。将 pi 由大到小排序 ,如果排序后仍记为 p1 Ε p2 Ε ⋯Ε pm ,其相应的等价类有 card ( x31 ) Ε card ( x32 ) Ε ⋯Ε card ( x3m )。这样可将论域 U 按呈现度 pi 进行排序 ,即可对研究对象有一个初步的认识。2、以综合属性项为标准的排序以信息源排序简单清晰 ,但是没有考虑每一个属性项的重要程度 ,为了弥补这一点 ,我们利用主成分分析 ( PCA )的思想 (Johnson, R. A. and W ichern, D. W. (1998) ) ,将属性项正交化 ,构造综合属性项函数 ,以其作为排序的标准。然而 ,对于事务数据库所提供的直接信息 ,特别是包括海量信息的数据库 ,无法直接用 PCA方法。为了解决这一问题 ,我们利用压缩资料 ,借助信息源提供的信息 ,对 PCA方法进行调整以得到综合属性项 (朱建平 (2003) )。对信息系统为 S = {U, Q, V, f} ,关于属性子集 A 的可识别信息系统为 S3A = { U3A , QA , VA ,f} ,其中信息源为 X3A , 记属性向量为 QA = ( q1 , q2 , ⋯, qk ) ′, 其取值记为 x3α = ( xα1 , xα2 , ⋯,xαk ) ′,记 P = ( p1 , p2 , ⋯, pn ) ′为等价类权向量。计算属性向量 QA 的加权协差阵 ,记为 ∑A >( cov ( qi , qj ) ) k ×k ,其中 cov ( qi , qj ) = ∑kα= 1 pα ( xαi - xi ) ( xαj - xj ) ,计算加权协差阵 ∑A 的特征值为λ1 Ελ2 Ε ⋯Ελk ,其相应的正则化特征向量为 li = ( li1 , li2 , ⋯, lik ) , i = 1, 2, ⋯, k。将 QA = ( q1 ,q2 , ⋯, qk ) ′进行正交变换 ,即Y = LQA , (6)这里43 数理统计与管理 　　　　　　　　　　　　第 24卷 　第 3期 　2005年 5月 　　L =l11 　l12 　⋯　l1kl21 　l22 　⋯　l2k⋯　⋯　⋯　⋯lk1 　lk2 　⋯　lkk(7)Y = ( y1 , y2 , ⋯, yk ) ′表示变换后的正交向量。我们将特征值λ1 ,λ2 , ⋯,λk 归一化 ,即w i =λi∑kt =1λt, 　　　i = 1, 2, ⋯, k. (8)记为 W = (w1 , w2 , ⋯, w k )。由 (8)式构造综合属性为Z = ∑ki =1w i qi = W ′Y = W ′LQA = (W ′L ) QA , (9)令 W ′L =w31 ×k。从而 ,有Z = w3QA. (10)实际上 , Z = ( z1 , z2 , ⋯, zm ) ′为 QA 的函数 ,我们将 QA 的每一个取值 x3α ,α = 1, 2, ⋯, n,代入(10)式即可计算出 zα,α = 1, 2, ⋯, m。从大到小将其排序 ,不妨记为 z1 Ε z2 Ε ⋯Ε zm ,这样得到由综合属性项刻划的关于事务项的序列。3、移动通讯用户的综合费用排序某地区中国移动手机用户缴费情况数据库 ,描述每一个用户有 15个属性项 ,即是号码、所有者单元、用户地址、年、月份、用户类型 (全球通 a、本地通 b)、实际营收、月租费、特服费 (如表示移动秘书 1258)、本地话费、长途费、漫游费、国际业务、频占费、信息费。其数据库的形式见表 1。　表 1:某地区中国移动手机用户缴费情况数据库号码 年 月 用户类型 实际营收 月租费 本地话费 ⋯ ⋯ 频占费 信息费13503530001 2001 10 a 710. 63 50 356. 18 ⋯ ⋯ 4 013503530002 2001 10 a 236. 87 50 158. 6 ⋯ ⋯ 4 013503530003 2001 10 a 468. 43 50 294. 0 ⋯ ⋯ 4 013503530004 2001 10 a 370. 89 50 205. 8 ⋯ ⋯ 4 013503530005 2001 10 a 259. 13 50 102. 0 ⋯ ⋯ 4 0… … … … … … … … … … …　　现在我们收集到了某地区 2001年 9月到 2002年 3月的用户交费资料共计 149632条信息 ,由于用户信息可能随时有变动 ,如用户转机 (用户类型发生变化 ) ,为了更清楚地反映属性项的变动情况 ,我们按月建立信息系统 ,即 S t = { U t , Q, V, f} , t = 1, 2, ⋯, 7。这里 , U t 表示第 t个月的用户所构成的集合 ; Q表示 15个属性项构成的集合 ; V 表示属性项的值域 ; f是 U t ×Q到 V的映射。由于该地区引起消费总额变化的主要是本地话费、长途费和漫游费 ,根据实际中人们对移动通讯消费的情况 ,我们将其分类 ,见表 2。　表 2:某地区中国移动通讯消费分类项 　目类 　　　别1 2 3 4 5 6 7本地话费 0元 0 - 100元 100 - 300元 300 - 500元 500 - 1000元 1000元以上 欠款长途话费 0元 0 - 100元 100 - 300元 300 - 500元 500 - 1000元 1000元以上漫游费 0元 0 - 100元 100 - 300元 300 - 500元 500 - 1000元 1000元以上　　这样我们可以提到了关于属性了集 A = {本地话费、长途话费、漫游费 }的压缩信息系统 ,53朱建平等 :数据挖掘中数据排序及其应用见表 3。现在将利用事务项排序的标准对移动通讯用户的消费情况进行综合评价 (以 2001年 10月的压缩信息系统为例分析 )。用 (10)式计算出综合评价指标 Z,将其可视化得到排序前的2001年 10月移动通讯用户消费属性综合评价分布 (图 1 - b) ,比较接近用户消费排序前的概率分布 (图 1 - a) ,综合排序以后的分布见图 2,由于图 2反映出排序以后前 20位的综合指标较大 ,将其事务项列出见表 4。从数据库压缩资料及综合排序结果我们可以挖掘出以下知识 :　表 3: 2001年 10月移动用户数据库压缩信息U32 本地话费 长途话费 漫游费 个数 概率 U32 本地话费 长途话费 漫游费 个数 概率x31 1 1 1 680 01030555 x345 3 5 4 13 01000584x32 1 1 2 7 01000315 x346 3 5 5 7 01000315x33 1 1 5 1 4149E205 x347 3 6 3 2 8199E205x34 1 2 1 5 01000225 x348 3 6 4 2 8199E205x35 1 2 2 116 01005212 x349 3 6 5 3 01000135x36 1 3 2 14 01000629 x350 3 6 6 1 4149E205x37 1 3 3 18 01000809 x351 4 1 1 60 01002696x38 1 3 4 1 4149E205 x352 4 1 2 370 4149E205x39 1 4 3 4 01000180 x353 4 1 3 14 01000629x310 1 4 4 3 01000135 x354 4 2 2 875 01039317x311 1 5 4 2 8199E205 x355 4 2 3 83 01003729x312 1 6 6 1 4149E205 x356 4 2 4 1 4149E205x313 2 1 1 1569 01070501 x357 4 3 2 43 01001932x314 2 1 2 1671 01075084 x358 4 3 3 130 01005841x315 2 1 3 1 4149E205 x359 4 3 4 5 01000225x316 2 2 1 22 01000989 x360 4 4 3 15 01000674x317 2 2 2 5536 01248753 x361 4 4 4 17 01000764x318 2 2 3 19 01000854 x362 4 4 5 1 4149E205x319 2 2 4 1 4149E205 x363 4 5 4 5 01000225x320 2 2 5 1 4149E205 x364 4 5 5 9 01000404x321 2 3 2 381 01017120 x365 5 1 1 3 01000135x322 2 3 3 246 01011054 x366 5 1 2 103 01004628x323 2 3 4 2 8199E205 x367 5 1 3 7 01000315x324 2 4 2 2 8199E205 x368 5 1 4 2 8199E205x325 2 4 3 30 01001348 x369 5 2 2 226 01010155x326 2 4 4 12 01000539 x370 5 2 3 37 01001663x327 2 5 2 1 4149E205 x371 5 2 4 5 01000225x328 2 5 3 5 01000225 x372 5 3 2 12 01000539x329 2 5 4 9 01000404 x373 5 3 3 53 01002381x330 2 5 5 6 01000270 x374 5 3 4 5 01000225x331 2 6 3 4 01000404 x375 5 3 5 2 8199E205x332 2 6 6 1 4149E205 x376 5 4 3 5 01000225x333 3 1 1 950 01042687 x377 5 4 4 6 01000270x334 3 1 2 2374 01106673 x378 5 4 5 1 4149E205x335 3 1 3 16 01000719 x379 5 5 4 1 4149E205x336 3 2 1 9 01000404 x380 5 5 5 4 01000180x337 3 2 2 5432 01244080 x381 6 1 2 15 0100067463 数理统计与管理 　　　　　　　　　　　　第 24卷 　第 3期 　2005年 5月 　　U32 本地话费 长途话费 漫游费 个数 概率 U32 本地话费 长途话费 漫游费 个数 概率x338 3 2 3 116 01005212 x382 6 1 4 1 4149E205x339 3 3 2 342 01015367 x383 6 2 2 11 01000494x340 3 3 3 413 01018558 x384 6 2 3 4 01000180x341 3 3 4 6 01000270 x385 6 3 3 4 01000180x342 3 4 3 36 01001618 x386 7 1 2 1 4149E205x343 3 4 4 20 01000899 x387 7 2 2 2 8199E205x344 3 5 3 4 01000180图 a　　　　　　　　　　　　　　图 b图 1: 　移动通讯用户消费概率分布与综合属性评价分布比较　表 4: 10月份移动通讯用户消费综合属性评价排序序号 事务 U32类 　　别本地话费 长途话费 漫游费综合评价指标值 Z1 x337 3 2 2 0198652 x317 2 2 2 0183473 x334 3 1 2 0137984 x314 2 1 2 0121585 x354 4 2 2 0118596 x313 2 1 1 0116677 x333 3 1 1 0113028 x340 3 3 3 0109349 x352 4 1 2 01070610 x339 3 3 2 01069511 x321 2 3 2 01065712 x369 5 2 2 01055013 x31 1 1 1 01051314 x322 2 3 3 01048015 x358 4 3 3 01033416 x338 3 2 2 01023717 x366 5 1 2 01022818 x355 4 2 3 01019519 x373 5 3 3 01015320 x35 1 2 2 010139图 2:移动通讯用户消费综合属性评价排序73朱建平等 :数据挖掘中数据排序及其应用　　i) 1本地话费和长途话费同时没有消费的用户增长极快 ,从 2001年 9月的 0108085%增到 2002年 3月的 15152632%。就市话而言 ,没有消费的用户所占比例 ,从 0152102%增长到1619787%。说明有手机不消费的用户群体逐渐扩大 ,这就是“增量不增收 ”的矛盾日益突出的内在。ii) 1以此排序结果看 ,该地区移动手机用户平均消费最大的综合评价指标值是 019865,即本地话费在 3档上 (100 - 300元 ) ,长途话费和漫游费的消费在 2档上 ( 0 - 100元 )。从总体上 ,该地区的移动手机用户的本地话费消费群体集中在 3档 ,长途话费和漫游费的消费群体集中在 2档上 ,处于中低档消费水平。iii) 1这里需要特别说明的是 ,所有的 1档消费群体综合评价指标值为 010513,排在第 13位 ,这些消费者虽然拥有手机但没有消费 ,它直接影响着该地区移动通讯的业务总收入量 ,这部分消费者具有潜在流失倾向 ,公司应该针对此情况采取措施。我们对以后的几个月进行分析 ,发现这种情形越发严重。从以上分析可看出 ,将原始数据库压缩后并对事务项进行排序分析 ,可将原始数据库的潜在特性、趋势简单明了反映出来。然而 ,数据的排序分析只是数据挖掘知识的一小部分 ,数据排序不只是考虑事务项的情形 ,还有对属性项的排序问题 ,这也是我们正在研究的内容之一。[参考文献 ][ 1 ]　Cios, K. J. , Pedryca,W. and Swiniarski, R. W. (1998) , Data M iningMethods for Knowledge discovery[M ]. U.S. A, 27 - 70.[ 2 ]　Lebart, L. , Morineau, A. and W arwick, K. M ( 1984 ) , Multivariae Descrip tive Statistical Analysis [ J ]. JohnW iley and Sons, New York, 109 - 145.[ 3 ]　Pawlak, Z. (1982) , Rough Sets[ J ]. International Journal Information Computer Science, 11, 341 - 356.[ 4 ]　Johnson, R. A. and W ichern, D. W. ( 1998) , App lied Multivariate Statistical Analysis [M ]. 4 th ed, Prentice2Hall, Inc.[ 5 ]　朱建平 (2003). Data M ining中的统计方法及其应用 [D ].博士论文 , 49 - 57.(上接第 5页 )[参考文献 ][ 1 ]　无公害蔬菜检测技术规程. (DB440300 /T20 - 2001) [ S]. 深圳市质量技术监督局 , 2001.[ 2 ]　无公害蔬菜 (DB440300 /T20 - 2001) [ S].深圳市质量技术监督局 , 2001.[ 3 ]　Jackson, J. E. , T - Square Chart for B ivariate Data [ J ]. Principal Components and Factor Analysis: Part I -Principal components, Journal of Quality Technology 12, 201 - 213, 1980.[ 4 ]　钱仲侯 ,王成斌 ,孟玉柯. 多元质量控制 [M ].中国铁道出版社 , 1994.[ 5 ]　高惠璇等. SAS系统 SAS/STAT软件使用手册 [M ]. 中国统计出版社 , 1997.[ 6 ]　张公绪. 两种质量诊断理论及其应用 [M ]. 科学出版社 , 2003.[ 7 ] 　R ichard A. Johnson, Dean W. W ichern. App lied Multivariate Statistical Analysis [M ]. INTERNATIONALED ITION, 1998.83 数理统计与管理 　　　　　　　　　　　　第 24卷 　第 3期 　2005年 5月 　　

The Data Sorting for Data Mining and Its Application

http://dspace.xmu.edu.cn/bitstream/handle/2288/149915/%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98%e4%b8%ad%e6%95%b0%e6%8d%ae%e6%8e%92%e5%ba%8f%e5%8f%8a%e5%85%b6%e5%ba%94%e7%94%a8.pdf?sequence=1&isAllowed=y

The Data Sorting for Data Mining and Its Application

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository