在网络资源优化分配问题的研究中,由于用户存在决策失误,现有基于理性用户博弈的网格资源分配在实际网格环境会完全失效。分析了非完全理性网格用户群体的资源分配策略及其演化过程,提出一种改进的复制动态机制的网格资源分配方法,克服了用户理性的限制,引入变异机制,在无初始学习样本的情况下,也能确保用户达到进行稳定策略点,实现了网格资源在有限理性用户之间的优化分配。仿真表明,用户通过学习对资源分配策略进行调整,可实现最优分配策略并处于稳定状态,证明了进化博弈的资源分配方法在网格环境中的适应性和稳定性

林晓鹏

郭东辉

Xiamen University Institutional Repository

基金项目: 国家自然科学基金( 60753001) 、教育部新世纪优秀人才计划项目和福建省科技项目收稿日期: 2010 － 01 － 16 修回日期: 2010 － 03 － 03第 28 卷 第 3 期 计 算 机 仿 真 2011 年 3 月文章编号: 1006 － 9348( 2011) 03 － 0155 － 04基于进化博弈的网格资源分配方法的研究林晓鹏1，3，郭东辉2( 1． 厦门大学物理系，福建 厦门 361005; 2． 厦门大学电子工程系，福建 厦门 361005; 3． 厦门海洋职业技术学院，福建 厦门 361012)摘要: 在网络资源优化分配问题的研究中，由于用户存在决策失误，现有基于理性用户博弈的网格资源分配在实际网格环境会完全失效。分析了非完全理性网格用户群体的资源分配策略及其演化过程，提出一种改进的复制动态机制的网格资源分配方法，克服了用户理性的限制，引入变异机制，在无初始学习样本的情况下，也能确保用户达到进行稳定策略点，实现了网格资源在有限理性用户之间的优化分配。仿真表明，用户通过学习对资源分配策略进行调整，可实现最优分配策略并处于稳定状态，证明了进化博弈的资源分配方法在网格环境中的适应性和稳定性。关键词: 网格资源; 进化博弈; 有限理性; 复制动态中图分类号: TP393 文献标识码: AResearch of Grid Resource Allocation Based on Evolutionary GameLIN Xiao － peng1，3，GUO Dong － hui2( 1． Department of Physics，Xiamen University，Xiamen Fujian 361005，China;2． Department of Electronic Engineering，Xiamen University，Xiamen Fujian 361005，China;3． Xiamen Ocean Vocational College，Xiamen Fujian 361012，China)ABSTRACT: Because of the bounded rationality of users，it is unreasonable to allocate grid resource based on thecomplete rationality of grid users in real grid environment． We analyze the replicator dynamics of evolutionary gameand put forward a mechanism to allocate gird resource which overcomes the limit of bounder rationality． Using themechanism of inheritance and variability，the allocation strategy achieves evolutionary stable equilibrium and leads toan optimal allocation of gird resource． The result of simulation shows that the grid users study and adjust strategy re-peatedly，which leads to the evolutionary stable point，and the scheme is stable to grid environment．KEYWORDS: Grid resource; Evolutionary game; Bounded rationality; Replicator dynamics1 引言网格计算［1］是通过实现网络资源的全面共享与协同工作为用户提供服务［2］，资源的规划与分配是网格计算研究的重要内容［3］。传统资源分配方法以任务平均响应时间、资源利用率［4］等系统指标来规划网格资源，它要求网格资源要接受统一调度，由系统性能参数决定任务在哪个资源上执行，主要有启发式、多准则等，但由于网格资源具有分布、异构、自治、动态等特点［4］，因此传统方式难以推广到大规模的网格计算环境。由于网格资源的供求行为与人类社会的经济活动可相类比，同时为使资源所有者有提供共享资源的动力，陆续出现了用经济模型来解决网格资源管理问题的研究方法。用经济模型来研究网格资源分配问题的方法主要有两种方法:一是将资源供求用一定的价值进行表示，通过价格机制调节资源分配; 另一种是认为资源供求双方各有自己的偏好，双方为了获得最大效用而制定资源策略，将用户决策过程看作博弈，基于博弈理论的纳什均衡［5］来获得资源分配策略。本文采用进化博弈理论研究网格资源在有限理性用户之间分配的方法，即使在用户决策失误的情况下，也能通过学习和策略调整实现资源的优化分配，克服了博弈过程中要求用户理性的限制; 讨论了用户资源分配策略的演化过程及进化稳定策略点，给出了策略进化稳定的算法; 通过增加变异机制对原始复制动态方法进行改进，确保在无学习样本时，通过部分个体变异来产生新的学习样本，解决了传统复制动态无学习样本时不能进化的问题。仿真结果表明，采用遗传与变异机制，用户可连续地学习和调策略整，达到进化稳定均衡，实现网格资源的优化分配。2 相关工作基于价格机制的资源调度方法是假定存着完全竞争的市场，资源提供者与使用者通过资源市场进行交易，市场根据当前资源的供求关系调节资源价格实现资源的有效配置，—551—如 SPAWN ［6］模型以及 R． Buyya 提出基于计算经济的网格框架体系［7］，它忽略了用户相互关系对资源分配的影响，在实际网格情况上会现偏差。博弈理论是研究参与者在相互影响下的策略反应，考虑用户竞争对资源分配的影响，将用户对资源的需求及相应的行为看作博弈问题，通过寻找纳什均衡点来得到用户资源分配的优化策略。现有基于博弈理论的资源分配方式［8］主要是以理性用户为前提，即用户在资源分配过程中完全不会出现决策失误，用户的每个策略都是当前情况下的最佳选择。然而，在实际的网格环境下，由于用户获得信息不充分或用户理性意识和判断分析能力较弱，要求用户完全不出现失误是不现实的苛求，因此，实际网格环境下的资源分配博弈应当是基于用户是有限理性［9］的前提下进行的。3 进化博弈学习机制3． 1 复制动态机制在实际网格的资源分配过程中，用户在初始阶段并不一定就能选择到最优策略，而且由于用户判断能力有限等原因，可能会做出偏离正确策略的行为，同时对于存在大量用户的实际网格环境，其学习的传递过程相对缓慢，资源分配需要一系列过程来完成，可将资源分配看作是反复博弈过程，用复制动态进化机制［10］模拟用户成员的策略调整。经典的对称矩阵进化博弈模型［11］ 中，令参与者的行动集合记为 S = { si } ，所定义的混合战略向量记为 X = { xi }T，这里∑ni = 1xi = 1 且 xi  0，而参与者的效能矩阵表示为 A =［aij］，其纯策略 si 的适应度函数可记为 AXi，平均适应度函数可记为XTAX，进化的战略增长率等于其相关适应度［12］，纯策略 si 的复制动态进化过程为:xi = xi + xi ( ( AX) i － XTAX) ，i = 1，…n ( 1)3． 2 复制动态机制的改进从式( 1) 中可见，在没有学习样本的情况下，所有用户都停留在低水平策略而得不到进化，针对式( 1) 引入适度的变导因子对原始的复制动态进化方程进行改进，改进后的复制动态进化方程为:xi = xi + λxi ( ( AX) i － XTAX) + δ，i = 1，…，n ( 2)其中 λ 为遗传因子且 λ∈ ( 0，1) ，体现了进化过程中群体遗传因素的影响; δ 称为变异因子且 δ∈ ( 0，1) ，体现进化过程中群体变异因素的作用。由于变异因子的存在，使得用户在没有学习样本的情况下可通过个体的变异来获得新的学习样本，通过策略的学习和调整，用户可达到进化稳定策略点时的策略，取得用户最大收益下的资源分配。3． 3 收益函数对于有大量用户的网格环境，假设用户使用资源时有两种心理，一种是不考虑其他用户的利益而只以自己利益最大化为目标，相应的策略称为主动型策略 sa ; 另一种是希望实现最大社会福利下的收益，相应的策略称为被动型策略 sp。可根据用户采用策略的情况将用户分成两个群体，设采用策略 sa 的用户比例为 x( 0 !x !1) ，则采用策略 sp 的用户比例为1 － x，构建一个2人博弈，一个博弈方遇到采用策略 sa 对手的概率为 x，采用策略 sp 对手的概率为1 － x。两用户都选择策略sa 时收益各为u( R)2 － c; 都选择策略 sp 时收益各为 u( R) ; 两用户策略为{ sa，sp } 时收益为{ u( R) ，0 }。4 网格资源分配策略的进化过程4． 1 进化策略的均衡点从博弈收益可知，用户采用策略 sa 和 sp 时的效能分别为:ua = u( R) － cx －u( R)2 x ( 3)up =u( R)2 ( 1 － x) ( 4)平均期望效能为:u－= xua + ( 1 － x) up = － cx2 + u( R)2 ( 5)则据式( 2) 可得到策略 sa 的复制动态方程为:F( x) = λx( x － 1) ( cx － u( R)2 ) + δ ( 6)当 F( x) = 0 时，用户达到动态策略的均衡点，可得均衡点为 x = 0、x = 1 和 x = u( R)2c 。当 x = 0 和 x = 1 时，在变异因子的作用下，有些个体会采用相反的策略，从而出现新的学习样本，促使用户向高收益策略进化。当 x = u( R)2c 时，用户采用混合策略为:p( sa ， sp ) =u( R)2c ，1 － u( R)2{ }c4． 2 策略点的稳定性分析虽然该进化博弈有三个均衡点，但在博弈过程要求一个均衡状态必需对微小扰动具有稳健性才能称为进化稳定策略。因此作为进化稳定策略的点 x = x* ，在均衡状态 x* 处还须满足 F＇( x) ＜ 0。从式( 5) 可得:F＇( x) = 3cx2 －［2c + u( R) ］x + u( R)2 ( 7)当u( R)2 ＞ c 时，可得F＇( x) x* = 0 ＞ 0 ，F＇( x) x* = 1 ＜0 ，而 x = u( R)2c ＞ 1，可见 x* = 1 是该博弈的进化稳定策略，其意义在于: 当网格中有部分用户采用策略 sa，则通过学习，采用策略 sa 的用户比例将逐步增加，最后所有的用户都采用策略 sa。当u( R)2 ＜ c 时，F＇( x) x* = 0 ＞ 0 ，F＇( x) x* = 1 ＞ 0，而F＇( x) x* = u( R)2c＜ 0 ，说明进化稳定策略为 x* = u( R)2 ，此时用户采用混合策略为 p( sa ， sp ) =u( R)2c ，1 － u( R)2{ }c ，相位图如图 1。当u( R)2 = c 时，可知进化稳定策略点为 x* = 1，与u( R)2—651—图 1 进化博弈下复制动态相位图＞ c 时相同。4． 3 用户策略的进化稳定算法在进化时先对收益进行归一化处理，用户选择策略 sa、sp 中的一个，并据式( 6) 进行策略进化，依式( 5) 计算进化后的平均期望效能的变化量 Δu，若 Δu ＞ 0 则进化策略不变，反之选择另一策略进化，直到 Δu 达到设定范围，算法如图 2 所示。图 2 策略进化算法5 仿真实验与分析在仿真模型中，取 λ = 0． 8，δ 取小于 0． 2 的随机数分析用户的策略进化过程，比较动态机制改进前后用户的策略进化情况。5． 1 u( R)2 ＞ c 时策略进化稳定分析取 u( R) = 100，c = 20，可见当u( R)2 ＞ c 时，若 0 ＜ x ＜1 则用户通过相互学习，不断地对策略进行进化调整，其进化稳定策略点是 x* → 1，即最后所有用户都采用策略 sa，改进前后的博弈过程如图 3( a) 、( b) 。图 3 u( R)2 ＞ c 时改进前后的进化博弈过程对比图 3( a) 、( b) 可见，在改进之前，对于初始状况为x* = 0 的进化博弈由于没有学习样本，用户会保持低效用的策略 sp，经改进之后由于变异因子的存在，部分用户发生采用策略 sa 的变异，形成学习样本，最后所有的用户会达到高效用策略 sa。5． 2 u( R)2 ＜ c 时策略进化稳定分析取 u( R) = 20，c = 100，可见当u( R)2 ＜ c 时，若 0 ＜ x ＜1 则用户的进化稳定策略点是 x* →u( R)2c ，说明用户采用的p( sa ， sp ) =u( R)2c ，1 － u( R)2{ }c 的混合策略，如图 4( a) 、( b) 所示。从图4( a) 、( b) 可见，对于u( R)2 ＜ c的情况，经过改进后对于 初 始 状 况 x* = 1 的 进 化 博 弈，最 后 可 达 到 p( sa， sp ) = u( R)2c ，1 － u( R)2{ }c 的混合策略。5． 3 u( R)2 = c 时进化稳定过程取 u( R) = 200，c = 100，可见当u( R)2 = c时，若0 ＜ x ＜—751—图 4 u( R)2 ＜ c 时改进前后的进化博弈过程1 则用户的进化稳定策略点是 x* → 1，即最后所有用户都采用策略 sa，如图 5 所示。图 5 u( R)2 = c 时博弈策略的进化稳定过程可见，利用进化博弈的复制动态进化机制进行网格资源分配，即使发生决策失误偏离了正确的资源分配策略，用户也可以通过群体间的相互学习进行策略调整，达到用户最优效用下的分配策略，克服了用户理性的限制; 引入变异因子对原始复制动态方程进行改进，在无学习样本的情况下，通过少量用户变异来获得新学习样本，确保了用户能进化到最优效用下的资源分配策略，实现网格资源的优化分配。6 结论网格环境中可能存在大群体的用户，而且用户任务执的行过程往往需要一系列的资源分配，然而由于网格环境的复杂性，在真实的网格环境中，用户难以获得其它用户的情况，因此基于完全理性前提的网格资源分配方法难以应用于实际网格环境中。基于改进的进化博弈复制动态机制的网格资源分配，则可在不需要获得其他用户信息的情况下，通过用户不断的动态学习、演变和进化达到资源分配的进化稳定策略，在用户犯错或受到扰到下能实现自我恢复，且由于增加了变异特性，在无初始学习样本的情况下通过适度的变异可获得进化的样本，用户可获得最大效能下的资源分配策略。参考文献:［1］ I Foster，C Kesselman． The Grid: Blueprint for a new ComputingInfrastructure［M］． Morgan Kaufmann，San Fransisco，CA，1999．［2］ 郁志辉，陈渝，刘鹏． 网格计算［M］． 北京: 清华大学出版社，2002．［3］ 林晓鹏，郭东辉． 网格计算基本原理及其系统管理关键技术［J］． 通信技术，2009，( 2) : 218 － 220．［4］ L Peng，et al． Performance evaluation in computational grid envi-ronments［C］． High Performance Computing and Gird in Asia Pa-cific，2004． 54 － 62．［5］ J F Nash． Non － Cooperative games［M］． Annals of Mathematics，1951，54( 2) : 286 － 295．［6］ C A Waldspurger，et al． Spawn: A distributed computational econ-omy［J］． IEEE Transactions on Software Engineering，Feb． 1992，18( 2) : 103 － 177．［7］ R Buyya，et al． Economic Models for Resource Management andScheduling in Grid Computing［J］． The Journal of Concurrencyand Computation: Practice and Experience ( CCPE) ，Wiley Press，May 2002．［8］ Hang Qin，Lin Qiu． A Game － Theoretic Resource AllocationStrategy with Purification Approach for Computational Grids［J］．International Journal of Intelligent Information Technology Appli-cation 1: 2，2008: 65 － 71．［9］ Jrgen W Weibull． Evolutionary Game Theory［M］． The MITPress，1996．［10］ 谢织予． 有限理性条件下的进化博弈理论［J］． 上海财经大学学报，2001，3( 5) : 3 － 9．［11］ 艾里克 拉斯缪森． 博弈与信息: 博弈论概论［M］． 北京: 北京大学出版社，2003．［12］ I Rechenberg． Cybernetic solution path of an experimental prob-lem［M］． Roy Airer Establ，libr transl 1222 Hants． UK: Farnbor-ough，1965．［作者简介］林晓鹏( 1972 － ) ，男( 汉族) ，福建平潭人，博士研究生，讲师，主要研究领域为网络资源管理、任务调度、通信协议;郭东辉( 1967 － ) ，男( 汉族) ，福建莆田人，教授，博士生导师，主要研究领域为人工智能、计算机网络通信、集成电路设计自动化。—851—

基于进化博弈的网格资源分配方法的研究

http://dspace.xmu.edu.cn/bitstream/handle/2288/19115/%e5%9f%ba%e4%ba%8e%e8%bf%9b%e5%8c%96%e5%8d%9a%e5%bc%88%e7%9a%84%e7%bd%91%e6%a0%bc%e8%b5%84%e6%ba%90%e5%88%86%e9%85%8d%e6%96%b9%e6%b3%95%e7%9a%84%e7%a0%94%e7%a9%b6.pdf?sequence=1&isAllowed=y

基于进化博弈的网格资源分配方法的研究

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository