From policy-driven to practical implementation:big data opens up a new research paradigm for sustainable development

1可持续发展及面临的难题可持续发展是世界对发展道路的审慎选择,也是我国的基本发展战略。随着全球资源枯竭、环境恶化的日益严重以及人类文明的演进和对生态保护理念的不断深化,可持续发展已经成为全球共识,对这一领域的研究也越来越热,日渐深入。实现可持续发展的关键是如何制定合理的、能够平衡环境、经济和社会需求的复杂决策。然而自然、社会、经济系统本身的高度复杂性、动态性以及不确定性使得实现这一最优或近似最优的决策成为一个巨大的挑战。目前,可持续发展战略的实

Big data and computational sustainability

可持续发展是国际社会共同关注的焦点问题。然而,如何从现有的政策驱动落实到技术驱动是切实实现可持续发展的瓶颈问题。近年来,新兴的计算可持续性研究,成为解决该难题的一个有效途径和一个新的研究热点。大数据时代的来临为计算可持续性研究带来了机遇,同时也带来了问题复杂性、计算效率、方法可扩展性等新的挑战。针对国内对计算可持续性需求的紧迫性而目前尚未开展相关研究的现状,文中首先介绍了计算可持续性的重点研究内容和主要任务。其次,分析了在大数据时代,运用计算机及信息科学的技术来提高管理和分配自然资源的必要性和有效性,以及计算可持续性研究面临的机遇与挑战,并通过具体案例说明基于数据驱动的计算可持续性在大数据环境下发挥的关键作用。最后,从技术发展和实际应用的角度探讨了未来计算可持续性的一些研究方向。The sustainable development has attracted many attention worldwide.However,one of the biggest problems in sustainable development is the practical implementation of existing policies.Computational sustainability,as a new research field,will become an effective tool to address the aforementioned problem.The advent of the big data era brings many research opportunities to computational sustainability,but also poses many challenges,such as computational complexity,modeling complexity and scalability.This paper,systematically introduces the research topics and tasks in computational sustainability,and discusses the use of information technology to improve the effectiveness and the efficiency of managing and allocating natural resources in big data era.Case studies illustrate that data-driven solutions of computational sustainability play key roles in a big data environment.Finally,future research directions of computational sustainability from both the technical and practical application perspectives are discussed.国家自然科学基金(61503313); 江苏省社会安全图像与视频理解重点实验室创新基金(30920140122007)资助项

Application-Driven Big Data Mining

认为大数据挖掘的核心和本质是应用、数据、算法和平台4个要素的紧密结合。从大数据的特点出发,结合大数据挖掘的案例,提出大数据挖掘中的平台架构、数据获取和预处理、算法的选择和集成都是应用驱动的。强调大数据挖掘的目标来自实际应用的真实需求,只有结合具体应用数据和适合应用的算法,利用高效处理平台的支撑,并将挖掘到的模式或知识应用在实践中,才能体现大数据挖掘的真正价值。The core of big data analysis is the combination of applications, data,algorithms and platforms. Big data mining platforms, algorithms, and big data itself are driven by applications. Big data mining tasks come from real applications. With specific application data and appropriate algorithms, using efficient processing platform, digging into the patterns or knowledge in practice, big data mining platform can show its true value

Big Data Meets the Needs of Disaster Information Management

1灾难信息管理灾难管理旨在有效地应对和避免自然灾害(如飓风、地震、海啸、火灾)及人为灾害(如战争、恐怖袭击)等紧急事件给社会和民众带来的财产损失和生命威胁[1]。近年来,随着自然灾害的不断发生、人为破坏和恐怖主义的蔓延,灾难管理和灾难恢复受到了越来越多的关注。如何能够快速准确地预测灾难发生的方式和类型,评估灾难的破坏程度和影

基于随机森林的建筑结构损伤识别方法

针对利用分类器对建筑结构进行损伤识别的问题,引入一种新的组合分类器算法——随机森林,提出基于小波包分解和随机森林的结构损伤识别方法。首先,采用小波包对结构在不同损伤程度和位置上的振动加速度信号进行分解,得到各个频带上的总能量;然后,利用各频带上能量值存在着差异性作为输入到分类器的特征向量;最后,训练随机森林模型并对建筑结构的损伤位置和损伤程度进行识别。应用该方法对一座8层剪切型钢框架结构进行损伤判别,并与BP神经网络和支持向量机方法进行对比,结果表明该方法具有较好的识别精度与稳定性

Data fitting based on improved genetic programming

针对传统数据拟合方法需预先估计基函数、依赖于应用领域等问题,基于遗传规划的动态可变特性,提出将遗传规划与最小二乘法结合,设计具有一定通用性和自适应能力的数据拟合算法。在分析传统遗传规划算法的基础上,详细介绍了算法改进方法,并针对各种类型的拟合数据进行了对比实验。实验结果表明,该算法不仅可以应用到多种场合,而且可以提高拟合效率与精度。There are many problems in current data fitting methods,such as it needs to estimate the radical function in advance and depends on the application field,and so on.Based on the dynamic alterable property of genetic programming(GP),combined GP with least square method,and designed a new data fitting method which had universal and self-adaptive capacity.Firstly,analyzed the traditional GP.Secondly,introduced the improved method in details.Finally,fimiched some contrastive experiments based on various fitting data.Experiment results show that this method can be applied in many fields,and it can improve the fitting efficiency and precision.国家自然科学基金资助项目(60443004);重庆市自然科学基金资助项目(2007BB2415

Talent recommendation system in big data era

1人才推荐系统的应用背

Feature selection of random forest-based proximity matrix difference

将随机森林的相似度矩阵看做一种特殊的核度量,利用该度量对模型参数的鲁棒性和特征变化的敏感性,提出一种特征选择的方法.采用相似度矩阵,计算训练样本类内和类间相似性比率.再利用特征值随机置换技术,将相似性比率的变化量作为特征重要性度量指标,从而对所有特征进行排序.试验结果表明,该方法能充分利用全部样本的信息,有效地进行特征选择,且其性能优于基于袋外数据误差率估计的特征选择方法.A feature selection method is proposed,after analyzing proximity matrix′s to random forest model and its sensitiveness to the variation of features.Proximity matrix is taken as a special kernel measurement to compute the proximity ratio between inner-class and the inter-class,then permutes the values of feature randomly and the difference of proximity ratio was takes as the assessment criterion for feature importance.The process yields a ranking for all features.Experimental results show that the method achieves good effects and performs better than that of the method based on out-of-bag (OOB) error rate.福建省自然科学基金资助项目(2009J05153

网络基础设施中重要网元子图的确定

网元子图是指大规模网络基础设施中包含承载具体业务网元的拓扑子图,网元子图可用于网络基础设施运维中的故障排查、诊断与修复.首先定义重要网元的概念;其次,为确定重要网元子图,提出一个统一框架来度量网元在结构和业务两方面的影响力,将其作为重要网元的衡量标准,并设计了从重要网元扩展生成重要网元子图的高效算法.基于真实的网络基础设施数据以及合成的业务承载数据进行实验,实验结果验证了该方法可以高效地找到高质量的重要网元子图,并用于网络基础设施的运维,提高运维的效率,节省运维的成本.江苏省自然科学基金(BK20171447);;江苏省高等学校自然科学研究项目(17JKB520024);;2015年度教育部-中国移动科研基金项目(5-10);;南京邮电大学引进人才科研启动基金(NY215045

一种基于支持向量机的结构损伤识别方法

提出了结合随机振动响应互相关函数、小波包分解和支持向量机(support vector machine,SVM)的结构损伤识别方法,计算了相邻测点响应的互相关函数幅值.采用小波包对得到的幅值进行分解,得到各个频带上的总能量;利用各频带上能量值存在的差异性作为输入到分类器的特征向量,训练SVM模型并对结构的损伤进行识别.应用该方法对Benchmark模型结构进行损伤判别,实验通过对比其他基于SVM的方法,结果表明该方法具有较好的识别精度