基于领域的数据平台的研究与实践

经过多年的信息化建设，各企事业单位已具备了较完善的OLTP系统，积累了海量的业务数据，但是他们分散、不共享，数据的完整性、一致性缺少很好的保证，且OLTP系统已远远满足不了企业应用的需要。为解决这些问题，适应市场经济的激烈竞争，建立数据平台系统将有助于对这些数据进行有效地整合、提炼、加工处理，以更好地满足统计分析、决策、风险管控、产品开发等各方面的需求，并最终提高各单位的核心竞争力。 本文对基于领域数据平台构建方法进行研究，对数据平台的ETL过程、数据建模、平台应用等分别进行介绍，并基于领域对ETL过程、数据建模进行了重点描述。具体内容包括：首先介绍了数据平台，以及与之相关的商业智能、数据库、数据仓库、业务规则管理、工作流、目录服务等方面的内容；然后从整体上对数据平台进行描述，介绍了数据平台的体系结构、ETL过程、数据建模和平台应用等方面内容；接着分别对ETL过程和数据建模方法进行详细阐述，研究了构建可复用的基于领域的数据建模方法，并利用作业管理、目录服务、规则管理、日志管理、异常处理等技术建立ETL平台的技术架构和领域业务支撑架构；然后结合领域对数据平台的数据模型构建方法和ETL过程进行实践；最后对所做的研究和实践工作进行了总结，并确定了下一步的工作方向。 本文对领域内可复用数据模型进行了研究，提出了一种数据参考模型构建方法和步骤，并且建立了开放的支持异常处理与恢复的ETL平台。本文设计开发的基于保险领域的数据平台系统是基于数据参考模型构建方法和ETL平台进行的，它已经在相关保险公司正式投入使用，得到了用户的肯定。它一方面有效地解决了各应用系统的信息分散、数据的完整性和一致性问题，为统计分析、决策、风险管控、产品开发等提供了强有力的支持，从而提高企业的核心竞争力，另一方面还为基于领域的ETL过程和数据建模提供了一套思路和方法， 对领域应用软件开发提供了帮助。After several years’ informatization construction, big companies have built a fairly complete OLTP system, and accumulated mass business data. However, current systems can't guarantee the completeness and consistency of these data due to their distributive storage in many independent systems without sharing and consistency. Enterprise application can not been satisfied by OLTP systems. In order to solve these problems and be competitive in market, building data platform system will be helpful. It will be helpful to effectively integrate, refine and process data thus to better support to requirement such as statistic, analysis, decision support, risk management and control, product development, and improve enterprise core competition. This paper is based on research of domain based data platform, introduces ETL process, data modeling, platform application of data platform separately, and describes domain based ETL process and data modeling in detail. First, it introduces data platform and related domain such as business intelligence, database and etc; Second, it describes data platform in the mass, it describes content such as architecture, ETL process, data modeling and platform application; Third it describes ETL process and data modeling method in detail, do research on modeling method of reusable domain based data model, and use technologies as task management, directory service, rule management, log management and exception process to build technologies and business support architecture of ETL platform, Then it combine domain to do practice on data modeling method and ETL process of data platform; And the last part summarizes the former work and outlines future direction. This paper has done research on domain based reusable data model, given out a build method and steps of data reference model, and built opening ETL platform which support exception process and restore. The domain based data platform system designed in this paper is based on data reference modeling method and ETL platform, it has been used in some companies, and won approval from users. On the one hand, it solved problems like information decentralization, data integrality and consistency between application systems, and given strong support to statistic, analysis, and etc, then to raise core competition of enterprise; On the other hand, it provided thought and method of domain based ETL process and data modeling, and provided help for domain based application development

design and development of credit rating system

信息化对社会信用体系建设具有重要的推动作用,信用评级系统是信用行业信息化建设的重要系统之一,但目前的信用系统的评级主要靠业务人员定性判断,部分具有定量判断的系统也缺少系统地对信用评级体系(如数据采集、数据发布、评级模型等)的支持.介绍的信用评级系统主要从统一数据采集与发布平台、评级分析和评级模型管理3个方面系统地对评级系统面临的问题进行支持,并对评级模性管理技术进行重点阐述.统一数据采集与发布平台极大地提高了系统的操作效率和标准化;标准化和个性化相结合的评级模型管理技术提供了系统的灵活性和适应度.该系统

research on domain-specific reference data model

针对领域内数据实体变化频繁,复用性低的问题,提出了特定领域数据参考模型的概念,它基于概念模型的形式,对领域内的通用数据模型进行说明和描述,成为领域内应用系统数据建模的基础.给出了领域数据参考模型的体系架构,它对整个模型进行了纵横向的划分以便作为不同程度的复用的基础.在概念模型构建时,提出了数据模型构建步骤,并引入了"维度","维度层次"和"事实"3个数据仓库中的概念,扩充了ER图中的属性定义,为构建稳定可复用的领域实体提供了有效的途径

study and implemention of rapid and collaborative development platform based on domain

在全面分析研究企业信息系统和大量实践的基础上,为解决传统企业信息系统开发存在的问题,提出并设计了一个企业级的基于领域的快速协同开发平台。通过对信息系统进行领域分析,得出了平台的总体架构,该平台采用了业务流程管理、模型驱动架构、面向服务架构等技术思想进行实现,并将这些思想有效结合,使其协同工作。通过具体的应用,验证了平台能有效地提高软件复用率,极大地缩短企业信息系统的开发周期,减少信息系统的成本支出

research and implementation of data process platform

数据处理工作已经成为目前应用开发面对的主要内容之一,存在大量的ETL工具用于进行数据处理,它们提高了系统的开发和运行效率,但缺少系统的对异常的恢复和提高系统开发效率的支持.利用日志管理、异常处理、目录服务、规则管理等技术,给出了一个数据处理平台的体系架构.在该架构中,使用模板和样本程序方法提高系统的开发效率;并基于数据处理集、影响域的概念,使用单作业状态转换、多作业有向无循环图模型解决了作业调度问题;使用基于数据处理集的日志管理、基于影响域的异常处理和恢复等模型,在保证系统运行效率的基础上,通过记录异常

祝融号火星车科学探测模式设计与验证

受通信能力低、能源不足等限制，祝融号火星车有效载荷科学探测需提高探测效率，以有限资源获取尽可能多的有效探测数据。祝融号火星车的巡视探测科学任务着眼于火星局部地区，包括火星车行驶时载荷探测和火星车停止时定点就位载荷探测两个主要工况。统筹考虑祝融号火星车移动能力、通信能力、能源能力、热控能力等约束，合理划分工程活动和科学探测活动可用的资源，协调使用火星车的桅杆和移动系统，优化组合各载荷工作模式，设计了高效载荷探测模式。该探测模式与基于工作模式表的自主探测控制方式相结合，解决了资源受限情况下的多载荷协同探测难题。祝融号火星车有效载荷系统圆满完成了预期探测任务，设计的科学探测模式全部得到在轨验证。结果表明这些模式设计合理有效，满足安全、自主、高效开展科学探测的需求