Contract-based test generation for data flow of business processes using constraint programming

The verification of the properties of a business process (BP) has become a significant research topic in recent years. In the early stages of development, the BP model (e.g. BPMN, EPC), the BP contract (task contract, regulations and laws, business rules), and the test objectives (requirements) are the only elements available. In order to support the modellers, automatic tools must be provided in order to check whether their business processes are in line with the BP contract. This paper proposes a new business process called the automatic test-case generator to automate the generation of test cases and verify that a BP has the intended functionality (semantic conformance). This generator is analysed, designed and implemented by taking into account the following tasks: Annotation of the BP model with the business process contract, calculation of the various data flow paths, transformation of these data flow paths into SSA form, and a modelling of a constraint satisfaction problem (constraint programming) of the BP contract for all data flow paths. The execution of this business process generates the test cases automatically.Junta de Andalucía P08-TIC-04095Ministerio de Ciencia e Innovación TIN2009-1371

The Development of an Automated Testing Framework for Data-Driven Testing Utilizing the UML Testing Profile

The development of increasingly-complex Web 2.0 applications, along with a rise in end-user expectations, have not only made the testing and quality assurance processes of web application development an increasingly-important part of the SDLC, but have also made these processes more complex and resource-intensive. One way to effectively test these applications is by implementing an automated testing solution along with manual testing, as automation solutions have been shown to increase the total amount of testing that can be performed, and help testing team achieve consistency in their testing efforts. The difficulty, though, lies in how to best go about developing such a solution. The use of a framework is shown to help, by decreasing the amount of duplicate code and maintenance required, and increasing the amount of separation among the various elements of the testing solution. This research examines the use of the UML Testing Profile (UTP), including the use of UML diagrams, in the creation of such a framework. Using an Action Design Research methodology, a framework is developed for an automated testing solution that utilizes the Selenium Webdriver with a data-driven methodology, used in an organizational context, and evaluated, over the course of multiple iterations. Design principles, including the use of a test architecture and test context, the use of UML diagrams for the creation of Page Objects, and the identification and implementation of workflows are distilled from these iterations, and their impact on the larger context, the delivery of a robust application that meets end-user expectations, is examined

Entwicklung und Evaluierung einer Erweiterung der BPMN-Spezifikation für einen modellbasierten und automatisierten Regressionstest verteilter BIS

The constantly growing complexity of hard- and software systems combined with increasing functional scope and steadily decreasing product lifecycles is leading to an increment of model based technology usage in development and testing. Many challenges come along with developing and testing such complex software systems. Top priority of each company is to deliver the required software solution in the agreed time and budget frame. But reality shows, that time and cost pressure is massively affecting the quality of the delivered software. Therefore new testing methods have to be introduced in an early stage of the development process. While model based development procedures have found their way into embedded software systems during the past view years, the model based testing (MBT) of distributed business information systems (BIS) has come more and more in the focus of research and industry. This dissertation provides an overview of the status quo of the technology MBT within the domain of distributed BIS and summarizes the actual research questions. Out of these research questions the requirements to such a test approach arise, which are being answered within the implementation section of this dissertation. As a modelling notation the Business Process Modelling Notation (BPMN) is being used, differentiating this MBT approach from other approaches within the domain of embedded systems, which are using UML. Based on this and with the example of a debtor process (IT supported payment process) from the business-to-business (B2B) it will be shown, how an MBT approach can contribute to sustainably increase quality as well as test coverage of distributed BIS. Therefore within the frame of the dissertation testing tools developed by Seppmed GmbH and MID GmbH are being evaluated and analyzed on praxis capability. In detail it is being investigated, how far the testing tools in combination with other applications are fulfilling the expectations of the dissertation. For this purpose the testing of the realizing methodic is necessary. A cost analysis as well as impacts of MBT implementation in existing development processes will be provided in the last part of this thesis.Die stetig wachsende Komplexität von Hard- und Softwaresystemen sowie der steigende Funktionsumfang bei stets kürzer werdenden Produktzyklen führen zunehmend zum Einsatz von modellbasierten Technologien in der Entwicklung und bei den Tests. Bei der Entwicklung und beim Test solcher komplexer Softwaresysteme werden Unternehmen heute mit neuen Herausforderungen konfrontiert. Oberste Maxime eines jeden Unternehmens ist, dass die angeforderte Softwarelösung im vereinbarten Zeit- und Budgetrahmen geliefert werden muss. Die Praxis zeigt allerdings, dass sich Zeit- und Kostendruck massiv auf die Qualität der ausgelieferten Software auswirken. Neue Testmethoden müssen daher in einem frühen Stadium des Softwareentwicklungsprozesses Einzug halten. Nachdem modellbasierte Entwicklungsmethoden bereits in den letzten Jahren zunehmend in eingebetteten Softwaresystemen Einzug in die Entwicklungsabteilungen gehalten haben, ist das modellbasierte Testen (MBT) von verteilten betrieblichen Informationssystemen (BIS) verstärkt in den Fokus von Forschung und Industrie gerückt. Diese Dissertation gibt einen Überblick über den Stand der Technik bezüglich des MBT in der Domäne der BIS und fasst aktuelle Forschungsfragen zusammen. Aus den Forschungsfragen lassen sich Anforderungen an einen solchen Testansatz formulieren, die dann im technischen Realisierungsteil dieser Dissertation beantwortet werden. Anders als in den bisherigen MBTAnsätzen aus der Domäne der eingebetteten Systeme wird als Modellierungsnotation nicht auf UML, sondern auf Business Process Modeling Notation (BPMN) gesetzt. Basierend darauf wird anhand eines Fallbeispiels mit einem betriebswirtschaftlichen Debitorenprozess (IT-gestützter Zahlungsabwicklungsprozess) aus dem Business-to-Business (B2B) gezeigt, wie ein MBT-Ansatz einen Beitrag dazu leisten kann, sowohl die Testabdeckung als auch die Testqualität von verteilten BIS nachhaltig zu verbessern. Dazu werden im Rahmen dieser Dissertation Testwerkzeuge der Firmen Seppmed GmbH und der MID GmbH evaluiert und auf ihre Praxistauglichkeit untersucht. Dabei soll im Speziellen untersucht werden, inwiefern diese Werkzeuge in Kombination mit Testwerkzeugen die Anforderungen dieser Dissertation erfüllen. Für die Modellierung der Testfälle in BPMN ist es notwendig, die BPMN-Spezifikation um Testspezifika zu erweitern. Die so gewonnenen manuellen Testfälle werden durch eine spezielle Adaptierung, welche im Rahmen dieser Dissertation entwickelt wurde, in fertig automatisierte und ausführbereite Testskripte überführt. So entsteht eine Methode, welche es ermöglicht, Geschäftsprozesse, die verteilt über mehrere verschiedene Softwaresysteme abgewickelt werden, End-to-End zu testen. Da die Notwendigkeit und die Motivation dieser Dissertation aus der Praxis entstanden, wird die entwickelte Methode dementsprechend unter Praxisbedingungen erprobt und evaluiert. Dabei konnte festgestellt werden, dass sowohl die Testabdeckung (Prozessabdeckung) als auch die Testqualität am Fallbeispiel erhöht werden konnten und gleichzeitig eine Testzeitersparnis von ca. 50% erreicht wurde