Scientific Workflow Integration For Services Computing

In recent years, significant scientific advances are increasingly achieved through complex scientific processes. As the exponential growth in computing technologies and scientific data, a scientific workflow may comprise a large number of heterogeneous scientific services and applications, provided by different organizations. These services, applications, and their associated data are usually distributed across heterogeneous computing environments. The integration and management of such scientific workflows are pushing the limits of current workflow technology. This dissertation presents an integrated solution to composing, scheduling, executing and developing scientific workflows and scientific workflow management systems. To provide a foundation for workflow composition, scheduling, execution and management, we propose the first reference architecture for scientific workflow management systems. The reference architecture not only provides a high-level organization of subsystems and their interactions in a workflow system, but also provides a basis for comparison between different systems and a guidance for the architectural design of an SWFMS in a specific scientific domain. To integrate heterogeneous services and applications and enable them composed to workflows, we propose a task template model which not only provides an appropriate abstraction of heterogeneous services and applications, but also encapsulates the composition and mapping of shims and functional task components within a task interface. Our proposed task specification language (TSL) not only integrates heterogeneous services and applications into uniform workflow tasks, but also provides a solution to address both TYPE-I and TYPE-II shimming problems in composing scientific workflows. To schedule scientific workflows in emerging services computing environments, we propose two workflow scheduling algorithms, the SHEFT algorithm and the SCPOR algorithm, to prioritize tasks in a workflow, map tasks onto suitable resources and order the execution of tasks on the assigned resources, so that the workflow makespan can be minimized. Our extensive experiments have shown that our proposed algorithms not only outperform other algorithms for large-scale, data-intensive and compute intensive workflows, but also allow the assigned resources elastically change on demand of the size of workflows. To execute workflows on distributed computing environments, we propose a task run model to model the run-time behaviors of tasks. The proposed task run description language (TRDL) enables the execution of task instances constructed from heterogeneous services and applications. We also develop an SOA based task management subsystem to manage all task templates, task instances and task runs for the invocation and execution of various heterogeneous task components. Finally, our developed SOA based workflow management system, the VIEW system, and a VIEW based workflow application system, the FiberFlow system, validate our architectures, models, languages, and algorithms

Ingénierie et Architecture d’Entreprise et des Systèmes d’Information - Concepts, Fondements et Méthodes

L'ingénierie des systèmes d'information s'est longtemps cantonnée à la modélisation du produit (objet) qu'est le système d’information sans se préoccuper des processus d'usage de ce système. Dans un environnement de plus en plus évolutif, la modélisation du fonctionnement du système d’information au sein de l'entreprise me semble primordiale. Pendant les deux dernières décennies, les pratiques de management, d’ingénierie et d’opération ont subi des mutations profondes et multiformes. Nous devons tenir compte de ces mutations dans les recherches en ingénierie des systèmes d’information afin de produire des formalismes et des démarches méthodologiques qui sauront anticiper et satisfaire les nouveaux besoins, regroupés dans ce document sous quatre thèmes:1) Le système d’information est le lieu même où s’élabore la coordination des actes et des informations sans laquelle une entreprise (et toute organisation), dans la diversité des métiers et des compétences qu’elle met en œuvre, ne peut exister que dans la médiocrité. La compréhension des exigences de coopération dans toutes ses dimensions (communication, coordination, collaboration) et le support que l’informatique peut et doit y apporter deviennent donc un sujet digne d’intérêt pour les recherches en système d’information.2) Le paradigme de management des processus d’entreprise (BPM) est en forte opposition avec le développement traditionnel des systèmes d’information qui, pendant plusieurs décennies, a cristallisé la division verticale des activités des organisations et favorisé ainsi la construction d’îlots d’information et d’applications. Cependant, les approches traditionnelles de modélisation de processus ne sont pas à la hauteur des besoins d’ingénierie des processus dans ce contexte en constant changement, que ce dernier soit de nature contextuelle ou permanente. Nous avons donc besoin de formalismes (i) qui permettent non seulement de représenter les processus d’entreprise et leurs liens avec les composants logiciels du système existant ou à venir mais (ii) qui ont aussi l’aptitude à représenter la nature variable et/ou évolutive (donc parfois éminemment décisionnelle) de ces processus.3) Les systèmes d’information continuent aujourd’hui de supporter les besoins classiques tels que l’automatisation et la coordination de la chaîne de production, l’amélioration de la qualité des produits et/ou services offerts. Cependant un nouveau rôle leur est attribué. Il s’agit du potentiel offert par les systèmes d’information pour adopter un rôle de support au service de la stratégie de l’entreprise. Les technologies de l’information, de la communication et de la connaissance se sont ainsi positionnées comme une ressource stratégique, support de la transformation organisationnelle voire comme levier du changement. Les modèles d’entreprise peuvent représenter l’état actuel de l’organisation afin de comprendre, de disposer d’une représentation partagée, de mesurer les performances, et éventuellement d’identifier les dysfonctionnements. Ils permettent aussi de représenter un état futur souhaité afin de définir une cible vers laquelle avancer par la mise en œuvre des projets. L’entreprise étant en mouvement perpétuel, son évolution fait partie de ses multiples dimensions. Nous avons donc besoin de représenter, a minima, un état futur et le chemin de transformation à construire pour avancer vers cette cible. Cependant planifier/imaginer/se projeter vers une cible unique et, en supposant que l’on y arrive, croire qu’il puisse exister un seul chemin pour l’atteindre semble irréaliste. Nous devons donc proposer des formalismes qui permettront de spécifier des scenarii à la fois pour des cibles à atteindre et pour des chemins à parcourir. Nous devons aussi développer des démarches méthodologiques pour guider de manière systématique la construction de ces modèles d’entreprise et la rationalité sous-jacente.4) En moins de cinquante ans, le propos du système d’information a évolué et s’est complexifié. Aujourd’hui, le système d’information doit supporter non seulement les fonctions de support de manière isolée et en silos (1970-1990), et les activités appartenant à la chaîne de valeur [Porter, 1985] de l’entreprise (1980-2000) mais aussi les activités de contrôle, de pilotage, de planification stratégique ainsi que la cohérence et l’harmonie de l’ensemble des processus liés aux activités métier (2000-201x), en un mot les activités de management stratégique et de gouvernance d’entreprise. La gouvernance d'entreprise est l'ensemble des processus, réglementations, lois et institutions influant la manière dont l'entreprise est dirigée, administrée et contrôlée. Ces processus qui produisent des ‘décisions’ en guise de ‘produit’ ont autant besoin d’être instrumentalisés par les systèmes d’information que les processus de nature plus opérationnels de l’entreprise. De même, ces processus stratégiques (dits aussi ‘de développement’) nécessitent d’avoir recours à des formalismes de représentation qui sont très loin, en pouvoir d’expression, des notations largement adoptées ces dernières années pour la représentation des processus d’entreprise.Ainsi, il semble peu judicieux de vouloir (ou penser pouvoir) isoler, pendant sa construction, l’objet “système d’information” de son environnement d’exécution. Si le sens donné à l’information dépend de la personne qui la reçoit, ce sens ne peut être entièrement capturé dans le système technique. Il sera plutôt appréhendé comme une composante essentielle d’un système socio-technique incluant les usagers du système d’information technologisé, autrement dit, les acteurs agissant de l’entreprise. De mon point de vue, ce système socio-technique qui mérite l’intérêt scientifique de notre discipline est l’entreprise. Les recherches que j’ai réalisées, animées ou supervisées , et qui sont structurées en quatre thèmes dans ce document, visent à résoudre les problèmes liés aux contextes de l'usage (l'entreprise et son environnement) des systèmes d’information. Le point discriminant de ma recherche est l'intérêt que je porte à la capacité de représentation :(i) de l'évolutivité et de la flexibilité des processus d'entreprise en particulier de ceux supportés par un système logiciel, d’un point de vue microscopique (modèle d’un processus) et macroscopique (représentation et configuration d’un réseau de processus) : thème 2(ii) du système d’entreprise dans toutes ses dimensions (stratégie, organisation des processus, système d’information et changement) : thème 3Pour composer avec ces motivations, il fallait :(iii) s’intéresser à la nature même du travail coopératif et à l’intentionnalité des acteurs agissant afin d’identifier et/ou proposer des formalismes appropriés pour les décrire et les comprendre : thème 1(iv) se questionner aussi sur les processus de management dont le rôle est de surveiller, mesurer, piloter l’entreprise afin de leur apporter le soutien qu’ils méritent du système d’information : thème