Systematic Testing of Embedded Automotive Software - The Classification-Tree Method for Embedded Systems (CTM/ES)

The software embedded in automotive control systems increasingly determines the functionality and properties of present-day motor vehicles. The development and test process of the systems and the software embedded becomes the limiting factor. While these challenges, on the development side, are met by employing model-based specification, design, and implementation techniques [KCF+04], satisfactory solutions on the testing side are slow in arriving. With regard to the systematic selection (test design) and the description of test scenarios especially, there is a lot of room for improvement. Thus, a main goal is to effectively minimize these deficits by creating an efficient procedure for the selection and description of test scenarios for embedded automotive software and its integration in the model-based development process. The realization of this idea involves the combination of a classical software testing procedure with a technology, prevalent in the automotive industry, which is used for the description of time-dependent stimuli signals. The result of this combination is the classification-tree method for embedded systems, CTM/ES [Con04]. The classification-tree method for embedded systems complements model-based development by employing a novel approach to the systematic selection and description of the test scenarios for the software embedded in the control systems. CTM/ES allows for the graphic representation of time-variable test scenarios on different levels of abstraction: A problem-oriented, compact representation, adequate for a human tester and containing a high potential for reusability, is gradually being transformed into a solution-oriented technical representation which is suited for the test objects\u27 stimulation. The CTM/ES notation facilitates a consistent representation of test scenarios which may result from different test design techniques. The test design technique which this method is primarily based on, is a data-oriented partitioning of the input domain in equivalence classes. Secondary test design techniques are, for instance, the testing of specific values (or value courses) or requirement-based testing. A domain-specific application pragmatics in the form of agendas supports the methodical execution of individual test activities and the interaction of different test design techniques. The methodology description leads up to an effective test strategy for model-based testing, combining the classification-tree method for embedded systems with structural testing on the model level, and accommodating the different forms of representation of the test object during model-based development. Systems which have been developed in a model-based way can be tested systematically and efficiently by means of the CTM/ES and the tools based thereon, such as the classification-tree editor for embedded systems CTE/ES [CTE/ES], as well as the model-based test environment MTest [LBE+04, MTest]

Automation of testing for automotive embedded systems

През последните 15 години софтуерът се използва все повече в продукти, които традиционно са предмет на разбработване от механиката и електроинженерството. Това важи особено за автомобилната индустрия, където голяма част от нововъведенията са базирани на електроника и софтуер. Автомобилната индустрия е изправена пред намирането на оптимален баланс между време и разходи за производство, както и пред осигуряването на необходимите качество, надеждност и сигурност. Кратките срокове за разработване водят и до ограничаване на времето за тестване. Поради критичността на вградените автомобилни системи, е необходимо те да се тестват в реална обстановка, при продължителна работа и да се цели доколкото е възможно по-голямо покритие на описаните клиентски изисквания. Дипломната работа изследва приложимостта на конкретен метод за функционално (black-box) тестване – метод на класификационните дървета (МКД) – в областта на автомобилната индустрия. Направена е класификация на видовете тестове спрямо три критерия: готовността на софтуерното решение функционалните и технически изисквания към системата дали се извършва изпълнение на тестовия обект Разгледани са някои от най-известните и утвърдени класически техники за оптимизация на тестови сценарии като структурно тестване, тестване с мутации, тестване с гранични стойности, тестване с произволни данни, таблици на решенията, тестване с разделяне на категории и други. Представени са два съвременни, взаимствани от изкуствения интелект, метода – еволюционно тестване и метод на класификационните дървета. Специално внимание е отделено на разширението на МКД за вградени системи (МКД/ВС), което е разбработено от водещата автомобилна компания Daimler Chrysler AG. Описани са отделните му етапи при дефинирането на тестови сценарии и са изтъкнати основните му предимства, които са: графично описание на тестовите сценарии, което прави дизайна на сценариите лесен за възприемане, поддръжка и многократно използване задълбочена проверка на спецификацията за възможни пропуски, неточности и противоречия възможност за пресмятане на минималния и максималния брой от тестови стъпки, нужни за покриването на дадено класификационно дърво като по този начин на много ранен етап от разработването на продукта може да се оцени необходимото време за изпълняване на тестовете възможност за използване на МКД като универсално средство за описание на всички сценарии, които възникват като част от тестването на софтуер за вградени автомобилни системи предоставя средства за описание на тестови сценарии, които са зависими от времето възможност за лесно комбиниране с тестване на времевите ограничения чрез използването на еволюционни алгоритми Като база за изследване на приложимостта на МКД за тестване на вградени автомобилни системи служи текущият подход, използван в компания от автомобилната индустрия. При този подход се използва предимно субективното мнение на тестера и качеството на дефинираните сценарии зависи от знанията и опита му в предметната област (интуитивно тестване), както и тестване с произволни стойности. С цел сравнение на двата подхода, в дипломната работа са дефинирани четири критерия за оценка: ефективност - способността на сценариите да покриват описаните изисквания с оптимален брой стъпки ефикасност - определените тестови сценарии обхващат по-голям брой действителни (реални) ситуации, което увеличава възможността за откриване на дефекти сложност - усилията, които се полагат, за идентифициране на необходимите тестови сценарии възможност за документиране Тестовите сценарии за модул от съществуващ проект са реализирани по МКД и резултатите са сравнени с получените от използването на текущия подход. Сравнението между подходите показва, че МКД изисква повече усилия за дефиниране на тестовите сценарии от текущия подход, но за сметка на това дава по-голяма сигурност за покритие на клиентските изисквания, по-голяма вероятност за откриване на дефекти и улеснява модифицирането на тестовете. Като следствие от направеното сравнение могат да се дефинират следните препоръки за подобрение на съществуващия тестов процес: във времето отделено за създаване и модифициране на тестовите сценарии да се планира време за техния дизайн. при подбора на тестовите стъпки да се използва систематичен подход, който може да се съчетава с различни методи за тестване. дизайнът на тестовите сценарии да се документира и съхранява в системата за управление на конфигурациите. да се планират прегледи на направения дизайн на тестовите сценарии и да се планира време за оптимизация на дефинираните сценарии да се използва инструмент (tool), който на базата на направения дизайн, генерира основната част („скелета”) на необходимия за изпълнение на стъпките код. Така повече време ще се отделя на подбора на тестови стъпки, а не на тяхната конкретна реализацияТема : Автоматизация на тестването за вградени (embedded) системи в автомобилната промишленост Дипломант: Антония Гюрова Лаврова Факултетен номер: M21510 Научен ръководител: доц. Силвия Илиева Консултант: Илина Манова Дата: 18 Октомври 200

A Systematic Approach to the Test of Combined HW/SW Systems

Abstract-Today we can identify a big gap between requirement specification and the generation of test environments. This article extends the Classification Tree Method for Embedded Systems (CTM/ES) to fill this gap by new concepts for the precise specification of stimuli for operational ranges of continuous control systems. It introduces novel means for continuous acceptance criteria definition and for functional coverage definition

Search based algorithms for test sequence generation in functional testing

Information and Software Technology (DOI: 10.1016/j.infsof.2014.07.014)The generation of dynamic test sequences from a formal specification, complementing traditional testing methods in order to find errors in the source code. Objective In this paper we extend one specific combinatorial test approach, the Classification Tree Method (CTM), with transition information to generate test sequences. Although we use CTM, this extension is also possible for any combinatorial testing method. Method The generation of minimal test sequences that fulfill the demanded coverage criteria is an NP-hard problem. Therefore, search-based approaches are required to find such (near) optimal test sequences. Results The experimental analysis compares the search-based technique with a greedy algorithm on a set of 12 hierarchical concurrent models of programs extracted from the literature. Our proposed search-based approaches (GTSG and ACOts) are able to generate test sequences by finding the shortest valid path to achieve full class (state) and transition coverage. Conclusion The extended classification tree is useful for generating of test sequences. Moreover, the experimental analysis reveals that our search-based approaches are better than the greedy deterministic approach, especially in the most complex instances. All presented algorithms are actually integrated into a professional tool for functional testing.Spanish Ministry of Economy and Competitiveness and FEDER under contract TIN2011-28194 and fellowship BES-2012-055967. Project 8.06/5.47.4142 in collaboration with the VSB-Tech. Univ. of Ostrava, Universidad de Málaga, Andalucía Tech. and EU Grant ICT-257574 (FITTEST project)

Políticas de Copyright de Publicações Científicas em Repositórios Institucionais: O Caso do INESC TEC

A progressiva transformação das práticas científicas, impulsionada pelo desenvolvimento das novas Tecnologias de Informação e Comunicação (TIC), têm possibilitado aumentar o acesso à informação, caminhando gradualmente para uma abertura do ciclo de pesquisa. Isto permitirá resolver a longo prazo uma adversidade que se tem colocado aos investigadores, que passa pela existência de barreiras que limitam as condições de acesso, sejam estas geográficas ou financeiras. Apesar da produção científica ser dominada, maioritariamente, por grandes editoras comerciais, estando sujeita às regras por estas impostas, o Movimento do Acesso Aberto cuja primeira declaração pública, a Declaração de Budapeste (BOAI), é de 2002, vem propor alterações significativas que beneficiam os autores e os leitores. Este Movimento vem a ganhar importância em Portugal desde 2003, com a constituição do primeiro repositório institucional a nível nacional. Os repositórios institucionais surgiram como uma ferramenta de divulgação da produção científica de uma instituição, com o intuito de permitir abrir aos resultados da investigação, quer antes da publicação e do próprio processo de arbitragem (preprint), quer depois (postprint), e, consequentemente, aumentar a visibilidade do trabalho desenvolvido por um investigador e a respetiva instituição. O estudo apresentado, que passou por uma análise das políticas de copyright das publicações científicas mais relevantes do INESC TEC, permitiu não só perceber que as editoras adotam cada vez mais políticas que possibilitam o auto-arquivo das publicações em repositórios institucionais, como também que existe todo um trabalho de sensibilização a percorrer, não só para os investigadores, como para a instituição e toda a sociedade. A produção de um conjunto de recomendações, que passam pela implementação de uma política institucional que incentive o auto-arquivo das publicações desenvolvidas no âmbito institucional no repositório, serve como mote para uma maior valorização da produção científica do INESC TEC.The progressive transformation of scientific practices, driven by the development of new Information and Communication Technologies (ICT), which made it possible to increase access to information, gradually moving towards an opening of the research cycle. This opening makes it possible to resolve, in the long term, the adversity that has been placed on researchers, which involves the existence of barriers that limit access conditions, whether geographical or financial. Although large commercial publishers predominantly dominate scientific production and subject it to the rules imposed by them, the Open Access movement whose first public declaration, the Budapest Declaration (BOAI), was in 2002, proposes significant changes that benefit the authors and the readers. This Movement has gained importance in Portugal since 2003, with the constitution of the first institutional repository at the national level. Institutional repositories have emerged as a tool for disseminating the scientific production of an institution to open the results of the research, both before publication and the preprint process and postprint, increase the visibility of work done by an investigator and his or her institution. The present study, which underwent an analysis of the copyright policies of INESC TEC most relevant scientific publications, allowed not only to realize that publishers are increasingly adopting policies that make it possible to self-archive publications in institutional repositories, all the work of raising awareness, not only for researchers but also for the institution and the whole society. The production of a set of recommendations, which go through the implementation of an institutional policy that encourages the self-archiving of the publications developed in the institutional scope in the repository, serves as a motto for a greater appreciation of the scientific production of INESC TEC

Optimization Techniques for Automated Software Test Data Generation

Esta tesis propone una variedad de contribuciones al campo de pruebas evolutivas. Hemos abarcados un amplio rango de aspectos relativos a las pruebas de programas: código fuente procedimental y orientado a objetos, paradigmas estructural y funcional, problemas mono-objetivo y multi-objetivo, casos de prueba aislados y secuencias de pruebas, y trabajos teóricos y experimentales. En relación a los análisis llevados a cabo, hemos puesto énfasis en el análisis estadístico de los resultados para evaluar la significancia práctica de los resultados. En resumen, las principales contribuciones de la tesis son: Definición de una nueva medida de distancia para el operador instanceof en programas orientados a objetos: En este trabajo nos hemos centrado en un aspecto relacionado con el software orientado a objetos, la herencia, para proponer algunos enfoques que pueden ayudar a guiar la búsqueda de datos de prueba en el contexto de las pruebas evolutivas. En particular, hemos propuesto una medida de distancia para computar la distancia de ramas en presencia del operador instanceof en programas Java. También hemos propuesto dos operadores de mutación que modifican las soluciones candidatas basadas en la medida de distancia definida. Definición de una nueva medida de complejidad llamada ``Branch Coverage Expectation'': En este trabajo nos enfrentamos a la complejidad de pruebas desde un punto de vista original: un programa es más complejo si es más difícil de probar de forma automática. Consecuentemente, definimos la ``Branch Coverage Expectation'' para proporcionar conocimiento sobre la dificultad de probar programas. La fundación de esta medida se basa en el modelo de Markov del programa. El modelo de Markov proporciona fundamentos teóricos. El análisis de esta medida indica que está más correlacionada con la cobertura de rama que las otras medidas de código estáticas. Esto significa que esto es un buen modo de estimar la dificultad de probar un programa. Predicción teórica del número de casos de prueba necesarios para cubrir un porcentaje concreto de un programa: Nuestro modelo de Markov del programa puede ser usado para proporcionar una estimación del número de casos de prueba necesarios para cubrir un porcentaje concreto del programa. Hemos comparado nuestra predicción teórica con la media de las ejecuciones reales de un generador de datos de prueba. Este modelo puede ayudar a predecir la evolución de la fase de pruebas, la cual consecuentemente puede ahorrar tiempo y coste del proyecto completo. Esta predicción teórica podría ser también muy útil para determinar el porcentaje del programa cubierto dados un número de casos de prueba. Propuesta de enfoques para resolver el problema de generación de datos de prueba multi-objetivo: En ese capítulo estudiamos el problema de la generación multi-objetivo con el fin de analizar el rendimiento de un enfoque directo multi-objetivo frente a la aplicación de un algoritmo mono-objetivo seguido de una selección de casos de prueba. Hemos evaluado cuatro algoritmos multi-objetivo (MOCell, NSGA-II, SPEA2, y PAES) y dos algoritmos mono-objetivo (GA y ES), y dos algoritmos aleatorios. En términos de convergencia hacía el frente de Pareto óptimo, GA y MOCell han sido los mejores resolutores en nuestra comparación. Queremos destacar que el enfoque mono-objetivo, donde se ataca cada rama por separado, es más efectivo cuando el programa tiene un grado de anidamiento alto. Comparativa de diferentes estrategias de priorización en líneas de productos y árboles de clasificación: En el contexto de pruebas funcionales hemos tratado el tema de la priorización de casos de prueba con dos representaciones diferentes, modelos de características que representan líneas de productos software y árboles de clasificación. Hemos comparado cinco enfoques relativos al método de clasificación con árboles y dos relativos a líneas de productos, cuatro de ellos propuestos por nosotros. Los resultados nos indican que las propuestas para ambas representaciones basadas en un algoritmo genético son mejores que el resto en la mayoría de escenarios experimentales, es la mejor opción cuando tenemos restricciones de tiempo o coste. Definición de la extensión del método de clasificación con árbol para la generación de secuencias de pruebas: Hemos definido formalmente esta extensión para la generación de secuencias de pruebas que puede ser útil para la industria y para la comunidad investigadora. Sus beneficios son claros ya que indudablemente el coste de situar el artefacto bajo pruebas en el siguiente estado no es necesario, a la vez que reducimos significativamente el tamaño de la secuencia utilizando técnicas metaheurísticas. Particularmente nuestra propuesta basada en colonias de hormigas es el mejor algoritmo de la comparativa, siendo el único algoritmo que alcanza la cobertura máxima para todos los modelos y tipos de cobertura. Exploración del efecto de diferentes estrategias de seeding en el cálculo de frentes de Pareto óptimos en líneas de productos: Estudiamos el comportamiento de algoritmos clásicos multi-objetivo evolutivos aplicados a las pruebas por pares de líneas de productos. El grupo de algoritmos fue seleccionado para cubrir una amplia y diversa gama de técnicas. Nuestra evaluación indica claramente que las estrategias de seeding ayudan al proceso de búsqueda de forma determinante. Cuanta más información se disponga para crear esta población inicial, mejores serán los resultados obtenidos. Además, gracias al uso de técnicas multi-objetivo podemos proporcionar un conjunto de pruebas adecuado mayor o menor, en resumen, que mejor se adapte a sus restricciones económicas o tecnológicas. Propuesta de técnica exacta para la computación del frente de Pareto óptimo en líneas de productos software: Hemos propuesto un enfoque exacto para este cálculo en el caso multi-objetivo con cobertura paiwise. Definimos un programa lineal 0-1 y un algoritmo basado en resolutores SAT para obtener el frente de Pareto verdadero. La evaluación de los resultados nos indica que, a pesar de ser un fantástico método para el cálculo de soluciones óptimas, tiene el inconveniente de la escalabilidad, ya que para modelos grandes el tiempo de ejecución sube considerablemente. Tras realizar un estudio de correlaciones, confirmamos nuestras sospechas, existe una alta correlación entre el tiempo de ejecución y el número de productos denotado por el modelo de características del programa

An investigation into the treatment of uncertainty and risk in roadmapping: a framework and a practical process

This thesis investigates roadmapping in the context of its application to strategic early-stage innovation planning. It is concerned with providing an understanding of how uncertainty and risk are manifested in roadmapping in this application, and with developing and testing a roadmapping process that supports appropriate treatment of uncertainty and risk. Roadmapping is an approach to early-stage innovation planning, which is strategic in nature. It is seeing increasing application in practice and receiving growing attention in management literature. There has, however, been a noticeable lack of attention to uncertainty and risk in roadmapping theory and practice (and generally in strategic planning and at innovation’s early-stages). This is despite the awareness that uncertainty and risk are fundamental to strategy and innovation (i.e. application domains of roadmapping), and that roadmapping is meant to deliver, as part of its benefits, the identification, resolution and communication of uncertainties and risks. There is very limited theoretical or practical direction on what this entails. It is this gap that the research reported in thesis addresses. The research is divided into two phases. The first phase explains the manifestations and mechanisms of uncertainty and risk in roadmapping. It also introduces ‘risk-aware roadmapping’, a concept of roadmapping that includes a conscious and explicit effort to address uncertainty and risk, and points out what the process would entail in terms of necessary steps and procedures. The research here is designed using mixed methods (a combination of experience surveys, archival analysis, and case studies). The second phase provides a practical risk-aware roadmapping process. This practical process is developed based on the results of the first phase, and is designed according to procedural action research. This thesis contributes to the fields of roadmapping, early-stage innovation and organisational sensemaking. It is found that factors related to the content, process and nature of roadmapping interact to influence the perception and treatment of uncertainty and risk. Characteristics of organisational sensemaking as theorised by Weick (1995) are explored in the light of the findings and challenged. Aspects of early-stage innovation including the generation and selection of innovation ideas are explored in the context of uncertainty and risk and important paradoxes and constraints at innovation’s early-stages.This work was supported by Cambridge Commonwealth Trust, Nakazawa CATI Mexico, and Research and Development Management Associatio

Proceedings of Abstracts 12th International Conference on Air Quality Science and Application

© 2020 The Author(s). This an open access work distributed under the terms of the Creative Commons Attribution Licence (https://creativecommons.org/licenses/by/4.0/), which permits unrestricted reuse, distribution, and reproduction in any medium, provided the original work is properly cited.Final Published versio