Contributions of tester experience and a checklist guideline to the identification of categories and choices for software testing

An early step for most black-box testing methods is to identify a set of categories and choices (or their equivalents) from the specification. The identification is often performed in an ad hoc manner, thus the quality of categories and choices is in doubt. Poorly identified categories and choices will affect the comprehensiveness of test cases. In this paper, we describe several comparative studies using three commercial specifications and discuss the major results. The objectives of our studies are (a) to investigate the differences in the types and amounts of mistakes made between inexperienced and experienced software testers in an ad hoc identification approach and (b) to determine the extent of mistake reduction after discussing the mistakes with the software testers and providing them with an identification checklist. © 2010 The Author(s).published_or_final_versionSpringer Open Choice, 31 May 201

Incorporating International Collaboration and Usability Evaluation Into a Technical Communication Course

This chapter describes how globalization and rapid technological change are transforming technical communication both in academia and the corporate world. Products and technologies are used by a variety of user groups, and usability has become an important requirement. The transnational pedagogical collaboration, the Trans-Atlantic and Pacific Project, has taken up the gauntlet by providing students with a simulated professional environment and sharing insights into collaborative writing, translation, and usability evaluation. By reflecting on previous studies and the author´s experiences, this article explores issues relevant to teachers when incorporating international collaboration and usability evaluation into a technical communication course. It describes international student collaboration regarding usability practices and discusses the benefits and challenges of usability evaluation as part of international collaboration. It concludes by suggesting guidelines for teachers to facilitate international collaboration and usability evaluation in higher education setting.fi=vertaisarvioitu|en=peerReviewed

Mobile Web Accessibility Evaluation

Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2010This work presents an approach to mobile Web accessibility evaluation allowing for Web content accessibility and mobile adequacy assessment, regarding different selectable disability profiles. We propose an extension to existing methodologies in order to fully encompass a thorough integration of mobile and accessibility guidelines within specific impairments perspectives and a prototype that serves as a proof of concept tool for that methodology. The integrated guidelines include MWBP and WCAG recommendations. It is well known that these sets overlap. Some subsets of MWBP should always be considered regardless of the users’ special needs, other are relevant for specific disability types. We claim that when specific disabilities are addressed some MWBP might become irrelevant. We developed a proof of concept tool, MWAAT, which fully addressed the basic concepts of the proposed methodology. Its analysis, design and the most relevant implementation aspects are presented in this dissertation. Regarding the development perspective, MWAAT adopts a very flexible approach envisioning its future integration into the ACCESSIBLE project platform and its potential extension into other guideline sets and alternative scenarios. As other available tools, it offers mechanisms for WCAG assessment or MWBP evaluation in an independent manner. However, unlike any other, it permits the evaluation of Web content through an adequate combination of both guidelines sets, as a whole, or more importantly, for a specific disability. As such, it provides a powerful mechanism to Web content developers and most notably to consolidate the selective disability assessment approach. This dissertation illustrates these capabilities through representative case studies. The results herein shown reveal not only the assessment differences between desktop and mobile content, but also the difference between these at the impairment level.A World Wide Web oferece uma vasta quantidade de informação e serviços e o seu potencial para melhorar a vida das pessoas e elevar o seu padrão de vida é enorme. A disciplina de acessibilidade da Web procura permitir que as pessoas com deficiência possam utilizar a Web tal como todas as outras, sem barreiras de acesso aos seus conteúdos. Tornar os conteúdos Web acessíveis às pessoas com deficiência é parte integrante de sítios da Web de elevada qualidade, constitui uma oportunidade de mercado emergente e, num número crescente de casos, constitui uma exigência legal como por exemplo a resultante da Secção 508 nos E.U.A. Os dispositivos móveis são cada vez mais usados como terminais de acesso à Internet. No entanto, as características intrínsecas e as limitações destes dispositivos podem colocar obstáculos na interação com a Web. Convém ainda salientar que para além das questões específicas à interação através de dispositivos móveis, pessoas com deficiência também podem aceder à Web a partir desses dispositivos colocando-se então questões adicionais de acessibilidade. Muitos designers e técnicos que desenvolvem aplicações para a Web móvel não estão familiarizados com as peculiaridades destes dois mundos. Existem diferentes conjuntos de directrizes para o desenvolvimento de conteúdos Web e para o desenvolvimento de conteúdos adequados para dispositivos móveis. As recomendações Web Content Accessibility Guidelines (WCAG) por exemplo, definem conjuntos de regras para tornar os conteúdos Web acessíveis a pessoas com deficiência, enquanto que as recomendações das Mobile Web Best Practices (MWBP), definem regras para tornar os sítios Web mais adequados ao seu acesso a partir de dispositivos móveis. Felizmente existe uma sobreposição, embora parcial, entre elas. A evolução contínua em ambas as áreas, derivada quer da publicação de novas orientações de acessibilidade quer pela evolução e crescente diversidade de dispositivos móveis, dificulta o desenvolvimento de aplicação e conteúdos que sigam as diferentes directivas. Se tomarmos ainda em consideração diferentes tipos de deficiência e as respectivas limitações daí derivadas para a interacção, as dimensões do quebra-cabeça tornam-se ainda mais complexas. Na verdade, quem desenvolve pode ter que entrar em consideração com orientações de acessibilidade e orientações para o desenvolvimento em plataformas móveis, para além de ter que considerar utilizadores com diferentes tipos de deficiência das quais resultam diferentes potenciais barreiras de interação. Em suma, não constitui uma tarefa fácil. Para superar todos estes diferentes aspectos, quem desenvolve precisa de suporte durante o processo de desenvolvimento ao longo das várias etapas do ciclo de vida das aplicações. Existem várias ferramentas para a avaliação de acessibilidade de sítios Web ou para avaliação da sua adequação para serem acedidos partir de dispositivos móveis. Em geral, porém, elas suportam-se numa abordagem onde todas as orientações são testadas indiferentemente não tomando em consideração as especificidades relativas aos utilizadores, aos dispositivos de destino e aos conjuntos de restrições de mobilidade e acessibilidade relevantes daí resultantes. Mesmo que em trabalhos recentes se abordem algumas destas nuances, a verdade é que uma abordagem global onde se tome em consideração as especificidades relativas aos diferentes cenários resultantes de utilizadores com diferentes tipos de deficiência acedendo aos sítios Web através de diferentes tipos de dispositivos, nomeadamente dispositivos móveis, ainda não existe. No trabalho relacionado desta dissertação, introduzem-se os conceitos e principais questões relativas à acessibilidade dos conteúdos Web, para diferentes tipos de deficiência, e as características e requisitos específicos do seu acesso a partir de dispositivos móveis. Seguidamente apresentam-se as principais recomendações existentes no âmbito da acessibilidade e as principais recomendações existentes no domínio da adequação dos conteúdos Web para o acesso a partir de dispositivos móveis. Discutem-se também as ferramentas existentes e apresentam-se lacunas existentes. O trabalho relacionado termina apresentando o projecto ACCESSIBLE em cujo âmbito o trabalho desta tese foi efectuado e a metodologia de avaliação de acessibilidade, Accessible Harmonized Methodology (HAM), efectuada no âmbito do mesmo. Nesta dissertação apresenta-se uma abordagem para a avaliação de acessibilidade de conteúdos Web para dispositivos móveis. A abordagem permite a avaliação de acessibilidade e de adequação para acesso a partir de dispositivos móveis, de conteúdo Web, para diferentes perfis de deficiência seleccionáveis. Isto irá permitir a quem desenvolve conteúdos para a Web, aos designers e aos especialistas em avaliação, efectuar rapidamente avaliações especializadas tendo em consideração diferentes tipos de deficiência e diferentes contextos de entrega dos conteúdos. Neste trabalho apresentamos também a ferramenta desenvolvida para permitir avaliar a abordagem. Começa-se por analisar a introdução da dimensão móvel no processo de avaliação de acessibilidade sendo considerados diferentes perfis de deficiência nessa avaliação. A identificação do subconjunto de orientações relevante que deve ser aplicado a cada perfil é escrutinado, tendo em consideração as recomendações das MWBP, as recomendações das WCAG e a abordagem da HAM. Dessa análise do conjunto de diretrizes WCAG, e considerando o contexto em que se aplica, chega-se à conclusão de que os pontos de verificação de acessibilidade que são relevantes para um tipo de deficiência quando se usa um desktop não muda para um ambiente móvel. Em vez disso a sua relevância tende a ser reforçada pela relação referida entre as recomendações WCAG e WMBP. Em relação às MWBP, três subconjuntos de orientações devem ser consideradas, nomeadamente: - Orientações directamente relevantes para um ou mais tipos de deficiência; - Orientações relevantes para o acesso através de dispositivo móvel, independentemente das necessidades dos utilizadores especiais; - Orientações que se tornam irrelevantes para alguns tipos de deficiência no acesso a partir de dispositivos móveis O primeiro subconjunto, deriva da relação entre as orientações MWBP e WCAG. A correspondência entre as orientações MWBP e as limitações de interação dos diferentes tipos de deficiência podem ser diretamente derivados a partir de documentação da W3C. O significado desse subconjunto deve porém ser cuidadosamente avaliado. Em primeiro lugar, a relação entre as orientações das WCAG e das MWBP, nem sempre correspondem a uma equivalência completa ou mesmo a uma implicação. Isso significa que, na maioria das vezes, ambas devem ser avaliadas quer em termos de eventual falha de verificação de conformidade com a orientação, quer em termos das situações de alerta ou erro verificadas e das mensagens correspondentes. O facto de existir uma relação entre algumas das orientações, não exclui a necessidade de verificar as restantes orientações MWBP não relacionadas com as orientações WCAG. Há aspectos importantes para a adequação do conteúdo a ser acedido por um dispositivo móvel que não dizem directamente respeito a questões específicas de acessibilidade. As orientações quanto às características, tais como codificação de caracteres, content format preferred, formatos de conteúdo desejado, cookies, etc., não têm uma relação com um problema específico de acessibilidade, mas são essenciais para a interação de dispositivos móveis em geral. Considere-se, por exemplo, um tipo de deficiência visual e/ou um utilizador que, por regra, inibe o download de imagens no agente de navegação do seu dispositivo móvel. Aplicando testes relacionados com as orientação MWBP de conformidade de imagens (por exemplo, especificação explicita do tamanho de imagens) pode resultar em detecção de falhas irrelevantes para esse tipo de utilizador. Na verdade, não ter a especificação do tamanho da imagem não muda em nada a experiência deste tipo de utilizador uma vez que a imagem não será descarregada de qualquer forma. Tal como no exemplo anterior, outros casos devem ser tomadas em consideração para evitar resultados de avaliação que deem origem a falsos positivos. Assim, uma ferramenta ou uma metodologia de avaliação da acessibilidade de conteúdos para a Web móvel, que suporta diferentes tipos de deficiência, deve definitivamente fazer referência a estas orientações das quais resultam falsos positivos. Na melhor das hipóteses, eles devem ser tratados como casos particulares, provavelmente associados a baixo nível de severidade, ou simplesmente removido dos conjuntos de recomendações e testes relevantes para a deficiência específica. Após a apresentação da aproximação metodológica, nesta dissertação apresenta-se a especificação de requisitos da ferramenta MWAAT (Mobile Web Accessibility Assessment Tool), utilizando diagramas de casos de uso para a sua descrição. Apresentam-se ainda os diagramas de classes e os requisitos não-funcionais. São apresentadas as principais considerações de design da ferramenta WAAT. A arquitectura é descrita, sendo ainda apresentados os diagramas de interação dos casos de uso mais relevantes. Apresentam-se ainda os diagramas de classes do sistema. A nível da implementação são apontados os aspectos mais relevantes, tais como o ambiente em que foi desenvolvido e os aspectos mais relevantes de implementação dos principais módulos da arquitectura da ferramenta, nomeadamente o seu interface gráfico, o componente de selecção de cenários de utilização, o componente de manipulação e apresentação de resultados e o componente de avaliação considerando quer os mecanismos de acesso e manipulação dos recurso Web sejam eles URL ou ficheiros, quer os mecanismos de avaliação e os componentes de análises e testes implementados. Finalmente nesta dissertação são apresentados resultados referentes a um cenário de desenvolvimento de um conteúdo Web e três casos de estudo de avaliação de conteúdos Web existentes que ilustram a utilização e potencial da metodologia e da ferramenta MWAAT. No primeiro caso de estudo, a ferramenta MWAAT é utilizada para ajudar criar um conteúdo acessível para a Web móvel, a partir de um ficheiro HTML ainda não instalado num Web Server. Este exemplo serve principalmente para demostrar o uso da ferramenta. Nos outros três casos de estudo acedem-se a diferentes recursos disponíveis na Web, simulando o acesso a partir de dois contextos de acesso diferentes, o acesso a partir de um contexto desktop e o acesso a partir de um contexto móvel. As diferentes representações dos conteúdos Web acedidos, recebidas para os diferentes contextos de acesso foram avaliados segundo diferentes cenários de avaliação nomeadamente a avaliação de acessibilidade standard sem considerar nenhum tipo específico de deficiência e a avaliação de acessibilidade considerando tipos específicos de deficiência nomeadamente, deficiência visual, deficiência auditiva, daltonismos e deficiência motora. Foram ainda efectuados testes para avaliar a adequação de conteúdos para serem acedidos em dispositivos móveis, sendo testada a acessibilidade sem considerar nenhum tipo especifico de deficiência e a acessibilidade considerando os diferentes tipos de deficiência anteriormente referidos. Os resultados obtidos permitem concluir como válidos alguns pressupostos desta dissertação nomeadamente revela-se claro que para as deficiências específicas, os conteúdos têm muito menos problemas de acessibilidade do que quando se avalia o caso geral indiscriminado, uma vez que cada conjunto de orientações relevantes para cada deficiência é um subconjunto dos testes disponíveis. Uma análise mais profunda dos resultados da avaliação mostraram que mesmo quando os números são semelhantes entre os diferentes tipos de deficiência, os problemas reais levantados correspondem geralmente a diferentes orientações que não são observadas. Isto reforça a decisão de ter um conjunto de testes específicos para cada tipo de deficiência, uma vez que, por exemplo, para o caso deficientes auditivos alguns dos sítios Web avaliados são totalmente acessíveis. Olhando para a dimensão mobilidade, fica claro que a representação móvel apresenta um tamanho muito menor do que a representação padrão em todos os casos de estudo. Isso ocorre do facto de estes sítios Web terem uma representação específica para ser acedida a partir de contextos m´oveis, que geralmente oferece uma versão simplificada que é mais adequada. Em relação aos números absolutos, o ganho em termos de acessibilidade é enorme quando se compara a representação móvel com a representação padrão, tanto em termos de número de nós como em número de advertências e de erros. Olhando para as percentagens, o mesmo é verdade para a maioria dos casos de estudo. Em geral, a melhoria verificada na acessibilidade das representações móveis versus as representações padrão está em conformidade com o esperado. Em todos os casos de estudo as diferenças entre a avaliação de acessibilidade geral e a avaliação para deficiências específicas são visíveis. A presente dissertação termina sintetizando as conclusões derivadas dos resultados obtidos e expondo o trabalho futuro previsto, referente à extensão do conjunto de testes disponíveis, à evolução do interface com o utilizador, à evolução prevista para o manuseamento e apresentação de resultados, aos casos de experimentação e ao trabalho de investigação previsto para a refinação dos cenários de avaliação

EMPIRICAL CHARACTERIZATION OF SOFTWARE QUALITY

The research topic focuses on the characterization of software quality considering the main software elements such as people, process and product. Many attributes (size, language, testing techniques etc.) probably could have an effect on the quality of software. In this thesis we aim to understand the impact of attributes of three P’s (people, product, process) on the quality of software by empirical means. Software quality can be interpreted in many ways, such as customer satisfaction, stability and defects etc. In this thesis we adopt ‘defect density’ as a quality measure. Therefore the research focus on the empirical evidences of the impact of attributes of the three P’s on the software defect density. For this reason empirical research methods (systematic literature reviews, case studies, and interviews) are utilized to collect empirical evidence. Each of this research method helps to extract the empirical evidences of the object under study and for data analysis statistical methods are used. Considering the product attributes, we have studied the size, language, development mode, age, complexity, module structure, module dependency, and module quality and their impact on project quality. Considering the process attributes, we have studied the process maturity and structure, and their impact on the project quality. Considering the people attributes, we have studied the experience and capability, and their impact on the project quality. Moreover, in the process category, we have studied the impact of one testing approach called ‘exploratory testing’ and its impact on the quality of software. Exploratory testing is a widely used software-testing practice and means simultaneous learning, test design, and test execution. We have analyzed the exploratory testing weaknesses, and proposed a hybrid testing approach in an attempt to improve the quality. Concerning the product attributes, we found that there exist a significant difference of quality between open and close source projects, java and C projects, and large and small projects. Very small and defect free modules have impact on the software quality. Different complexity metrics have different impact on the software quality considering the size. Product complexity as defined in Table 53 has partial impact on the software quality. However software age and module dependencies are not factor to characterize the software quality. Concerning the people attributes, we found that platform experience, application experience and language and tool experience have significant impact on the software quality. Regarding the capability we found that programmer capability has partial impact on the software quality where as analyst capability has no impact on the software quality. Concerning process attributes we found that there is no difference of quality between the project developed under CMMI and those that are not developed under CMMI. Regarding the CMMI levels there is difference of software quality particularly between CMMI level 1 and CMMI level 3. Comparing different process types we found that hybrid projects are of better quality than waterfall projects. Process maturity defined by (SEI-CMM) has partial impact on the software quality. Concerning exploratory testing, we found that exploratory testing weaknesses induce the testing technical debt therefore a process is defined in conjunction with the scripted testing in an attempt to reduce the associated technical debt of exploratory testing. The findings are useful for both researchers and practitioners to evaluate their project

Empirical studies on exploratory software testing

Exploratory software testing (ET) is a practically relevant approach to software testing that lacks scientific knowledge. In ET, the tester's work is not based on predesigned and documented test cases. Instead, testing is guided by a higher-level plan or mission, and the testing work involves parallel test design, test execution, and learning. One of the distinct characteristics of ET is that the tester designs the tests during ET and uses information gained to design new and better tests continuously. The ET approach relies on testers' skills and experience. The main claimed benefits of ET are the tester's ability to apply personal knowledge and creativity during testing as well as effectiveness, efficiency, and agility in terms of adapting to changes and working with imperfect documentation. In this thesis, the ET approach has been studied using empirical research methods. Two case studies, one controlled experiment, and two field studies were performed to address three research goals: defining ET and understanding its applicability based on the literature; empirically investigating the benefits and shortcomings of ET; and providing empirically based results on how the ET approach is applied in practice. This research identifies different approaches to ET in industry and describes concrete testing practices. The role of the tester's personal knowledge is identified in the literature, and this research provides a detailed analysis of the application of personal knowledge in failure detection using ET. The main conclusions of this work are that ET can be as effective as test case-based approaches and even more efficient in certain contexts. The testers are capable of utilizing their personal knowledge in failure detection, and the role of personal knowledge is important in the ET approach. In addition, software testing in product organizations seems to involve multiple diverse organizational groups, and ET was found to be an applicable approach to engage domain experts in testing. The main implications of this thesis are introducing the exploratory testing approach to the research community and motivating its relevance by providing empirical studies in industry. In addition, the results of the effectiveness and efficiency of ET as well as the qualitative data on exploratory testing practices and the detailed analysis of knowledge in exploratory testing work are valuable for the research community. The main practical implications include presenting the benefits and applicability of the ET approach along with the potential shortcomings and providing empirical evidence regarding the benefits of ET

Development, validation, reliability and predictive capacity of neuro-motor recovery of the Acute Brain Injury Physiotherapy Assessment (ABIPA): A tool for physiotherapists during early management of people following Acquired Brain Injury (ABI).

In the acute stages following ABI, when people are functionally dependent, a specific scale for physiotherapists to monitor incremental changes in neuro-motor function is needed. This thesis represents the development of the acute brain injury physiotherapy assessment (ABIPA), an outcome measure to fill this gap. The first step in the development of the ABIPA was to identify items known to reflect acute neuro-motor impairments for inclusion in the measure and develop scoring criteria along with guidelines for the identified items (Study 1). The final items of the ABIPA were: upper limb and lower limb movement; overall muscle tone in each limb; head and trunk alignment in supine; head and trunk alignment in sitting; head and trunk control in sitting; and overall presentation. Once items were selected and scoring criteria established, the new outcome measure underwent psychometric testing. In Study 1 responsiveness and concurrent validity of the ABIPA were examined together with participants assessed at day 1, 3, 7 and at discharge through their acute hospital admission to capture clinical changes. Concurrent validity of the ABIPA was examined against other commonly used measures; specifically, the Glasgow Coma Scale (GCS), Clinical Outcomes Variable Scale (COVS) and Motor Assessment Scale (MAS). The ABIPA was found to be responsive to change demonstrating greater sensitivity to change (SRM = 0.83) when compared to other assessment measures (SRMs ≤ 0.77) during the early weeks following ABI. Additionally, the ABIPA demonstrated good concurrent validity with commonly used measures to assess acute brain injury, including the GCS (rho = 0.76, p ≤ 0.001, COVS (rho = 0.82, p ≤ 0.001) and MAS (rho = 0.66, p ≤ 0.001). Study 2 of this thesis investigated inter- and intra-tester reliability of physiotherapists using the ABIPA. An observational study using video-recorded ABIPA assessments of seven people with moderate or severe ABI was undertaken with two cohorts of physiotherapists; trained and untrained. Trained physiotherapists attended two one-hour training sessions; an initial instructional session and then a practice session. The untrained physiotherapists were provided with the ABIPA guidelines. Participating physiotherapists scored the video recorded package of ABIPA assessments with intra-tester reliability examined by repeat screenings of the video recorded assessments a minimum of two weeks after the initial session. A high level of inter-tester reliability (α ≥ 0.9) was demonstrated for both trained and untrained physiotherapists. Trained physiotherapists showed good to excellent internal consistency for total ABIPA score and for all individual items except for alignment of the trunk in supine (α = 0.4). Similarly, untrained physiotherapists showed good to excellent internal consistency on the total ABIPA score and all individual items except for alignment of the trunk in supine (α = 0.09) and alignment of the head in supine (α = 0.60). For intra-tester reliability, substantial or perfect agreement was achieved for eight items (Weighted kappa Kw ≥ 0.6), with moderate agreement reached for a further four items (Kw = 0.4 - 0.6), leaving three items (representing 20% of the scale) achieving fair agreement. Items with the lowest agreement were alignment of the head in supine (Kw = 0.289); alignment of the trunk in supine (Kw = 0.387) and tone left upper limb (Kw = 0.366). This was similar for both the trained and untrained physiotherapists. Study 3 of the thesis investigated the underlying factor structure of the ABIPA using an exploratory factor analysis with principal axis factor extraction and varimax rotation. A four-factor solution with a simple structure (factor loadings ≥.30) that explained 69.6% of total variance was suggested. Factor one (alignment and posture) accounted for 36.6% of the variance while factor two (tone) explained 15.8%, factor three (left side movement) explained 9.6% and factor four (right side movement) accounted for 7.5%. Two items were identified with the lowest loading with the four-factor solution, alignment of the head in supine loading to factor three at 0.358 and alignment of the trunk in supine loading to factor two at 0.405. The final study of this thesis examined the association of the ABIPA with long term recovery following ABI by evaluating ABIPA scores at acute hospital admission and ABIPA scores at admission to rehabilitation against: length of stay in the acute hospital setting, length of stay in rehabilitation, discharge destination and secondary measures including the GCS, Mental Status Questionnaire, COVS, Coma Recovery Scale-Revised (CRS-R), Functional Independence Measure (FIM), Disability Rating Scale (DRS) and Carer Strain Index (CSI). ABIPA at acute hospital admission and rehabilitation were inversely related to acute, rehabilitation and total hospital length of stay (rho ≥ -.508; p ≤ 0.044). ABIPA at acute hospital admission demonstrated moderate to good correlations with ABIPA, FIM (motor) and COVS (rho ≥ 0.563, p ≤ 0.023) at long term follow up. ABIPA scores at rehabilitation admission demonstrated moderate to good correlations with GCS and MSQ (rho ≥ 0.564, p ≤ 0.023) and excellent correlations with ABIPA, FIM (motor) and COVS (rho ≥ 0.799, p ≤ 0.001). Overall the ABIPA showed moderate to good relationships with length of stay and long-term neuro-motor recovery from severe ABI. This thesis demonstrates that a new outcome measure with strong psychometric properties has been developed for measurement of acute neuro-motor impairments following severe ABI. Further investigation is required to continue the development paradigm by removing outlying items, establishing a minimal clinically important difference and expanding participant numbers

Towards a systematic security evaluation of the automotive Bluetooth interface

In-cabin connectivity and its enabling technologies have increased dramatically in recent years. Security was not considered an essential property, a mind-set that has shifted significantly due to the appearance of demonstrated vulnerabilities in these connected vehicles. Connectivity allows the possibility that an external attacker may compromise the security - and therefore the safety - of the vehicle. Many exploits have already been demonstrated in literature. One of the most pervasive connective technologies is Bluetooth, a short-range wireless communication technology. Security issues with this technology are well-documented, albeit in other domains. A threat intelligence study was carried out to substantiate this motivation and finds that while the general trend is towards increasing (relative) security in automotive Bluetooth implementations, there is still significant technological lag when compared to more traditional computing systems. The main contribution of this thesis is a framework for the systematic security evaluation of the automotive Bluetooth interface from a black-box perspective (as technical specifications were loose or absent). Tests were performed through both the vehicle’s native connection and through Bluetoothenabled aftermarket devices attached to the vehicle. This framework is supported through the use of attack trees and principles as outlined in the Penetration Testing Execution Standard. Furthermore, a proof-of-concept tool was developed to implement this framework in a semi-automated manner, to carry out testing on real-world vehicles. The tool also allows for severity classification of the results acquired, as outlined in the SAE J3061 Cybersecurity Guidebook for Cyber-Physical Vehicle Systems. Results of the severity classification are validated through domain expert review. Finally, how formal methods could be integrated into the framework and tool to improve confidence and rigour, and to demonstrate how future iterations of design could be improved is also explored. In conclusion, there is a need for systematic security testing, based on the findings of the threat intelligence study. The systematic evaluation and the developed tool successfully found weaknesses in both the automotive Bluetooth interface and in the vehicle itself through Bluetooth-enabled aftermarket devices. Furthermore, the results of applying this framework provide a focus for counter-measure development and could be used as evidence in a security assurance case. The systematic evaluation framework also allows for formal methods to be introduced for added rigour and confidence. Demonstrations of how this might be performed (with case studies) were presented. Future recommendations include using this framework with more test vehicles and expanding on the existing attack trees that form the heart of the evaluation. Further work on the tool chain would also be desirable. This would enable further accuracy of any testing or modelling required, and would also take automation of the entire process further