3 research outputs found
A process model for quality in use evaluation on clinical decision support systems
Developing or purchasing software is an expensive investment and needs to be justified. Furthermore,
the software must be useful in its purpose, reliable, efficient and, among other
characteristics, meet the expectations of users [1, 2]. It would be no different in the case of
a clinical Decision Support System - CDSS.
CDSS are systems developed to support clinicians and other health professionals in a medical
decision making [3]. They are developed within a clinical context, following medical guidelines,
with varied purposes such as diagnoses [4, 5, 6] patient monitoring [7, 8, 9], prevention
[10] and disease treatment [11, 12]. Conversely, even with all the benefits offered by a CDSS,
its acceptance in the medical field is still a matter of debate [13, 14].
The CDSS acceptance is linked to the perception of the end user, such as 1) the system’s
ease of use and utility, 2) the quality of its results and its reliability [14], 3) the contextual
accessibility of the system, sometimes not included in the health professional’s routine and
workflow, and 4) the fact that numerous CDSSs are not integrated with existing systems [15].
One manner to extend the use and disseminate positive contributions of CDSSs to the medical
world is to develop them in a reliable and useful way. For this, one must follow the best
practices of software engineering (SE, acronym in English) [16] and be concerned with its
quality, both in the design and development process and in its effective use.
Evaluating the quality of the software is to measure its characteristics and sub-characteristics
of quality. In order to better structure the assessment, a series of international standards,
with models and frameworks, were developed for assisting software developers in assessing the
quality of software products. The latest series is the ISO/IEC 25000 - System and Software
Quality Requirements and Evaluation (SQuaRE) [17].
Two of the SQuaRE divisions are addressed in this thesis: 1) Division of quality models standard
(ISO/IEC 25010) [18], and 2) Quality measurement division standard (ISO/IEC 25022)
[19]. The ISO/IEC 25010 are divided in product quality model and the quality model in use.
Quality in use (QiU), a model of ISO/IEC 25010, is the focus of this study, through its
evaluation in the context of a CDSS. The quality in use model refers to the quality of the software
when executed, mentioning the result of the interaction between users and the software
system/product in a specific context. This model consists of five quality characteristics:
• Effectiveness - means the level of precision and completeness with which users achieve
their specific goals when using the system; • Efficiency - refers to the resources spent to achieve the goals and its measure is related
to the level of effectiveness achieved with the consumed resources;
• Satisfaction - refers to whether user requirements are satisfied in a particular context
of system use;
• Freedom from risk - refers to the degree to which the quality of a system reduces or
avoids potential risks to human life, the economic situation, and health of the environment;
• Context coverage - deals with the use of the system in all specific contexts and/or in
contexts that extend beyond the initially identified contexts. Context completeness and
flexibility are the sub-characteristics that represent context coverage.
Thus, when measuring the quality of a CDSS, we must consider both the context of use and
the choice of the characteristic and sub-characteristic that best suits the purpose of the measurement
[20]. The QiU model provides a powerful contribution to the practice of evaluating
a system and determining its quality.
According to Harrison et al. [21], Effectiveness, Efficiency and Satisfaction are considered the
key criteria to reflect the quality of use. Therefore, these QiU characteristics meet the needs
and expectations of the users of the systems, in our case of CDSSs, as they consider the user
experience.
As a contribution, we proposed a process model to evaluate two QiU characteristics in a
CDSS: satisfaction and efficiency. We believe these characteristics are important in the
evaluation of a CDSS because, due to its links with the user experience and the usability
of the system, when measured, can corroborate the quality of the CDSS and mitigate the
non-use and non-acceptance of this type of software. Other contributions from our work are
1) in the academic context, a significant study in the area of software quality, focusing
on its characteristics, especially on the quality in use. A guideline for collecting and
measuring these characteristics was built into our process model;
2) in the area of software development, professionals can make use of a simple and adaptable
process, applicable to other types of systems, to measure the quality-in-use characteristics
of their products.Desenvolver ou adquirir software é um investimento caro e precisa ser justificado. Além de
útil, o sistema deve ser confiável, eficiente e, entre outras características, atender às expectativas
dos usuários [1, 2].
Não seria diferente no caso de um sistema de apoio à decisão clínica (CDSS, acrônimo em
inglês), sistemas desenvolvidos para apoiar médicos e outros profissionais de saúde na tomada
de uma decisão médica [3].
CDSSs são elaborados dentro de um contexto clínico, seguindo guidelines com propósitos
variados, sejam para diagnósticos [4, 5, 6], acompanhamento do paciente [7, 8, 9], na prevenção
[10] e tratamento de doenças [11, 12].
No entanto, apesar de todo os benefícios oferecidos por um CDSS, sua aceitação na área
médica ainda é motivo de debate [13, 14]. Essa aceitação está ligada à percepção do usuário
final, como
1) a facilidade de uso e utilidade do sistema;
2) a qualidade dos resultados produzidos e sua confiabilidade [14];
3) a acessibilidade contextual do sistema, muitas vezes não incluída na rotina e no fluxo
de trabalho do profissional de saúde, e
4) o fato de muitos CDSSs não estarem integrados aos sistemas existentes [15].
Uma forma de estender o uso de CDSSs e disseminar suas contribuições positivas entre os
profissionais de saúde é garantir a confiabilidade de seus resultados e a satisfação do usuáriofinal.
Para tal deve-se seguir as melhores práticas da engenharia de software (SE, acrônimo
em inglês) em sua concepção [16]. Isso implica em preocupar-se com a qualidade do sistema
tanto no processo do projeto e desenvolvimento quanto em sua efetiva utilização.
Uma forma de certificar se um software obedece a essa premissa é realizando avaliações de
qualidade. Avaliar a qualidade do software é medir suas características e subcaracterísticas
de qualidade.
Para uma melhor estruturação desta medição foram desenvolvidos séries de padrões internacionais
como guidelines de avaliação de qualidade de produtos de software. A série mais
recente trata-se da ISO/IEC 25000 System and Software Quality Requirements and Evaluation
(SQUARE) [17]. Dois padrões desta série foram abordadas nesta tese, sendo 1) o
modelos de qualidade de software e sistemas (ISO/IEC 25010) [18], no qual trabalhamos
especificamente com o modelo de qualidade em uso, e 2) o padrão de medição da qualidade
em uso (ISO/IEC 25022) [19]. Qualidade em uso é o foco desta tese, através de sua avaliação no contexto de utilização
de um CDSS.
O Modelo de qualidade em uso trata da qualidade do software quando em execução, referindose
ao resultado da interação dos usuários e o software em um cenário específico.
Este modelo é composto de cinco características de qualidade:
• Eficácia (ou efetividade) - esta característica representa o nível de precisão e completude
com que os usuários alcançam os objetivos específicos, durante a utilização do sistema
ou produto de software;
• Eficiência - sua medição representa o nível de eficácia alcançada em relação aos recursos
consumidos para o alcance das metas;
• Satisfação - trata do quanto as necessidades do usuário são satisfeitas dentro de um
determinado contexto de uso do sistema ou produto de software. Esta característica é
composta pelas subcaracterísticas Utilidade, Confiança, Prazer e Conforto do usuário
em relação ao sistema;
• Livre de risco - trata do grau em que a qualidade de um sistema ou produto permite
mitigar ou evitar riscos potenciais à vida humana, à situação econômica, à saúde ou ao
meio ambiente, sendo estas suas três subcaracterísticas;
• Cobertura de contexto - trata do uso do sistema em todos os contextos específicos e/ou
em contextos além dos inicialmente identificados, sendo composta pelas subcaracterísticas
completude de contexto e flexibilidade do sistema.
Assim, para se medir a qualidade de um CDSS deve-se considerar tanto o contexto de utilização
quanto a escolha da característica e subcaracterística que melhor condizem ao propósito
da avaliação [20].
De acordo com Harrison et al. [21], Eficácia, Eficiência e Satisfação são considerados os
principais critérios a serem avaliados para refletir a qualidade de uso. Tais características de
qualidades em uso refletem o atendimento das necessidades e expectativas dos usuários dos sistemas,
em especial ao usuário primário ou final, uma vez que estão diretamente relacionadas
com a experiência do usuário. O modelo de qualidade em uso fornece uma contribuição
poderosa para a prática de avaliar um sistema e determinar sua qualidade.
Como contribuição, propusemos um modelo de processo para avaliação de qualidade em uso
de um CDSS através da medição, a priori, de duas características de qualidade - satisfação
e eficiência. Acreditamos que tais características são importantes na avaliação de um CDSS
devido estreita relação destas com a experiência do usuário-final e a usabilidade do sistema.
Assim, quando mensuradas, tais características podem corroborar com a qualidade do CDSS
e mitigar a não utilização e não aceitação desse tipo de software. Nosso modelo proposto é definido por cinco (5) fases, a saber: 1) Identificação de cenário e
contexto de uso do sistema, 2) seleção das medidas, métricas e métodos para mensurar as
características, 3) a medição da qualidade, 4) a análise dos valores encontrados na medição
e 5) a apresentação dos resultados obtidos.
O resultado da aplicação do modelo de processo traduz-se em um conjunto de informações
que nortearão um melhoramento do software, caso a medição das características fique abaixo
de um padrão pré-definido pelos atores envolvidos no processo de medição do sistema.
Por outro lado, se a medição for positiva, isso vem ratificar a qualidade do sistema e ações
poderão ser tomadas para disseminar esse bom resultado, buscando a adesão de mais utilizadores.
Como forma de validação do modelo proposto, após sua utilização para identificação de
cenários e contexto-de-uso possíveis de serem mensurados, foi apresentado um CDSS da área
oncológica a profissionais de saúde, estudantes de medicina e profissionais da área de qualidade
de software que, ao final de sua utilização, responderam a um inquérito com o objetivo
de avaliar o sistema.
A aplicação se deu de forma online, dado a necessidade de mantermos o distanciamento social
e o de cumprirmos as orientações sanitárias.
As respostas serviram como fonte de dados para a medição das características de qualidadeem-
uso do sistema.
Os resultados da aplicação revelou que nosso modelo de processo de avaliação é válido, relevante
e de fácil utilização para identificar as características importantes em um sistema, bem
como suas medições por meio das funções matemáticas do modelo ISO/IEC 25022.
Outras contribuições do nosso trabalho, temos
1) no âmbito acadêmico, um estudo significativo na área de qualidade de software, com
foco em suas características, especialmente na qualidade em uso. Uma guideline para a
coleta e mensuração dessas características foi construída em nosso modelo de processo;
2) na área de desenvolvimento de software, os profissionais podem contar com um processo
simples e adaptável, aplicável a outros tipos de sistema, para mensuração da qualidade
em uso de seus produtos.The research has been partially funded by the FCT/MCTES through national funds, and
when applicable, co-funded EU funds under the project UIDB/EEA/50008/2020 and Operação
Centro 01-0145-FEDER-000019 – C4 – Centro de Competências em Cloud Computing,
co-financed by the Programa Operacional Regional do Centro (CENTRO 2020), through
the Sistema de Apoio à Investigação Científica e Tecnológica – Programas Integrados de
IC&DT. I would also like to acknowledge the contribution of the COST Action IC1303:
AAPELE—Archi- tectures, Algorithms and Protocols for Enhanced Living Environments
and COST Action CA16226; SHELD-ON—Indoor living space improvement: Smart Habitat
for the Elderly, supported by COST (European Cooperation in Science and Technology)
Uma ferramenta visual para acompanhamento de fluxo de documentos
The control of the documents flow was always a target of general interest, be for information s management that it represents or as results to stakeholders. This paper presents the prototype of a visual tool for monitoring the flow of documents through the use of computational resources based on information visualization techniques. Thus, in order to present a differentiated metaphor from those already implemented in systems with such purposes, this prototype allows users to record and monitor any type of administrative event in a more intuitive, through interaction with graphical or manipulation of the information representation. So, visualization techniques are investigated to provide resources to do the perception and interaction of users with information easier. In this context, the manipulation refers to change the scenario of the documents´ flow by user demand.Mestre em CiênciasO controle do fluxo de documentação sempre foi alvo de interesse geral, seja para gerir as informações que o fluxo representa ou acompanhar os resultados pelas partes interessadas. Este trabalho apresenta o protótipo de uma ferramenta visual, para acompanhamento do fluxo de documentos através da utilização de recursos computacionais baseados em técnicas de visualização de informação. Assim, no sentido de apresentar uma metáfora diferenciada das trabalhadas em sistemas com tal finalidade, este protótipo busca permitir aos usuários o registro e acompanhamento de qualquer tipo de ocorrência administrativa de uma maneira mais intuitiva, através de interação com a interface gráfica e manipulação da representação das informações. Para tanto, são investigadas técnicas de visualização que forneçam aos usuários recursos que facilitam a percepção da informação e a interação com as mesmas. Neste contexto, a manipulação da interface se refere à alteração da visualização dos trâmites de documentos por demanda do usuário