Development and Content Validation of Scoresheet and User Manual to Assess the Quality of Health Apps

There has been a continuous growth of health application programs (apps) both in web-based and mobile platforms in recent years. However, there has been no instrument available to assess the degree of quality of these apps in Finland during the time this study has been initiated. The aim of this study was to develop an easy-to-use and practical scoresheet and user manual to assess the degree of quality of health apps as well as validate its contents using an expert panel. The design of the study adopted a two-stage process. The first stage entails designing the instrument in which the identification of conceptual framework, item generation and determining the structure of the instrument were performed. A comprehensive literature review was undertaken as well as the examination of applicable legislations, policies and guidelines pertaining to mHealth and digital health devices. The second stage entailed judgement wherein the scoresheet was tested for face validity with a small representative sample (n=6) of intended users and two rounds of content validation using an expert panel (n=19). The Content Validity Index (CVI) both in item and scale-levels were computed. The result of the study yielded a total of 34 content validated items categorized into five distinctive domains – Basic Details, Health Content, Technical Properties, User-orientation, Privacy and Safety. The CVIs on item-level for all items reached a favorable score of > 0,78 on the assertions of relevance and clarity. Whilst it garnered > 0,90 on scale level based on universal agreement and average. This study paved ways for the scoresheet and user manual to proceed with further psychometric measurement procedures such as reliability, feasibility and acceptability.Terveydenhuollon ei-lääkinnällisten sovellusten (apps) määrä on kasvanut jatkuvasti viime vuosina sekä verkko- että mobiilialustoilla. Tämän tutkimuksen aloittamisen aikana ei Suomessa kuitenkaan ollut saatavilla instrumenttia näiden sovellusten laadun arvioimiseksi. Tämän tutkimuksen tarkoituksena oli kehittää helppokäyttöinen ja käytännöllinen mittari ja käyttöopas terveyssovellusten laadun arvioimiseksi ja validoida sen sisältö asiantuntijapaneelin avulla. Tutkimus toteutettiin kaksivaiheisena. Ensimmäisessä vaiheessa kehitettiin mittari eli määritettiin teoreettinen viitekehys, ja muodostettiin sen perusteella mittarin osiot ja rakenne. Vaiheessa yksi toteutettiin kattava kirjallisuuskatsaus sekä koottiin yhteen terveyssovelluksia koskeva lainsäädäntö ja viralliset ohjeistukset. Tutkimuksen toisessa vaiheessa arvioitiin kehitetyn mittarin ilmivaliditeettia (face validity) tavoiteltua käyttäjäjoukkoa edustavalla tarkoituksenmukaisella otoksella (n=6). Sisältövaliditeetin (content validity) testaamiseen rekrytoitiin asiantuntijapaneeli (n=19) ja he toteuttivat mittarille kaksi validointikierrosta. Vastauksista laskettiin Content Validity Index (CVI) sekä osioiden että mittarin tasolla (item and scale levels). Tutkimuksen tuloksena syntyi 34 kohdan asiantuntijapaneelin validoima mittari terveyssovellusten laadun arvioimiseen. Mittarin kohdat on luokiteltu aihealueittain viiteen osa-alueeseen: perustiedot, terveyteen liittyvä sisältö, tekniset ominaisuudet, käyttäjälähtöisyys, sekä yksityisyys ja turvallisuus. Kaikkien osioiden CVI pisteet saavuttivat suotuisat lukemat > 0,78 relevanssiuden ja selkeyden osalta. Lisäksi mittari sai > 0,90 pisteet koko mittarin tasolla (universal agreement and average). Tämä tutkimus tuotti uuden tavan arvioida terveyssovellusten laatua. Jatkossa mittarin ja sen käyttöoppaan psykometrisiä ominaisuuksia kuten reliabiliteettia sekä käyttökelpoisuutta ja hyväksyttävyyttä tulee edelleen testata