Dealing with group decision-making environments that have a high amount of alternatives using card-sorting techniques

Due to the appearance of Web 2.0 technologies and smartphones, the amount of information available to carry out group decision-making processes has increased dramatically. Therefore, there is a need for group decision-making methods that are capable of dealing with environments that handle a high number of alternatives. In this paper, a novel group decision-making method that can deal with these kinds of environments has been developed. Thanks to card-sorting techniques, it is possible to reduce the number of alternatives that the experts have to deal with using their own knowledge. Thanks to this, experts do not have to rely on information from any external source as it is done in other similar methods

A Supporting Tool for Enhancing User’s Mental Model Elicitation and Decision-Making in User Experience Research

This is an Accepted Manuscript of an article published by Taylor & Francis in International Journal of Human–Computer Interaction on April 18, 2022, available at: https://doi.org/10.1080/10447318.2022.2041885User Experience (UX) research is intended to find insights and elicit applicable requirements to guide usable designs. Card Sorting is one of the most utilized methods. It is used to uncover the user's mental model and increase the usability of existing products. However, although Card Sorting has been widely utilized, most applications are based on spreadsheets. Furthermore, existing tools are principally intended to obtain qualitative information or customized quantitative outcomes to improve the information architecture. In this paper, a supporting tool based on the Card Sorting method is presented and detailed, including a comprehensive use case showing the main features. The tool implements predictive analysis of results through advanced statistics and machine learning techniques, providing comprehensive reports that enable evaluators and UX researchers to obtain high-level knowledge and important quantitative clues to enhance decision-making. The tool has been evaluated with participants and evaluators, obtaining relevant usability results and feedback.This work was partially supported by the Spanish Government under grant number RTI2018- 095255-B-I00]; and the Madrid Research Council under Grant number P2018/TCS-4314

Mejora a la Toma de Decisiones en la Técnica Card Sorting

Este Trabajo Fin de Grado consiste en el diseño de una herramienta para la evaluación de la usabilidad utilizando la técnica Card Sorting. La herramienta, lleva a cabo un proceso de evaluación implementando distintos métodos estadísticos y de minería de datos para la obtención de un análisis de resultados predictivo más avanzado, ya que no son soluciones de uso habitual ni aparecen en otras herramientas comerciales. Asimismo, se han utilizado otras técnicas de soporte y ayuda al participante, además de informes estadísticos avanzados para ayudar en la toma de decisiones a evaluadores e ingenieros en usabilidad. De este modo, permite obtener más información que los métodos manuales o tradicionales empleados habitualmente en la técnica Card Sorting. La técnica Card Sorting es utilizada para la evaluación de la usabilidad de sitios web, concretamente es muy utilizada en el contexto de evaluación de los contenidos o de la arquitectura de la información de dichos sitios. Esta técnica se centra en agrupar o catalogar información en categorías a través de clasificaciones colaborativas realizadas por los usuarios. La herramienta implementada en este trabajo es una herramienta web. Los usuarios deben registrarse e iniciar sesión para poder acceder a sus respectivos perfiles, ya sean participantes o evaluadores. En el caso del primer grupo, los usuarios podrán crear Card Sorting, pudiendo además eliminarlos o modificarlos. También podrán abrirlos o cerrarlos para permitir o denegar el acceso a los participantes a la clasificación. Además, tendrán acceso a los Card Sorting creados por ellos mismos y a sus respectivos resultados, todos ellos obtenidos a través de las diferentes clasificaciones realizadas por los participantes. El segundo grupo de usuarios solo tendrá acceso a aquellos Card Sorting que se encuentren en estado “abierto” y de los que previamente les ha sido proporcionado el ID para poder realizar la clasificación. Finalmente, existe un grupo que combina ambos roles, es decir, el grupo de usuarios de participantes y evaluadores. La única restricción en este perfil es que no pueden realizar clasificaciones en sus propios Card Sorting. La herramienta se ha desarrollado en Python, utilizando el macro-framework Django para el desarrollo de aplicaciones web, adoptando una estructura Modelo-Vista-Plantilla (MVT). Además de lo anterior, se utilizó HTML, CSS, JavaScript, JQuery y Ajax para el front-end. Las diferentes vistas son generadas por Django accediendo a los datos del modelo en una base de datos PostgreSQL. Finalmente, la herramienta se desplegó en el entorno de producción en la nube Heroku. Además de todo lo anterior, se han diseñado y realizado una serie de pruebas controladas para medir la usabilidad de la herramienta desarrollada. Para ello, se ha contado con la participación de 20 usuarios que en función de los posibles roles en la herramienta interactuaron con ella para medir su usabilidad y facilidad de uso. De estas pruebas se obtuvieron muy buenos resultados en cuanto a usabilidad de uso, eficiencia y eficacia. Sin embargo, también detectamos pequeñas carencias en cuanto a claridad de uso en algunas partes que habría que mejorar. En conclusión, se ha realizado una herramienta web capaz de crear, gestionar y analizar Card Sorting, aportando más información a los usuarios evaluadores para la toma de decisiones finales y ayudando en las clasificaciones a los usuarios participantes

Graph machine learning approaches to classifying the building and ground relationship Architectural 3D topological model to retrieve similar architectural precendents

Architects struggle to choose the best form of how the building meets the ground and may benefit from a suggestion based on precedents. A precedent suggestion may help architects decide how the building should meet the ground. Machine learning (ML), as a part of artificial intelligence (AI), can play a role in the following scenario to determine the most appropriate relationship from a set of examples provided by trained architects. A key feature of the system involves its classification of three-dimensional (3D) prototypes of architectural precedent models using a topological graph instead of two-dimensional (2D) images to classify the models. This classified model then predicts and retrieves similar architecture precedents to enable the designer to develop or reconsider their design. The research methodology uses mixed methods research. A qualitative interview validates the taxonomy collected in the literature review and image sorting survey to study the similarity of human classification of the building and ground relationship (BGR). Moreover, the researcher leverages the use of two primary technologies in the development of the BGR tool. First, a software library enhances the representation of 3D models by using non-manifold topology (Topologic). The second phase involves an end-to-end deep graph convolutional neural network (DGCNN). This study employs a two-stage experimental workflow. The first step sees a sizable synthetic database of building relationships and ground topologies created by generative simulation for a 3D prototype of architectural precedents. These topologies then undergo conversion into semantically rich topological dual graphs. Second, the prototype architectural graphs are imported to the DGCNN model for graph classification. This experiment's results show that this approach can recognise architectural forms using more semantically relevant and structured data and that using a unique data set prevents direct comparison. Our experiments have shown that the proposed workflow achieves highly accurate results that align with DGCNN’s performance on benchmark graphs. Additionally, the study demonstrates the effectiveness of using different machine learning approaches, such as Deep Graph Library (DGL) and Unsupervised Graph Level Representation Learning (UGLRL). This research demonstrates the potential of AI to help designers identify the topology of architectural solutions and place them within the most relevant architectural canons