Snacka med AI: En AI-driven applikation för att träna på användningen av samtalskort

Abstract

Denna studie sker inom Interaktionsdesign, en del av människa-datorinteraktion, och fokuserar på hur man kan designa och prototypa för AI med hänsyn till både tekniska begränsningar och användarbehov. Bristande förståelse för detta är ett återkommande problem som bidragit till många misslyckade AI-projekt. För att utforska detta inom en rimlig tidsram designades och prototypades en AI-driven chattapplikation som stödjer användning av, tidigare utvecklade, samtalskort som ämnar att främja ungdomars delaktighet och beslutsfattande inom socialtjänsten. Genom detta avser studien att utforska hur AI kan prototypas med hänsyn till båda dessa faktorer genom att besvara följande frågeställning: ''Hur kan en AI-driven applikation baserad på en specialanpassad chatt-bot prototypas för att stödja användningen av samtalskort med ungdomar inom socialtjänsten?''. Studien tillämpar forskningsstrategin Mixed methods genom metodiken Research through design för att utveckla en artefakt och utforska prototypande för AI. Prototypen utvärderas genom Co-Discovery Exploration-baserade användningstester och en CASUX-baserad enkät. Insikter analyseras genom affinitetsdiagram och deskriptiv statistik. Användningstesterna genomfördes i par med studenter, forskare och lärare inom sociologi. Deltagarna diskuterade och rollspelade medan de interagerade med prototypen. Testerna spelades in, transkriberades och analyserades genom affinitetsdiagram, medan enkätsvaren visualiserades i diagram för att tydliggöra trender och mönster. Designarbetet grundar sig i metoden AI-design toolkit för att generera genomförbara och relevanta lösningar och går sedan vidare till prototyping som grundar sig i The Five Dimensions of Fidelity. Prototypingsprocessen sker via tre olika faser: wireframing, prompt engineering och en fullständig funktionell prototyp. Den slutgiltiga prototypen är en AI-driven applikation baserad på en AI-modell från Mistral, där användare övar på samtalskort genom simulerade samtal med en AI-agent som rollspelar en ungdom. Analysen resulterade i ett affinitetsdiagram som visar tre huvudteman i samtalen med AI-agenten Filip: empatiskt bemötande, skapande av ett fungerande samtal och försäkran om stöd vid flytt. Enkäten visar en positiv inställning till att prototypen är lätt att använda och kan lära sig samtalskortens användning. CASUX-skalan indikerar en överlag positiv, om än stundtals något onaturlig, interaktion. Slutsatserna visar att ett tydligt identifierat behov kan effektivisera designprocessen och leda till mer relevanta lösningar. AI-agentens beteende kunde prototypas fristående, vilket möjliggör resurseffektiv utveckling. Studien indikerar även att AI-agenten kan bidra till ökad förståelse och motivation kring användningen av samtalskort inom socialtjänsten genom att simulera konkreta och engagerande samtalssituationer. Prototypen visar även på potentiella möjligheter inom utbildning samt mer kommersiella användningsområden.This study is situated within the field of Interaction Design, a subdomain of Human-Computer Interaction, and explores how to design and prototype for AI in a way that considers both technical limitations and user needs. A lack of understanding in balancing these aspects has contributed to the failure of many AI projects. This was explored by designing and prototyping an AI-driven chat application to support the use of, previously developed, conversation cards aimed at promoting youth participation and decision-making in meetings with social services. The study seeks to answer the following research question: "How can an AI-driven application based on a custom chatbot be prototyped to support the use of conversation cards with young people in social services?" The research follows a Mixed Methods strategy, using Research through Design to develop the prototype. Evaluation was conducted through Co-Discovery Exploration-based user tests and a questionnaire based on the CASUX scale, a tool tailored for conversational agents. Data was analyzed through affinity diagramming and descriptive statistics. User tests were conducted in pairs with students, researchers, and educators in sociology who engaged in discussion and role-play while interacting with the prototype. The sessions were recorded, transcribed, and analyzed while questionnaire results were visualized to identify patterns. The design process was guided by the AI Design Toolkit and informed by The Five Dimensions of Fidelity. Prototyping proceeded in three phases: wireframing the interface, prompt engineering for the AI agent and the development of a functional prototype. The final prototype is an AI-driven application based on an AI model from Mistral, where users practice using conversation cards through simulated conversations with an AI agent role-playing a youth. Findings from the affinity diagram revealed three main themes in users’ interactions with the AI agent ''Filip'': empathetic responses, facilitation of meaningful conversation, and reassurance of support during the relocation process. The questionnaire indicated a generally positive user experience with the CASUX scale showing favorable though occasionally unnatural interaction. The results suggest that clearly identified user needs can streamline the design process and yield more relevant outcomes. The AI agent's behavior could be prototyped independently, supporting resource-efficient development. The study also indicates that such an AI agent may enhance understanding and motivation around the use of conversation cards by simulating concrete and engaging conversational scenarios. The prototype also shows potential opportunities in education and more commercial applications