Co-creativity and perceptions of computational agents in co-creativity

How are computers typically perceived in co-creativity scenarios? And how does this affect how we evaluate computational creativity research systems that use cocreativity? Recent research within computational creativity considers how to attribute creativity to computational agents within co-creative scenarios. Human evaluation forms a key part of such attribution or evaluation of creative contribution. The use of human opinion to evaluate computational creativity, however, runs the risk of being distorted by conscious or subconscious bias. The case study in this paper shows people are significantly less confident at evaluating the creativity of a whole co-creative system involving computational and human participants, compared to the (already tricky) task of evaluating individual creative agents in isolation. To progress co-creativity research, we should combine the use of co-creative computational models with the findings of computational creativity evaluation research into what contributes to software creativity

Co-creativity and perceptions of computational agents in co-creativity

How are computers typically perceived in co-creativity scenarios? And how does this affect how we evaluate computational creativity research systems that use cocreativity? Recent research within computational creativity considers how to attribute creativity to computational agents within co-creative scenarios. Human evaluation forms a key part of such attribution or evaluation of creative contribution. The use of human opinion to evaluate computational creativity, however, runs the risk of being distorted by conscious or subconscious bias. The case study in this paper shows people are significantly less confident at evaluating the creativity of a whole co-creative system involving computational and human participants, compared to the (already tricky) task of evaluating individual creative agents in isolation. To progress co-creativity research, we should combine the use of co-creative computational models with the findings of computational creativity evaluation research into what contributes to software creativity

Ih­mi­sen ja tie­to­ko­neen vä­li­nen yh­teis­luo­vuus : runoja kirjoittavien yh­teis­luo­vien jär­jes­tel­mien suun­nit­te­lu ja ar­vioin­ti sekä yh­teis­luo­van pro­ses­sin mal­lin­ta­mi­nen

Human-computer co-creativity examines creative collaboration between humans and artificially intelligent computational agents. Human-computer co-creativity researchers assume that instead of using computational systems to merely automate creative tasks, computational creativity methods can be leveraged to design computational collaborators capable of sharing creative responsibility with a human collaborator. This has potential for extending both human and computational creative capability. This thesis focuses on the case of one human and one computational collaborator. More specifically this thesis studies how children collaborate with a computational collaborator called the Poetry Machine in the linguistically creative task of writing poems. This thesis investigates three topics related to human-computer co-creativity: The design of human-computer co-creative systems, their evaluation and the modelling of human-computer co-creative processes. These topics are approached from two perspectives: an interaction design perspective and a computational creativity perspective. The interaction design perspective provides practical methods for the design and evaluation of interactive systems as well as methodological frameworks for analysing design practices in the field. The computational creativity perspective then again provides a theoretical view to the evaluation and modelling of human-computer co-creativity. The thesis itself consists of five papers. This thesis starts with an analysis of the interaction design process for computational collaborators. The design process is examined through a review of case studies, and a thorough description of the design process of the Poetry Machine system described in Paper I. The review shows that several researchers in the field have assumed a user-centered design approach, but some good design practices, including the reporting of design decisions, iterative design and early testing with users are not yet fulfilled according to the best standards. After illustrating the general design process, this thesis examines different approaches to the evaluation of human-computer co-creativity. Two case studies are conducted to evaluate the usability of and user experiences with the Poetry Machine system. The first evaluations are described in Paper II. They produced useful feedback for developing the system further. The second evaluation, described in Papers III and IV, investigates specific metrics for evaluating the co-creative writing experience in more detail. To promote the accumulation of design knowledge, special care is taken to report practical issues related to evaluating co-creative systems. These include, for example, issues related to formulating suitable evaluation tasks. Finally the thesis considers modelling human-computer co-creativity. Paper V approaches modelling from a computationally creative perspective, by extending the creativity-as-a-search paradigm into co-creative systems. The new model highlights specific issues for interaction designers to be aware of when designing new computational collaborators.Ihmisen ja tietokoneen välinen yhteisluovuus on tutkimusala, joka käsittelee ihmisten ja tekoälyagenttien välistä luovaa yhteistyötä. Tekoälyagenttien perustana toimivat uudet laskennallisen luovuuden metodit. Ne mahdollistavat pelkän luovien tehtävien automatisoinnin sijaan tasapainoisemman vastuunjaon ja vuorovaikutuksen ihmisen ja tekoälyagentin välillä. Tämä tarjoaa sekä ihmisille että laskennallisille agenteille uusia luovia mahdollisuuksia. Väitöskirja keskittyy erityisesti yhden ihmisen ja laskennallisesti luovan agentin yhteistyöhön. Väitöskirja koostuu viidestä erillisestä julkaisusta, ja siihen kuuluvissa tapaustutkimuksissa havainnoidaan lasten ja laskennalliseen kielelliseen luovuuteen perustuvan Runokone–nimisen laskennallisesti luovan agentin yhteistyötä. Väitöskirjassa käsitellään ihmisen ja tietokoneen välisen yhteisluovuuden kolmea teemaa: yhteisluovien järjestelmien suunnittelua, niiden arviointia ja ihmisen ja tietokoneen välisen yhteisluovan prosessin mallinnusta. Teemojen tutkimiseen käytetään vuorovaikutussuunnittelun ja laskennallisen luovuuden menetelmiä. Vuorovaikutussuunnittelu tarjoaa käytännönläheisiä menetelmiä järjestelmien suunnitteluun ja arviointiin sekä erilaisia teoreettisia näkökulmia alalla vallitsevien suunnittelukäytäntöjen tarkasteluun. Laskennallisen luovuuden tutkimus puolestaan tarjoaa teoreettisen näkökulman yhteisluovien järjestelmien arviointiin ja yhteisluovuuden mallinnukseen. Ensimmäistä teemaa, yhteisluovien järjestelmien suunnittelua, käsitellään väitöskirjan julkaisussa I. Julkaisussa kuvataan yhteisluovien järjestelmien yleistä vuorovaikutussuunnitteluprosessia tapaustutkimuskatsauksen kautta, ja tarkastellaan Runokoneen suunnitteluprosessia. Tutkimuskatsaus osoittaa alan tutkijoiden usein valitsevan tutkimuksensa lähtökohdaksi käyttäjäkeskeisen suunnittelun. He kuitenkin noudattavat parhaita vuorovaikutussuunnittelun käytäntöjä vain löyhästi. Tiedeyhteisön sisällä tulisikin siksi parantaa erityisesti suunnittelupäätösten dokumentointia, iteratiivista suunnittelua ja varhaista käyttäjätestausta. Toista teemaa, ihmisen ja koneen välisen yhteisluovuuden arviointia, tarkastellaan väitöksessä kahden tapaustutkimuksen kautta. Niistä ensimmäisessä keskitytään Runokoneen käytettävyyden arviointiin ja toisessa Runokoneen käyttäjien kokemusten arviointiin. Käytettävyyden arviointia on kuvattu tarkemmin julkaisussa II. Arviointi tuotti hyödyllistä palautetta järjestelmän jatkokehitystä varten. Julkaisuissa III ja IV tarkastellaan mittareita, joiden avulla voidaan arvioida tarkemmin käyttäjien käyttäjäkokemuksia erilaisissa yhteisluovan kirjoittamisen prosesseissa. Vuorovaikutussuunnittelun tutkimuksen ja käytännön suunnittelutyön tukemiseksi julkaisuissa paneudutaan erityisesti yhteisluovien järjestelmien arvioinnin käytännön ongelmiin. Näihin kuuluu esimerkiksi sopivien arviointitehtävien muodostaminen. Lopuksi väitöskirjassa käsitellään ihmisen ja koneen välisen yhteisluovuuden mallinnusta. Julkaisussa V tarkastellaan mallinnusta laskennallisen luovuuden näkökulmasta laajentamalla luovan haun paradigmaa yhteisluoviin järjestelmiin. Luovan haun paradigma kuvaa luomisprosessia sekä esteettisesti miellyttävien että luovaan kohdealaan sopivien artefaktien etsintänä hakuavaruudessa. Kuvatussa laajennuksessa painottuvat vuorovaikutussuunnittelun kannalta oleelliset ristiriitatilanteet, joiden ratkaisutavat vaikuttavat laskennallisesti luovien yhteistyökumppaneiden ominaisuuksiin

Four PPPPerspectives on Computational Creativity

From what perspective should creativity of a system be considered? Are we interested in the creativity of the system’s out- put? The creativity of the system itself? Or of its creative processes? Creativity as measured by internal features or by external feedback? Traditionally within computational creativity the focus had been on the creativity of the system’s Products or of its Processes, though this focus has widened recently regarding the role of the audience or the field surrounding the creative system. In the wider creativity research community a broader take is prevalent: the creative Person is considered as well as the environment or Press within which the creative entity operates in. Here we have the Four Ps of creativity: Person, Product, Process and Press. This paper presents the Four Ps, explaining each of the Four Ps in the context of creativity research and how it relates to computational creativity. To illustrate how useful the Four Ps can be in taking a fuller perspective on creativity, the concepts of novelty and value explored from each of the Four P perspectives, uncovering aspects that may otherwise be overlooked. This paper argues that the broader view of creativity afforded by the Four Ps is vital in guiding us towards more encompassing and comprehensive computational investigations of creativity

A Standardised Procedure for Evaluating Creative Systems: Computational Creativity Evaluation Based on What it is to be Creative

Computational creativity is a flourishing research area, with a variety of creative systems being produced and developed. Creativity evaluation has not kept pace with system development with an evident lack of systematic evaluation of the creativity of these systems in the literature. This is partially due to difficulties in defining what it means for a computer to be creative; indeed, there is no consensus on this for human creativity, let alone its computational equivalent. This paper proposes a Standardised Procedure for Evaluating Creative Systems (SPECS). SPECS is a three-step process: stating what it means for a particular computational system to be creative, deriving and performing tests based on these statements. To assist this process, the paper offers a collection of key components of creativity, identified empirically from discussions of human and computational creativity. Using this approach, the SPECS methodology is demonstrated through a comparative case study evaluating computational creativity systems that improvise music