Ih­mi­sen ja tie­to­ko­neen vä­li­nen yh­teis­luo­vuus : runoja kirjoittavien yh­teis­luo­vien jär­jes­tel­mien suun­nit­te­lu ja ar­vioin­ti sekä yh­teis­luo­van pro­ses­sin mal­lin­ta­mi­nen

Human-computer co-creativity examines creative collaboration between humans and artificially intelligent computational agents. Human-computer co-creativity researchers assume that instead of using computational systems to merely automate creative tasks, computational creativity methods can be leveraged to design computational collaborators capable of sharing creative responsibility with a human collaborator. This has potential for extending both human and computational creative capability. This thesis focuses on the case of one human and one computational collaborator. More specifically this thesis studies how children collaborate with a computational collaborator called the Poetry Machine in the linguistically creative task of writing poems. This thesis investigates three topics related to human-computer co-creativity: The design of human-computer co-creative systems, their evaluation and the modelling of human-computer co-creative processes. These topics are approached from two perspectives: an interaction design perspective and a computational creativity perspective. The interaction design perspective provides practical methods for the design and evaluation of interactive systems as well as methodological frameworks for analysing design practices in the field. The computational creativity perspective then again provides a theoretical view to the evaluation and modelling of human-computer co-creativity. The thesis itself consists of five papers. This thesis starts with an analysis of the interaction design process for computational collaborators. The design process is examined through a review of case studies, and a thorough description of the design process of the Poetry Machine system described in Paper I. The review shows that several researchers in the field have assumed a user-centered design approach, but some good design practices, including the reporting of design decisions, iterative design and early testing with users are not yet fulfilled according to the best standards. After illustrating the general design process, this thesis examines different approaches to the evaluation of human-computer co-creativity. Two case studies are conducted to evaluate the usability of and user experiences with the Poetry Machine system. The first evaluations are described in Paper II. They produced useful feedback for developing the system further. The second evaluation, described in Papers III and IV, investigates specific metrics for evaluating the co-creative writing experience in more detail. To promote the accumulation of design knowledge, special care is taken to report practical issues related to evaluating co-creative systems. These include, for example, issues related to formulating suitable evaluation tasks. Finally the thesis considers modelling human-computer co-creativity. Paper V approaches modelling from a computationally creative perspective, by extending the creativity-as-a-search paradigm into co-creative systems. The new model highlights specific issues for interaction designers to be aware of when designing new computational collaborators.Ihmisen ja tietokoneen välinen yhteisluovuus on tutkimusala, joka käsittelee ihmisten ja tekoälyagenttien välistä luovaa yhteistyötä. Tekoälyagenttien perustana toimivat uudet laskennallisen luovuuden metodit. Ne mahdollistavat pelkän luovien tehtävien automatisoinnin sijaan tasapainoisemman vastuunjaon ja vuorovaikutuksen ihmisen ja tekoälyagentin välillä. Tämä tarjoaa sekä ihmisille että laskennallisille agenteille uusia luovia mahdollisuuksia. Väitöskirja keskittyy erityisesti yhden ihmisen ja laskennallisesti luovan agentin yhteistyöhön. Väitöskirja koostuu viidestä erillisestä julkaisusta, ja siihen kuuluvissa tapaustutkimuksissa havainnoidaan lasten ja laskennalliseen kielelliseen luovuuteen perustuvan Runokone–nimisen laskennallisesti luovan agentin yhteistyötä. Väitöskirjassa käsitellään ihmisen ja tietokoneen välisen yhteisluovuuden kolmea teemaa: yhteisluovien järjestelmien suunnittelua, niiden arviointia ja ihmisen ja tietokoneen välisen yhteisluovan prosessin mallinnusta. Teemojen tutkimiseen käytetään vuorovaikutussuunnittelun ja laskennallisen luovuuden menetelmiä. Vuorovaikutussuunnittelu tarjoaa käytännönläheisiä menetelmiä järjestelmien suunnitteluun ja arviointiin sekä erilaisia teoreettisia näkökulmia alalla vallitsevien suunnittelukäytäntöjen tarkasteluun. Laskennallisen luovuuden tutkimus puolestaan tarjoaa teoreettisen näkökulman yhteisluovien järjestelmien arviointiin ja yhteisluovuuden mallinnukseen. Ensimmäistä teemaa, yhteisluovien järjestelmien suunnittelua, käsitellään väitöskirjan julkaisussa I. Julkaisussa kuvataan yhteisluovien järjestelmien yleistä vuorovaikutussuunnitteluprosessia tapaustutkimuskatsauksen kautta, ja tarkastellaan Runokoneen suunnitteluprosessia. Tutkimuskatsaus osoittaa alan tutkijoiden usein valitsevan tutkimuksensa lähtökohdaksi käyttäjäkeskeisen suunnittelun. He kuitenkin noudattavat parhaita vuorovaikutussuunnittelun käytäntöjä vain löyhästi. Tiedeyhteisön sisällä tulisikin siksi parantaa erityisesti suunnittelupäätösten dokumentointia, iteratiivista suunnittelua ja varhaista käyttäjätestausta. Toista teemaa, ihmisen ja koneen välisen yhteisluovuuden arviointia, tarkastellaan väitöksessä kahden tapaustutkimuksen kautta. Niistä ensimmäisessä keskitytään Runokoneen käytettävyyden arviointiin ja toisessa Runokoneen käyttäjien kokemusten arviointiin. Käytettävyyden arviointia on kuvattu tarkemmin julkaisussa II. Arviointi tuotti hyödyllistä palautetta järjestelmän jatkokehitystä varten. Julkaisuissa III ja IV tarkastellaan mittareita, joiden avulla voidaan arvioida tarkemmin käyttäjien käyttäjäkokemuksia erilaisissa yhteisluovan kirjoittamisen prosesseissa. Vuorovaikutussuunnittelun tutkimuksen ja käytännön suunnittelutyön tukemiseksi julkaisuissa paneudutaan erityisesti yhteisluovien järjestelmien arvioinnin käytännön ongelmiin. Näihin kuuluu esimerkiksi sopivien arviointitehtävien muodostaminen. Lopuksi väitöskirjassa käsitellään ihmisen ja koneen välisen yhteisluovuuden mallinnusta. Julkaisussa V tarkastellaan mallinnusta laskennallisen luovuuden näkökulmasta laajentamalla luovan haun paradigmaa yhteisluoviin järjestelmiin. Luovan haun paradigma kuvaa luomisprosessia sekä esteettisesti miellyttävien että luovaan kohdealaan sopivien artefaktien etsintänä hakuavaruudessa. Kuvatussa laajennuksessa painottuvat vuorovaikutussuunnittelun kannalta oleelliset ristiriitatilanteet, joiden ratkaisutavat vaikuttavat laskennallisesti luovien yhteistyökumppaneiden ominaisuuksiin

A Semantic Map for Evaluating Creativity

We present a semantic map of words related with creativity. The aim is to empirically derive terms which can be used to rate processes or products of computational creativity. The words in the map are based on association studies performed by human subjects and augmented with words derived from the literature (based on human raters). The words are used in a card sorting study to investigate the way they are categorized by human subjects. The results are arranged in a heat map of word relations based on a hierarchical cluster analysis. The cluster analysis and a principal component analysis provide a set of five to six clusters of items related to each other, and as clusters related to creativity. These clusters could form a basis for scales used to rate aspects of computational creativity

Luovat järjestelmät, toimijat sekä yhteisöt : Teoreettisia analyysimenetelmiä ja empiirisiä yhteistyötutkimuksia

Creativity is a multi-faceted phenomenon that can be observed in diverse individuals and contexts, both natural and artificial. This thesis studies computational creativity, i.e. creativity in machines, which can be broadly categorised as a subfield of artificial intelligence. In particular, the thesis deals with three important perspectives on computational creativity: (1) identifying properties of creative individuals, (2) studying processes that lead to creative outcomes, and (3) observing and analysing social aspects of creativity, e.g. collaboration which may allow the individuals to create something together which they could not do alone. One of the key interests in computational creativity is how computational entities may exhibit creativity in their own right, implying that the creative entities and their compositions, roles, processes and interactions are potentially different from those encountered in nature. This calls for theoretical analysis methods specifically tailored for artificial creative entities, and carefully controlled empirical experiments and simulations with them. We study both of these aspects. The analysis methods allow us to scrutinise exactly how creativity occurs in artificial entities by providing appropriate conceptual elements and vocabulary, while experiments enable us to test and confirm the effectiveness of different design decisions considering individual artificial creative entities and their interaction with each other. We propose three novel, domain-general analysis tools for artificial creative entities, i.e. creative systems and creative agents, and collections of them, called creative societies. First, we distinguish several conceptual components relevant for metacreative systems, i.e. systems that can reflect and control their creative behaviour, and discuss how these components are interlinked and affect the system's creativity. Second, we merge elements from sequential decision making in intelligent agents, i.e. Markov Decision Processes, into formal creativity as search model called the Creative Systems Framework, providing a detailed account of various elements which compose the decision-making process of a creative agent. Third, we map elements from an eminent social creativity theory, the Systems View of Creativity, a.k.a. Domain-Individual-Field-Interaction model, into the elements of the Creative Systems Framework and show how creative societies may be analysed formally with it. Each of the proposed analysis tools provides new ways to analyse creativity in artificial entities. The analysis of metacreative systems assumes an architectural point of view to creativity, which has not been previously addressed in detail. Deconstructing the decision-making process of a creative agent gives us additional means to discuss and understand why or how a creative agent selects certain actions. Lastly, the contributions to the creative societies are the first formal framework for their analysis. We also investigate in two consecutive case studies collaborator selection in creative societies. In the first study, we focus on what kind of cues, e.g. selfish or altruistic, assist in choosing beneficial collaboration partners when all the agents can observe from their peers are the individually created end products. The second study allows the agents to adjust their aesthetic preferences during the simulations and inspects what emerges from society as a whole. We conclude that selfish cues seem to be more effective in choosing the collaboration partners in our settings and that the society exhibits distinct emergence depending on how much the agents are willing to change their aesthetic preferences.Luovuus on monitahoinen ilmiö, jonka osatekijöitä voidaan tunnistaa monissa eri asiayhteyksissä. Tässä väitöskirjassa käsitellään laskennallista luovuutta, eli luovuutta koneissa, mikä voidaan karkeasti luokitella tekoälyn yhdeksi osa-alueeksi. Yksi laskennallisen luovuuden tärkeimmistä kiinnostuksen kohteista tutkii miten koneet voivat olla luovia omasta ansiostaan. Tämä tarkoittaa että luovat järjestelmät ja toimijat, menetelmät, yhteisöt sekä niiden vuorovaikutus voivat erota ihmisten vastaavista. On siis tärkeää kyetä keskustelemaan luovien järjestelmien, toimijoiden ja yhteisöjen ominaisuuksista riippumatta niiden toteutuksien yksityiskohdista sekä suunnittelemaan simulaatioita ja kokeita joissa voidaan todentaa suunnitteluratkaisujen vaikutukset järjestelmän luovuudelle. Väitöskirja esittelee kolme uutta luovuuden analyysimenetelmää, jotka on kehitetty analysoimaan (1) luovia järjestelmiä, (2) luovia toimijoita sekä (3) luovia agenttiyhteisöjä. Lisäksi kahdessa osajulkaisussa tutkitaan yhteistyöprosesseja simuloiduissa yhteisöissä, joissa itsenäiset luovat toimijat tuottavat abstraktia taidetta evolutiivisia menetelmiä käyttäen. Ehdotetut analyysimenetelmät mahdollistavat luovuuden monialaisen tarkastelun sekä tarjoavat yhden mahdollisen suunnan kohti laskennallisen luovuuden yhtenäistä analyysimenetelmää. Havainnot empiirisistä simulaatioista antavat uutta tietoa laskennallisista yhteistyöprosesseista ja ovat askel kohti monimutkaisempia kokeita luovan yhteistyön saralla

Sensoring a Generative System to Create User-Controlled Melodies

[EN] The automatic generation of music is an emergent field of research that has attracted the attention of countless researchers. As a result, there is a broad spectrum of state of the art research in this field. Many systems have been designed to facilitate collaboration between humans and machines in the generation of valuable music. This research proposes an intelligent system that generates melodies under the supervision of a user, who guides the process through a mechanical device. The mechanical device is able to capture the movements of the user and translate them into a melody. The system is based on a Case-Based Reasoning (CBR) architecture, enabling it to learn from previous compositions and to improve its performance over time. The user uses a device that allows them to adapt the composition to their preferences by adjusting the pace of a melody to a specific context or generating more serious or acute notes. Additionally, the device can automatically resist some of the user’s movements, this way the user learns how they can create a good melody. Several experiments were conducted to analyze the quality of the system and the melodies it generates. According to the users’ validation, the proposed system can generate music that follows a concrete style. Most of them also believed that the partial control of the device was essential for the quality of the generated music

Menetelmiä ja malleja kielelliseen ja musiikilliseen laskennalliseen luovuuteen

Computational creativity is an area of artificial intelligence that develops algorithms and simulations of creative phenomena, as well as tools for performing creative tasks. In this thesis, we present various computational methods and models of linguistic and musical creativity. The emphasis is on developing methods that are maximally unsupervised, i.e. methods that require a minimal amount of hand-crafted linguistic, world, or domain knowledge. This thesis consists of an introductory part and five original research articles. The introductory part outlines computational creativity as a research field and discusses some of the philosophical foundations underlying the current work. The research articles present specific methods and algorithms for automatic composition of poetry and songs. The first article proposes a corpus-based poetry generation method that relies on statistical language modelling and morphological analysis and synthesis. In the second article, we expand that basic model with constraint programming techniques to handle more aspects of the poetic structure and style. The third article presents a method for mining document-specific word associations and proposes using them in poetry generation to produce poems based, for instance, on a specific news story. The fourth article presents a song composition system that utilises constraint programming to produce songs with matching lyrics and music in a transformational way, i.e. it is able to modify its own search space and preferences. Transformationality of the system is achieved with a metalevel component that can modify the system's internal constraints leading into new conceptual spaces. Finally, the fifth article discusses possibilities of combining personal biosignal measurements, especially electroencephalography, with techniques of computational creativity and presents an art installation called Brain Poetry based on these ideas. The current work relies heavily on the use of unsupervised data mining techniques to automatically build models of specific creative domains such as poetry. The proposed methods and models are flexible and they are to a large extent independent of language and style. Thus, they provide a general framework for computational or synthetic creativity in linguistic and musical domains that can be easily expanded in many ways. Applications of this work include pedagogical tools, computer games, and artistic results.Laskennallinen luovuus on tekoälytutkimuksen osa-alue, joka kehittää algoritmeja ja simulaatioita luovista ilmiöistä sekä työkaluja luovien tehtävien suorittamiseen. Tässä väitöskirjassa esitetään uusia laskennallisia menetelmiä kielellisen ja musiikillisen luovuuden alueella. Väitöskirjatutkimuksen pääpaino on ollut mahdollisimman ohjaamattomien menetelmien kehittämisessä. Toisin sanoen näiden menetelmien tulisi vaatia minimaalinen määrä käsin syötettyä tietoa kielestä, maailmasta tai tietystä erityisalasta. Väitöskirja koostuu johdanto-osasta sekä viidestä alkuperäisestä tutkimusartikkelista. Johdanto-osa esittelee laskennallisen luovuuden tutkimusalana ja käsittelee tärkeimpiä työn taustalla olevia filosofisia kysymyksiä. Tutkimusartikkelit esittelevät spesifejä menetelmiä ja algoritmeja runojen ja laulujen automaattiseen tuottamiseen. Nämä menetelmät perustuvat kielen tilastolliseen mallintamiseen, morfologiseen analyysiin ja synteesiin sekä rajoitelaskentaan. Lisäksi esitetään, kuinka rajoitelaskentaa voidaan hyödyntää laskennallisesti luovan järjestelmän transformationaalisuuden saavuttamiseen. Tällöin järjestelmä kykenee muokkaamaan omaa hakuavaruuttaan ja tavoitteitaan sisäisiä rajoitteitaan muuntelemalla. Viimeisessä artikkelissa käsitellään biosignaalimittausten yhdistämistä laskennallisen luovuuden menetelmiin ja esitellään taideinstallaatio, joka perustuu näihin ajatuksiin. Tehdyssä tutkimuksessa on hyödynnetty erityisesti ohjaamattomia tiedonlouhintamenetelmiä mallien rakentamiseksi luovuutta vaativina pidetyistä alueista, kuten runoudesta. Esitetyt menetelmät ja mallit ovat joustavia ja pitkälti riippumattomia tietystä kielestä tai tyylilajista. Siten ne tarjoavat yleisluontoisen ja helposti laajennettavissa olevan viitekehyksen laskennalliselle kielelliselle ja musiikilliselle luovuudelle. Työn sovelluksiin lukeutuvat muun muassa pedagogiset työkalut, tietokonepelit ja taiteelliset tulokset

TwitSong: A current events computer poet and the thorny problem of assessment.

This thesis is driven by the question of how computers can generate poetry, and how that poetry can be evaluated. We survey existing work on computer-generated poetry and interdisciplinary work on how to evaluate this type of computer-generated creative product. We perform experiments illuminating issues in evaluation which are specific to poetry. Finally, we produce and evaluate three versions of our own generative poetry system, TwitSong, which generates poetry based on the news, evaluates the desired qualities of the lines that it chooses, and, in its final form, can make targeted and goal-directed edits to its own work. While TwitSong does not turn out to produce poetry comparable to that of a human, it represents an advancement on the state of the art in its genre of computer-generated poetry, particularly in its ability to edit for qualities like topicality and emotion

Has computational creativity successfully made it 'Beyond the Fence' in musical theatre?

A significant test for software is when it is tasked with replicating human performance, as was the case recently with creative software and the commercial project Beyond the Fence (undertaken for a television documentary Computer Says Show). The remit of the Beyond the Fence project was to use computer software as much as possible to produce a musical show billed as `the world's first computer-generated musical’. Several computational creativity systems were used in the production of this musical, which was performed in London's West End for a two week run in 2016. This paper considers the challenge of evaluating this project. Current computational creativity evaluation methods are ill-suited to evaluating projects involving creative input from multiple systems and people. Following recent inspiration within computational creativity research from interaction design, here the DECIDE evaluation framework is used to evaluate the Beyond the Fence project along two questions: (1) To what extent is the project successful? and (2) To what extent does this project demonstrate computational creativity? Evaluation lets us conclude that this was a reasonably successful achievement of the task of using computational generation in producing a credible musical show. Lessons have been learned for future computational creativity projects though, particularly for affording creative software more agency and enabling software to interact with other creative partners. Upon reflection, the DECIDE framework emerges as a useful evaluation `checklist' (if not a tangible operational methodology) for the evaluation of multiple creative systems participating in a single creative task