Artificial intelligence, education and music : the use of artificial intelligence to encourage and facilitate music composition by novices

The goal of the research described in this thesis is to find ways of using artificial intelligence to encourage and facilitate music composition by musical novices, particularly those without traditional musical skills. Two complementary approaches are presented. We show how two recent cognitive theories of harmony can be used to design a new kind of direct manipulation tool for music, known as "Harmony Space", with the expressivity to allow novices to sketch, analyse, modify and compose harmonic sequences simply and clearly by moving two-dimensional patterns on a computer screen linker to a synthesizer. Harmony Space provides novices with a way of describing and controlling harmonic structures and relationships using a single, principled, uniform spatial metaphor at various musical levels; note level, interval level, chord level, harmonic succession level and key level. A prototype interface has been implemented to demonstrate the coherence and feasibility of the design. An investigation with a small number of subjects demonstrates that Harmony Space considerably reduces the prerequisites required for novices to learn about, sketch, analyse and experiment with harmony - activities that would normally be very difficult for them without considerable theoretical knowledge or instrumental skill. The second part of the thesis presents work towards a knowledge-based tutoring system to help novices using the interface to compose chord sequences. It is argued that traditional, remedial intelligent tutoring systems approaches are inadequate for tutoring in domains that require open-ended thinking. The foundation of a new approach is developed based on the exploration and transformation of case studies described in terms of chunks, styles and plans. This approach draws on a characterisation of creativity due to Johnson-Laird (1988). Programs have been implemented to illustrate the feasibility of key parts of the new approach

Visual Neuroscience of Robotic Grasping

Supporting Informatio

Third Conference on Artificial Intelligence for Space Applications, part 1

The application of artificial intelligence to spacecraft and aerospace systems is discussed. Expert systems, robotics, space station automation, fault diagnostics, parallel processing, knowledge representation, scheduling, man-machine interfaces and neural nets are among the topics discussed

Finding structures in information networks using the affinity network

This thesis proposes a novel graphical model for inference called the Affinity Network,which displays the closeness between pairs of variables and is an alternative to Bayesian Networks and Dependency Networks. The Affinity Network shares some similarities with Bayesian Networks and Dependency Networks but avoids their heuristic and stochastic graph construction algorithms by using a message passing scheme. A comparison with the above two instances of graphical models is given for sparse discrete and continuous medical data and data taken from the UCI machine learning repository. The experimental study reveals that the Affinity Network graphs tend to be more accurate on the basis of an exhaustive search with the small datasets. Moreover, the graph construction algorithm is faster than the other two methods with huge datasets. The Affinity Network is also applied to data produced by a synchronised system. A detailed analysis and numerical investigation into this dynamical system is provided and it is shown that the Affinity Network can be used to characterise its emergent behaviour even in the presence of noise

Lazy Image Processing: An Investigation into Applications of Lazy Functional Languages to Image Processing

The suitability of lazy functional languages for image processing applications is investigated by writing several image processing algorithms. The evaluation is done from an application programmer's point of view and the criteria include ease of writing and reading, and efficiency. Lazy functional languages are claimed to have the advantages that they are easy to write and read, as well as efficient. This is partly because these languages have mechanisms to improve modularity, such as higher-order functions. Also, they have the feature that no subexpression is evaluated until its value is required. Hence, unnecessary operations are automatically eliminated, and therefore programs can be executed efficiently. In image processing the amount of data handled is generally so large that much programming effort is typically spent in tasks such as managing memory and routine sequencing operations in order to improve efficiency. Therefore, lazy functional languages should be a good tool to write image processing applications. However, little practical or experimental evidence on this subject has been reported, since image processing has mostly been written in imperative languages. The discussion starts from the implementation of simple algorithms such as pointwise and local operations. It is shown that a large number of algorithms can be composed from a small number of higher-order functions. Then geometric transformations are implemented, for which lazy functional languages are considered to be particularly suitable. As for representations of images, lists and hierarchical data structures including binary trees and quadtrees are implemented. Through the discussion, it is demonstrated that the laziness of the languages improves modularity and efficiency. In particular, no pixel calculation is involved unless the user explicitly requests pixels, and consecutive transformations are straightforward and involve no quantisation errors. The other items discussed include: a method to combine pixel images and images expressed as continuous functions. Some benchmarks are also presented

gbeta - a Language with Virtual Attributes, Block Structure, and Propagating, Dynamic Inheritance

A language design development process is presented which leads to a language, gbeta, with a tight integration of virtual classes, general block structure, and a multiple inheritance mechanism based on coarse-grained structural type equivalence. From this emerges the concept of propagating specialization. The power lies in the fact that a simple expression can have far-reaching but well-organized consequences, e.g., in one step causing the combination of families of classes, then by propagation the members of those families, and finally by propagation the methods of the members. Moreover, classes are first class values which can be constructed at run-time, and it is possible to inherit from classes whether or not they are compile-time constants, and whether or not they were created dynamically. It is also possible to change the class and structure of an existing object at run-time, preserving object identity. Even though such dynamism is normally not seen in statically type-checked languages, these constructs have been integrated without compromising the static type safety of the language

Situation-aware Edge Computing

Future wireless networks must cope with an increasing amount of data that needs to be transmitted to or from mobile devices. Furthermore, novel applications, e.g., augmented reality games or autonomous driving, require low latency and high bandwidth at the same time. To address these challenges, the paradigm of edge computing has been proposed. It brings computing closer to the users and takes advantage of the capabilities of telecommunication infrastructures, e.g., cellular base stations or wireless access points, but also of end user devices such as smartphones, wearables, and embedded systems. However, edge computing introduces its own challenges, e.g., economic and business-related questions or device mobility. Being aware of the current situation, i.e., the domain-specific interpretation of environmental information, makes it possible to develop approaches targeting these challenges. In this thesis, the novel concept of situation-aware edge computing is presented. It is divided into three areas: situation-aware infrastructure edge computing, situation-aware device edge computing, and situation-aware embedded edge computing. Therefore, the concepts of situation and situation-awareness are introduced. Furthermore, challenges are identified for each area, and corresponding solutions are presented. In the area of situation-aware infrastructure edge computing, economic and business-related challenges are addressed, since companies offering services and infrastructure edge computing facilities have to find agreements regarding the prices for allowing others to use them. In the area of situation-aware device edge computing, the main challenge is to find suitable nodes that can execute a service and to predict a node’s connection in the near future. Finally, to enable situation-aware embedded edge computing, two novel programming and data analysis approaches are presented that allow programmers to develop situation-aware applications. To show the feasibility, applicability, and importance of situation-aware edge computing, two case studies are presented. The first case study shows how situation-aware edge computing can provide services for emergency response applications, while the second case study presents an approach where network transitions can be implemented in a situation-aware manner

Classifying the suras by their lexical semantics :an exploratory multivariate analysis approach to understanding the Qur'an

PhD ThesisThe Qur'an is at the heart of Islamic culture. Careful, well-informed interpretation of it is fundamental both to the faith of millions of Muslims throughout the world, and also to the non-Islamic world's understanding of their religion. There is a long and venerable tradition of Qur'anic interpretation, and it has necessarily been based on literary-historical methods for exegesis of hand-written and printed text. Developments in electronic text representation and analysis since the second half of the twentieth century now offer the opportunity to supplement traditional techniques by applying the newly-emergent computational technology of exploratory multivariate analysis to interpretation of the Qur'an. The general aim of the present discussion is to take up that opportunity. Specifically, the discussion develops and applies a methodology for discovering the thematic structure of the Qur'an based on a fundamental idea in a range of computationally oriented disciplines: that, with respect to some collection of texts, the lexical frequency profiles of the individual texts are a good indicator of their semantic content, and thus provide a reliable criterion for their conceptual categorization relative to one another. This idea is applied to the discovery of thematic interrelationships among the suras that constitute the Qur'an by abstracting lexical frequency data from them and then analyzing that data using exploratory multivariate methods in the hope that this will generate hypotheses about the thematic structure of the Qur'an. The discussion is in eight main parts. The first part introduces the discussion. The second gives an overview of the structure and thematic content of the Qur'an and of the tradition of Qur'anic scholarship devoted to its interpretation. The third part xvi defines the research question to be addressed together with a methodology for doing so. The fourth reviews the existing literature on the research question. The fifth outlines general principles of data creation and applies them to creation of the data on which the analysis of the Qur'an in this study is based. The sixth outlines general principles of exploratory multivariate analysis, describes in detail the analytical methods selected for use, and applies them to the data created in part five. The seventh part interprets the results of the analyses conducted in part six with reference to the existing results in Qur'anic interpretation described in part two. And, finally, the eighth part draws conclusions relative to the research question and identifies directions along which the work presented in this study can be developed

Fourth Annual Workshop on Space Operations Applications and Research (SOAR 90)

The proceedings of the SOAR workshop are presented. The technical areas included are as follows: Automation and Robotics; Environmental Interactions; Human Factors; Intelligent Systems; and Life Sciences. NASA and Air Force programmatic overviews and panel sessions were also held in each technical area

Composição de sistemas musicais interactivos

This work proposes a contribute to the understanding of computer-based interactive music practices, in order to establish methodologies that can provide a more transparent, flexible and dynamic process in related compositional activity. This research is developed by examining and articulating complementary perspectives on the intersection of computer music with interaction. We begin by researching on models, materials, techniques and concepts that can contribute to this practice, attempting to understand the affordances and constraints that the computational medium provides. We then study how interaction has contributed to the contemporary context of interactive music practices by reshaping the relationship between the composer, the performer, the audience and the environment. In order to further scrutinize the potential of computer-based interactive music, we investigate new programming paradigms and how they can yield a more adequate context for artistic practices such as music. Complementing these explorations, we implement a computational framework, suggesting an alternate approach to interactive music practices.As novas abordagens aos meios digitais levaram à criação de técnicas e processos que procuram solucionar as mais variadas tarefas na composição e performação. Neste contexto, o uso de computadores para a prática musical não contribuiu apenas para a representação complexa de processos musicais com um elevado grau de detalhe e repetibilidade nos domínios da síntese e processamento de sinal em tempo real, para a composição algorítmica ou análise musical. O exponencial crescimento da capacidade de armazenamento e da velocidade de processamento dos computadores, tornou-os instrumentos viáveis para a composição e performação, permitindo a extemporização de decisões musicais e a expansão da performação para além dos limites fisiológicos humanos. Neste sentido, temos assistido a um crescente desenvolvimento de aplicações dedicadas à performação musical, tais como o Ableton Live1 ou o Reason2. Estas aplicações permitem a gravação, edição e reprodução de som e a sua integração com uma grande diversidade de interfaces para o controlo e parametrização de eventos musicais. Encontramos, apesar de tudo, vários obstáculos ao tentar expandir o nosso potencial criativo para o desenvolvimento de situações musicais interactivas. Em geral, ferramentas como as acima mencionadas, condicionam o âmbito de decisão do compositor ao proporcionar soluções generalistas e pré-determinadas, reduzindo as suas possibilidades a uma mera selecção de processos e respectivos ajustes de parâmetros. Consequentemente, estas ferramentas não só conduzem a um inconsciente tecnológico, ao ocultar os processos que caracterizam a prática musical, mas também a uma escuta tecnológica, em que facilmente se percepciona o software utilizado na criação das obras. A utilização de software programável, como o Max/MSP3, Pure Data4 ou SuperCollider5 já permite um maior dinamismo, embora instigue modelos de interacção específicos que se tornam relevantes compreender. Os fluxos de informação das linguagens datafow assemelham-se à configuração de circuitos analógicos na música electrónica. Os 'instrumentos' das linguagens Music-N seguem o paradigma acústico, reforçando consequentemente a distinção entre composição e performação; neste sentido, a composição assume-se como a definição de possibilidades de interacção através da criação de estruturas, instrumentos e interfaces, em que todas as decisões composicionais são tomadas a priori, negligenciando o potencial expressivo das práticas de improvisação. Na tentativa de colmatar estas limitações, consideramos as potencialidades de expressão musical em tempo-real e as possibilidades comunicacionais que daí advêm, reconhecendo que os meios computacionais estão ainda abertos a muitas opportunidades de investigação. Neste sentido, o presente estudo procura contribuir para o alargamento do conhecimento artístico e científico no âmbito da Informática Musical, mais concretamente no que concerne a concepção e utilização de sistemas musicais interactivos, com o fim de estabelecer metodologias que possam fornecer um processo composicional mais transparente, flexível e dinâmico. Pretendemos então desenvolver uma metodologia que permita uma prática composicional mais adequada a este contexto, tornando os processos mais subjectivos, dinâmicos e transparentes, no sentido de facilitar as relações que se estabelecem com o computador, explorando ideias musicais de uma forma criativa, assim como melhorar o discurso que pode ser estabelecido com outros músicos, o público e o meio ambiente. Ao direccionar esta investigação para a intersecção entre música por intermédio do computador e a interacção levantam-se questões importantes que serão abordadas no desenvolvimento desta tese. A definição dos limites da composição no contexto da música interactiva por computador é ambígua, dado que esta prática se encontra intimamente relacionada com composição algorítmica ou com design sonoro por um lado, e por outro com performação e improvisação. A identificação e compreensão de modelos, técnicas e conceitos utilizados neste contexto tecnológico torna-se fundamental na definição da abrangência do nosso estudo. Deste modo, questionamos as ferramentas que utilizamos, o modo como são usadas e quais os objectivos que levaram à sua criação. Esta ideia também se estende à natureza dos materiais utilizados, exigindo uma compreensão mais aprofundada do computador como um medium, e das possíveis articulações que se estabelecem entre o compositor, os resultados sonoros e respectivos processos musicais. A definição de obra musical no contexto da música interactiva entende-se como uma acção ao invés de um objecto, dada a sua natureza efémera. Esta característica aprofunda a sua relação com as práticas de música improvisada. Com o objectivo de desenvolver estratégias mais adequadas para criação de situações interactivas por intermédio do computador são seguidas duas direcções de investigação complementares. Em primeiro lugar, levanta-se a necessidade de fazer um levantamento histórico sobre as práticas musicais interactivas no sentido de extrair os aspectos mais significativos para a música contemporânea. Pretendemos deste modo identificar possíveis soluções a desenvolver na componente prática da nossa investigação. Em segundo lugar, passamos para a aplicação prática destas soluções, através de um trabalho musical que permite a implementação e avaliação dessas hipóteses. Reconhecendo a natureza transdisciplinar do nosso estudo, adoptamos uma metodologia orientada para a acção (action-based research) ⁠ tal como preconizado por Coghlan e Brannick (2010). Deste modo, direccionamos a revisão literária para a compreensão geral da música interactiva em busca de estratégias e modelos que possam indiciar possíveis acções na nossa prática. Em seguida, prosseguimos com a nossa investigação desenvolvendo uma análise teórica e metodológica em paralelo com uma experimentação prática, em ciclos iterativos de acção, planeamento, implementação e avaliação. Fazer um levantamento das possíveis articulações que podem ser estabelecidas entre o compositor e a sua obra permite identificar abordagens alternativas que têm sido levadas a cabo para mediar ideias composicionais, com a expectativa de proporcionar uma compreensão mais profunda da natureza do meio computacional. Desta forma, no primeiro capítulo, investigamos diferentes direcções apontando para a exploração de novas sonoridades e para a delegação de intenções musicais a meios mecânicos, performadores e audiência. Consagramos também neste capítulo a nossa atenção à mudança de paradigma: das obras de formato fixo para obras que tomam a noção de processo como foco central. Esta noção de processo, como o conjunto de técnicas e estratégias mentais que levam à criação da obra musical, é de particular relevância para o nosso estudo. Nesta perspectiva, abordamos diversas obras: desde as primeiras obras no seio da música experimental de John Cage, aos compositores minimais como Steve Reich, passando pelo trabalho desenvolvido por Karlheinz Stockhausen. Também relevantes, são as possibilidades de interacção que se desenvolveram a partir da música electrónica, em que a espontaneidade da performação é particularmente valorizada em prejuízo da forma, contexto em que a Sonic Arts Union assumiu um papel preponderante. No segundo capítulo, a investigação centra-se na natureza computacional e nas estratégias que foram desenvolvidas no sentido de tomar partido do computador para a prática musical. Partindo da máquina de Turing e do conceito de algoritmo, procuramos também proporcionar um entendimento do funcionamento deste tipo de máquinas e das estratégias que se adoptaram para formalizar processos musicais, dando origem à composição assistida por computador. Deste modo, questionamos as ferramentas que utilizamos, o modo como são usadas e quais os objectivos que levaram à sua criação. Esta ideia também se estende à natureza dos materiais utilizados, exigindo uma compreensão mais aprofundada do computador como um medium, e das possíveis articulações que se estabelecem entre o compositor, os resultados sonoros e respectivos processos musicais. No sentido de aprofundar as possibilidades de interacção que os computadores proporcionam, no terceiro capítulo analisamos os sistemas musicais interactivos que se desenvolveram a partir da década de 1970, com o intuito de sublinhar possíveis direcções para a nossa prática musical. Procuramos não só identificar as técnicas e estratégias utilizadas para a criação sonora em tempo-real mas também as possibilidades comunicacionais que daí advêm. No quarto capítulo abordamos os desenvolvimentos mais recentes das artes computacionais no sentido de estabelecer uma nova perspectiva relativamente à prática musical interactiva. Considerando o meio computacional do ponto de vista creativo, em oposição à ideia do computador como uma mera ferramenta, assumimos a programação interactiva como um potencial promissor para a prática musical interactiva. Esta investigação é sustentada por uma prática musical interactiva que se desenvolve através da criação de Thr44, um framework computacional através do qual procuramos proporcionar um contexto mais dinâmico, flexível e transparente para a criação de sistemas musicais interactivos. Em Thr44, relacionamos abordagens à programação interactiva, nomeadamente o live-coding, com o desenvolvimento prévio de um conjunto de objectos e comportamentos que podem ser articulados durante a performação. Estratégias e paradigmas, como por exemplo, a programação baseada em protótipos podem ser usados e modificados dinamicamente (on-the-fly) facilitando a prototipagem de ideias, assim como o incremento de decisões composicionais no âmbito da performação. Procuramos com esta investigação contribuir para a discussão sobre a música interactiva baseada no computador com o objectivo de proporcionar uma compreensão mais profunda destas práticas, dos seus desenvolvimento e das relações que se estabelecem com as ciências e as tecnologias, no contexto da música contemporânea. Nesta perspectiva, propomos uma alternativa às práticas dominantes, que não só afirmam a nossa impotência para interferir com a evolução tecnológica, mas também dificultam as potencialidades criativas que daí podem advir. Consequentemente, procuramos não apenas contribuir com uma reflexão teórica sobre estas práticas, mas também disponibilizamos o sistema computacional desenvolvido, de modo a promover a discussão e experimentação em torno das práticas musicais interactivas