Simulating music from the latent space of a Variational Autoencoder

Este Trabajo de Fin de Grado desarrolla la adaptación de una herramienta de generación de simulaciones musicales pseudoaleatoria con otra herramienta que integra técnicas de composición artificial mediante interpolaciones. Para comenzar se describirá la idea principal de proyecto seguido de la motivación que hay tras este trabajo. A continuación, se expondrán varias aplicaciones actuales que manejan la creación de música. De igual forma, se comentarán las principales librerías que usan dichas aplicaciones y los modelos que integran. Acto seguido, se listarán los objetivos del trabajo, así como las hipótesis que criticaremos en el apartado de conclusiones. También se definirá el alcance del proyecto y las restricciones que se han dado durante el proceso del mismo. Más adelante se definirá el flujo del programa y se desarrollará la forma de integración que tiene cada proceso. Se introducirán los modelos usados y su aplicación directa en el trabajo. Seguido de esto, se definirán para cada proceso los ficheros, almacén de datos, librerías, tecnologías usadas y versión de las mismas. Para afianzar las bases del proyecto, se describirán los experimentos realizados y los resultados obtenidos. Por último, se referencian los objetivos anteriormente mencionados y comentado el grado de satisfacción de los mismos, dificultades encontradas y lo aprendido. Se realizará el mismo proceso para las hipótesis lanzadas. Por último, se comentan las ideas de trabajo futuro

Generación de música ambiente aplicando algoritmos inteligentes en la extracción de las características de una imagen.

Trabajo de Fin de Grado. Grado en Ingeniería Informática. Curso académico 2021-2022.[ES]En este trabajo se ha desarrollado una plataforma web que crea una comunidad de usuarios interesados en la generación de paisajes sonoros. El sitio web, que ha sido concebido como un sistema muy similar a una red social, tiene su principal objetivo en permitir a los usuarios la subida de imágenes y la generación automática del paisaje sonoro correspondiente mediante el uso de algoritmos inteligentes. Un paisaje sonoro es una descripción sonora de un entorno concreto. Por lo tanto, los paisajes sonoros siempre están conectados a un componente visual, ya que puede capturar sonidos de una ciudad urbana, un campo o un lugar doméstico. Para llevar a cabo su generación automática se realizará un reconocimiento de imágenes a los archivos subidos a la web, y, a partir de los objetos identificados, se escogerán sus sonidos correspondientes de una base de datos previamente creada y se producirá el paisaje sonoro. Asimismo, la plataforma web hará pública esta dupla imagen-paisaje sonoro en el momento en el que el usuario decida generar el audio. Estas publicaciones podrán ser accedidas por el resto de los usuarios, permitiéndoles valorarlas mediante un sistema de “Me gusta”, escribir comentarios en las publicaciones y permitir que los usuarios se sigan entre sí. Para el desarrollo del proyecto se va a utilizar la metodología del Proceso Unificado y se aplicará un patrón arquitectónico llamado Flux, en el que el flujo de los datos es unidireccional y facilita, de este modo la depuración y corrección de errores de la aplicación. Todo el proceso se encuentra recogido en este documento y en los anexos de la documentación.[EN]In this work, a web platform has been developed that creates a community of users interested in the generation of soundscapes. The website, which has been conceived as a system very similar to a social network, has its main objective in allowing users to upload images and automatically generate the corresponding soundscape using intelligent algorithms. A soundscape is a sound description of a particular environment. Therefore, soundscapes are always connected to a visual component, as it can capture sounds from an urban city, a countryside, or a domestic place. To carry out its automatic generation, an image recognition will be carried out to the files uploaded to the web, and, from the identified objects, their corresponding sounds will be chosen from a previously created database, and the soundscape will be produced. In addition, the web platform will make public this image-soundscape pair when the user decides to generate the audio. These publications can be accessed by the rest of the users, allowing them to rate them through a "Like" system, write comments on the publications and allow users to follow each other. For the development of the project, the Unified Process methodology will be used, and an architectural pattern called Flux will be applied, in which the flow of the data is unidirectional and makes easier the debugging and correction of errors of the application. The whole process is included in this document and in the annexes of the documentation

Etno-music: plataforma para la generación colaborativa basada en el análisis musical de la música popular modal en Castilla y León

[ES]El proceso de generación musical con inteligencia artificial resulta de un gran interés desde el punto de vista social, debido a la subjetividad de los resultados musicales, y al dinamismo del contexto. Esta tesis plantea la generación y el análisis musical de una parte del repertorio de la canción popular española. Se realizará una búsqueda, clasificación y análisis de diferentes fuentes sobre música española de tradición oral, en los que la etnomusicología se hace esencial para la consecución de los objetivos. Con los materiales recogidos, se generará una plataforma que permitirá, por un lado, la recolección ordenada y etiquetada del material obtenido y, por otro, aplicar técnicas informáticas para la extracción y análisis de conocimiento. A partir de este contenido, se diseñará una plataforma de colaboración entre hombre y máquina, y de aprendizaje para aquellos interesados en la generación de música popular de tipo melódico en diferentes modos

Generación de componentes para la creación y evaluación de poemas musicales: módulo de componentes para la generación musical

El presente trabajo consta del diseño e implementación de un sistema de generación musical basado en técnicas utilizadas en el campo de la Inteligencia Artificial. Este TFG se engloba dentro de un proyecto mayor en el que se generan música para poemas también autogenerados y se lleva a cabo un estudio posterior de su empaste. Los módulos pertenecientes a las secciones de generación de poemas y evaluación del empaste, fueron presentados por Mª Luisa Quiroga y Carlos Martín Testillano en un TFG anterior el año 2018-2019 bajo el título "Generación de componentes para la creación y evaluación de poemas musicales". La composición musical ha sido un campo de investigación que se ha enfocado desde diferentes ángulos. Desde la propia teoría musical, hasta la psicología, han estudiado la evolución y el efecto de la música y sus patrones compositivos. En este trabajo, se quiere dar un enfoque diferente a la composición musical y, ya que ésta ha estado siempre vinculada a un factor humano, durante el transcurso del documento hablaremos de "generación musical 2 no de composición musical". Esta razón se debe a que al no haber una persona que sea directamente partícipe en el proceso compositivo, ni que tome decisiones activamente, se pasa a considerar que las canciones surgidas son generadas y no compuestas. El sistema, por tanto, es un sistema capaz de estudiar los patrones compositivos de las melodías que le son facilitadas. Dicho estudio permite la generación osterior de una melodía completamente nueva e independiente de las canciones facilitadas pero manteniendo algunas de sus características a partir de su aprendizaje. Durante el desarrollo del proyecto se han estudiado y probado diferentes técnicas y métodos de Inteligencia Artificial relacionados con la generación musical y se han evaluado los resultados de las técnicas utilizadas atendiendo a diferentes criterios. Adicionalmente, se ha estudiado la posibilidad de recrear técnicas compositivas clásicas

A Deep Learning Approach to generate Beethoven's 10th Symphony

Luidwig van Beethoven composed his symphonies between 1799 and 1825, when he was writing his Tenth symphony. As we dispose of a great amount of data belonging to his work, the purpose of this project is to work on the possibility of extracting patterns on his compositional model and generate what would have been his last symphony, the Tenth. Computational creativity is an Artificial Intelligence field which is still being developed. One of its subfields is music generation, to which this project belongs. Also, there is an open discussion about the belonging of the creativity, to the machine or the programmer. Firstly we have extracted all the symphonies' scores information, structuring them by instrument. Then we have used Deep Learning techniques to extract knowledge from the data and later generate new music. The neural network model is built based on the Long Short-Therm Memory (LSTM) neural networks, which are distinguished from others since these ones contain a memory module. After training the model and predict new scores, the generated music has been analyzed by comparing the input data with the results, and establishing differences between the generated outputs based on the training data used to obtain them. The result's structure depends on the symphonies used for training, so obtained music presents Beethoven's style characteristics

Deep Learning : neural networks for generating music

Durante los últimos años se está debatiendo si la inteligencia artificial es capaz de generar arte como si de una persona se tratase. El objetivo de este proyecto es crear música de manera artificial sin que se pueda apreciar si ha sido creada por una máquina o por un artista. Por consiguiente, se realizan diferentes experimentos para determinar si es mejor entrenar con un conjunto de datos especializados de entrenamiento o con un conjunto más amplio sin especializar. Además, se quiere observar cómo influye el batch size en este entrenamiento. Como consecuencia, para ello, la base se parte des del proyecto Folk-rnn [1] de IraKorshunova. Asimismo, la generación de música folk irlandesa se realiza mediante una red neuronal de tipo recurrente (RNN). Ésta posee bloques de larga memoria a corto plazo (Long Short-Term Memory LSTM) y está implementado en python con la librería Theano. Por lo que respecta al formato que se utiliza para entrenar la red y crear música es ABC [2] y se tratan las notas musicales como caracteres.During the last years, it is being debated whether an artificial intelligence is capable of generating art as if it was a person. The objective of this project is to create music in an artificial way, without have been able to appreciate if it has been created by an artist or a machine. In addition, different experiments are carried out to determine if training with a specialized data set of training is better than with a larger set without specializing and how batch size influences training. This is part of the project Folk-rnn [1] IraKorshunova. Likewise, the generation of Irish folk music is carried out through a recurrent type of neural network (RNN). It has blocks of long term memory (Long Short-Term Memory LSTM) and is implemented in python with the Theano library. Regarding the format that is used to train the network and create music is ABC [2] and treat the musical notes as characters.Durant els últims anys s'està debatent si la intel·ligència artificial és capaç de generar art com si d'una persona es tractés. L'objectiu d'aquest projecte és crear música de manera artificial sense que es pugui apreciar si ha estat creada per una màquina o per un artista. Per tant, es realitzen diferents experiments per determinar si és millor entrenar amb un conjunt de dades especialitzats d'entrenament o amb un conjunt més ampli sense especialitzar. A més, es vol observar com influeix el batch size en aquest entrenament. Com a conseqüència, per a això, la base es parteix des del projecte Folk-RNN [1] de IraKorshunova. Així mateix, la generació de música folk irlandesa es realitza mitjançant una xarxa neuronal de tipus recurrent (RNN). Aquesta posseeix blocs de llarga memòria a curt termini (Long Short-Term Memory LSTM) i està implementat en python amb la llibreria Theano. Pel que fa al format que s'utilitza per entrenar la xarxa i crear música és ABC [2] i es tracten les notes musicals com caràcters

Procedural and adaptative music generation for videogames

Trabajo de Fin de Grado en Desarrollo de Videojuegos, Facultad de Informática UCM, Departamento de Sistemas Informáticos y Computación, Curso 2019/2020.La música procedural permite crear piezas de manera completamente automática en tiempo real. Esta se forma siguiendo un conjunto de reglas definidas por el compositor que crea el sistema. Además, si dichas reglas tienen la capacidad de modificarse adaptándose a eventos y cambios decimos que el sistema es adaptativo y, por lo tanto, creará música adaptativa. Esta idea ha sido explorada en otras áreas, y es muy útil en el ámbito de los videojuegos, donde la música desempeña un papel esencial potenciando las emociones que se desean transmitir al jugador, de forma análoga a la narrativa. El hecho de que esta música pueda llegar a sonar durante muchas horas supone un reto para los compositores, que deben evitar caer en melodías repetitivas o agobiantes para no romper esta inmersión. Es por esto por lo que se ha creado una herramienta para Unity que, trabajando en conjunto con una plataforma de síntesis de audio y composición algorítmica llamada Supercollider, es capaz de crear distintos tipos de piezas procedurales y adaptarlas a distintos videojuegos. Para ello se ofrece al usuario la posibilidad de seleccionar entre tópicos clásicos de los videojuegos, así como seleccionar la forma en que su videojuego afecta a la composición. De esta forma, se trabaja uno de los aspectos menos tratados en el desarrollo de videojuegos (comparado con otros como el arte, diseño y programación) gracias a una herramienta distinta a las usuales y que hace hincapié en el apartado sonoro y musical de la obra.Procedural music allows the creation of musical pieces in a totally automatic way, all in real-time. Said music is created following a set of rules defined by the composer who creates the system. In addition, if said rules have the capacity to change, adapting themselves to certain events, we say the system is adaptative and therefore, creates adaptative music. This idea has been widely explored in other areas, and it’s useful in videogames, where the music performs a key role enhancing the emotions destined to the player, in a similar way as the narrative does. The fact that this music can last so much time playing is a challenge for composers, who must avoid using repetitive or oppressive melodies in order not to break this immersion. Thus, a tool for Unity has been created; a tool which, working along an audio synthesis and algorithmic composition platform called Supercollider, can create different types of procedural pieces and adapt them to the videogame. To do so, the user is offered the possibility of selecting among classic videogame topics, as well as choose the way he wants his videogame to affect the composition. This way, we treat a side aspect in terms of videogame development (compared to others as art, design and programming), thanks to a different tool specialized on the sonorous and musical area of the videogame.Depto. de Sistemas Informáticos y ComputaciónFac. de InformáticaTRUEunpu