A Greedy Iterative Layered Framework for Training Feed Forward Neural Networks

info:eu-repo/grantAgreement/FCT/3599-PPCDT/PTDC%2FCCI-INF%2F29168%2F2017/PT" Custode, L. L., Tecce, C. L., Bakurov, I., Castelli, M., Cioppa, A. D., & Vanneschi, L. (2020). A Greedy Iterative Layered Framework for Training Feed Forward Neural Networks. In P. A. Castillo, J. L. Jiménez Laredo, & F. Fernández de Vega (Eds.), Applications of Evolutionary Computation - 23rd European Conference, EvoApplications 2020, Held as Part of EvoStar 2020, Proceedings (pp. 513-529). (Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics); Vol. 12104 LNCS). Springer. https://doi.org/10.1007/978-3-030-43722-0_33In recent years neuroevolution has become a dynamic and rapidly growing research field. Interest in this discipline is motivated by the need to create ad-hoc networks, the topology and parameters of which are optimized, according to the particular problem at hand. Although neuroevolution-based techniques can contribute fundamentally to improving the performance of artificial neural networks (ANNs), they present a drawback, related to the massive amount of computational resources needed. This paper proposes a novel population-based framework, aimed at finding the optimal set of synaptic weights for ANNs. The proposed method partitions the weights of a given network and, using an optimization heuristic, trains one layer at each step while “freezing” the remaining weights. In the experimental study, particle swarm optimization (PSO) was used as the underlying optimizer within the framework and its performance was compared against the standard training (i.e., training that considers the whole set of weights) of the network with PSO and the backward propagation of the errors (backpropagation). Results show that the subsequent training of sub-spaces reduces training time, achieves better generalizability, and leads to the exhibition of smaller variance in the architectural aspects of the network.authorsversionpublishe

Applications of Emerging Smart Technologies in Farming Systems: A Review

The future of farming systems depends mainly on adopting innovative intelligent and smart technologies The agricultural sector s growth and progress are more critical to human survival than any other industry Extensive multidisciplinary research is happening worldwide for adopting intelligent technologies in farming systems Nevertheless when it comes to handling realistic challenges in making autonomous decisions and predictive solutions in farming applications of Information Communications Technologies ICT need to be utilized more Information derived from data worked best on year-to-year outcomes disease risk market patterns prices or customer needs and ultimately facilitated farmers in decision-making to increase crop and livestock production Innovative technologies allow the analysis and correlation of information on seed quality soil types infestation agents weather conditions etc This review analysis highlights the concept methods and applications of various futuristic cognitive innovative technologies along with their critical roles played in different aspects of farming systems like Artificial Intelligence AI IoT Neural Networks utilization of unmanned vehicles UAV Big data analytics Blok chain technology et

MARBLE: Music Audio Representation Benchmark for Universal Evaluation

In the era of extensive intersection between art and Artificial Intelligence (AI), such as image generation and fiction co-creation, AI for music remains relatively nascent, particularly in music understanding. This is evident in the limited work on deep music representations, the scarcity of large-scale datasets, and the absence of a universal and community-driven benchmark. To address this issue, we introduce the Music Audio Representation Benchmark for universaL Evaluation, termed MARBLE. It aims to provide a benchmark for various Music Information Retrieval (MIR) tasks by defining a comprehensive taxonomy with four hierarchy levels, including acoustic, performance, score, and high-level description. We then establish a unified protocol based on 14 tasks on 8 public-available datasets, providing a fair and standard assessment of representations of all open-sourced pre-trained models developed on music recordings as baselines. Besides, MARBLE offers an easy-to-use, extendable, and reproducible suite for the community, with a clear statement on copyright issues on datasets. Results suggest recently proposed large-scale pre-trained musical language models perform the best in most tasks, with room for further improvement. The leaderboard and toolkit repository are published at this https URL to promote future music AI research

MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT

Towards the Deployment of Machine Learning Solutions in Network Traffic Classification: A Systematic Survey

International audienceTraffic analysis is a compound of strategies intended to find relationships, patterns, anomalies, and misconfigurations, among others things, in Internet traffic. In particular, traffic classification is a subgroup of strategies in this field that aims at identifying the application's name or type of Internet traffic. Nowadays, traffic classification has become a challenging task due to the rise of new technologies, such as traffic encryption and encapsulation, which decrease the performance of classical traffic classification strategies. Machine Learning gains interest as a new direction in this field, showing signs of future success, such as knowledge extraction from encrypted traffic, and more accurate Quality of Service management. Machine Learning is fast becoming a key tool to build traffic classification solutions in real network traffic scenarios; in this sense, the purpose of this investigation is to explore the elements that allow this technique to work in the traffic classification field. Therefore, a systematic review is introduced based on the steps to achieve traffic classification by using Machine Learning techniques. The main aim is to understand and to identify the procedures followed by the existing works to achieve their goals. As a result, this survey paper finds a set of trends derived from the analysis performed on this domain; in this manner, the authors expect to outline future directions for Machine Learning based traffic classification

Nature-inspired algorithms for solving some hard numerical problems

Optimisation is a branch of mathematics that was developed to find the optimal solutions, among all the possible ones, for a given problem. Applications of optimisation techniques are currently employed in engineering, computing, and industrial problems. Therefore, optimisation is a very active research area, leading to the publication of a large number of methods to solve specific problems to its optimality. This dissertation focuses on the adaptation of two nature inspired algorithms that, based on optimisation techniques, are able to compute approximations for zeros of polynomials and roots of non-linear equations and systems of non-linear equations. Although many iterative methods for finding all the roots of a given function already exist, they usually require: (a) repeated deflations, that can lead to very inaccurate results due to the problem of accumulating rounding errors, (b) good initial approximations to the roots for the algorithm converge, or (c) the computation of first or second order derivatives, which besides being computationally intensive, it is not always possible. The drawbacks previously mentioned served as motivation for the use of Particle Swarm Optimisation (PSO) and Artificial Neural Networks (ANNs) for root-finding, since they are known, respectively, for their ability to explore high-dimensional spaces (not requiring good initial approximations) and for their capability to model complex problems. Besides that, both methods do not need repeated deflations, nor derivative information. The algorithms were described throughout this document and tested using a test suite of hard numerical problems in science and engineering. Results, in turn, were compared with several results available on the literature and with the well-known Durand–Kerner method, depicting that both algorithms are effective to solve the numerical problems considered.A Optimização é um ramo da matemática desenvolvido para encontrar as soluções óptimas, de entre todas as possíveis, para um determinado problema. Actualmente, são várias as técnicas de optimização aplicadas a problemas de engenharia, de informática e da indústria. Dada a grande panóplia de aplicações, existem inúmeros trabalhos publicados que propõem métodos para resolver, de forma óptima, problemas específicos. Esta dissertação foca-se na adaptação de dois algoritmos inspirados na natureza que, tendo como base técnicas de optimização, são capazes de calcular aproximações para zeros de polinómios e raízes de equações não lineares e sistemas de equações não lineares. Embora já existam muitos métodos iterativos para encontrar todas as raízes ou zeros de uma função, eles usualmente exigem: (a) deflações repetidas, que podem levar a resultados muito inexactos, devido ao problema da acumulação de erros de arredondamento a cada iteração; (b) boas aproximações iniciais para as raízes para o algoritmo convergir, ou (c) o cálculo de derivadas de primeira ou de segunda ordem que, além de ser computacionalmente intensivo, para muitas funções é impossível de se calcular. Estas desvantagens motivaram o uso da Optimização por Enxame de Partículas (PSO) e de Redes Neurais Artificiais (RNAs) para o cálculo de raízes. Estas técnicas são conhecidas, respectivamente, pela sua capacidade de explorar espaços de dimensão superior (não exigindo boas aproximações iniciais) e pela sua capacidade de modelar problemas complexos. Além disto, tais técnicas não necessitam de deflações repetidas, nem do cálculo de derivadas. Ao longo deste documento, os algoritmos são descritos e testados, usando um conjunto de problemas numéricos com aplicações nas ciências e na engenharia. Os resultados foram comparados com outros disponíveis na literatura e com o método de Durand–Kerner, e sugerem que ambos os algoritmos são capazes de resolver os problemas numéricos considerados

La valoración de empreses mediante la lógica borrosa

[spa] La complejidad de la toma de decisiones en el campo de la economía y las finanzas se ha incrementado en los últimos años. Como resultado, se está prestando cada vez más atención al desarrollo e implementación de modelos matemáticos que puedan dar respuesta a estos problemas. La investigación en el campo de la lógica borrosa ha sido un tema de creciente interés durante muchas décadas, ya que es un concepto fundamental y común en la ciencia. Desde 1965, cuando se publicó el título seminal "Fuzzy sets" (Zadeh, L. A. 1965), se produjo un cambio de la lógica binaria a la lógica multivalente. Este cambio permite dar paso a teorías relacionadas con la incertidumbre, a través de una metodología borrosa, para poder considerar todos los escenarios posibles en la toma de decisiones, teniendo en cuenta la objetividad y subjetividad de los parámetros a considerar. En general, el objetivo principal de esta tesis doctoral es identificar las características y oportunidades de negocio a través de un análisis de valoración de empresas, que permita una mejor interpretación del contexto incierto para la toma de decisiones. Es decir, la teoría de la decisión en la incertidumbre se desarrolla con la valoración de empresas. Se analiza la situación en la que se encuentra y se estudian las aportaciones que podemos hacer en este campo con los principales algoritmos de lógica difusa estudiados por autores como J. Gil Aluja, A. Kaufmann, R. Yager, entre otros, con especial énfasis en aquellos que han sido aplicados al ámbito empresarial y financiero. La valoración de empresas es un proceso fundamental y complejo en los sistemas económico-financieros. En un entorno que evoluciona hacia formas más complejas e inciertas, es necesario presentar nuevos modelos de valoración empresarial más dinámicos basados en técnicas de tratamiento y gestión de la incertidumbre y toma de decisiones, para eliminar la ambigüedad y la confusión en entornos inciertos. La primera aportación de este trabajo es el análisis del estado de la cuestión realizado a través de dos estudios bibliométricos que estudian las aportaciones de la comunidad científica a la lógica borrosa y la valoración empresarial. Destaca la importancia de los factores subjetivos a la hora de tomar decisiones en un entorno económico y financiero. La segunda contribución es el desarrollo de aplicaciones que muestren la toma de decisiones en la incertidumbre aplicada a los métodos de valoración de empresas. Este estudio nos permite desarrollar algoritmos genéricos y modelos matemáticos que se pueden aplicar a la realidad empresarial, para probar su utilidad. En este trabajo, se destacan el coeficiente de adecuación, el coeficiente de calificación, la distancia de Hamming, la teoría del clon, el modelo de preferencia subjetiva, el algoritmo húngaro, los operadores OWA, los intervalos y los expertones. La tercera contribución es un nuevo algoritmo que combina la matemática borrosa y la valoración de empresas, lo que contribuye al desarrollo de la teoría de la decisión en el ámbito empresarial. En concreto, se desarrolla un modelo de valoración de empresas mediante el descuento de flujos de caja y las matemáticas borrosas, mostrando su utilidad y la posibilidad de ser aplicado por la comunidad académica y profesional en el posterior análisis del valor de una empresa. El modelo propuesto sistematiza y ordena el uso de intervalos para establecer un valor de negocio mínimo y máximo para la empresa. Por lo tanto, hemos encontrado un intervalo de confianza del posible valor comercial. Finalmente, podríamos decir que a nivel general hay dos aportaciones importantes a destacar en esta tesis doctoral: la aplicabilidad y el desarrollo. Aplicamos algoritmos y modelos en los métodos de valoración de empresas y desarrollamos un nuevo algoritmo que contribuye al desarrollo de la teoría de la decisión

La valoración de empreses mediante la lógica borrosa

Programa de Doctorat en Empresa[spa] La complejidad de la toma de decisiones en el campo de la economía y las finanzas se ha incrementado en los últimos años. Como resultado, se está prestando cada vez más atención al desarrollo e implementación de modelos matemáticos que puedan dar respuesta a estos problemas. La investigación en el campo de la lógica borrosa ha sido un tema de creciente interés durante muchas décadas, ya que es un concepto fundamental y común en la ciencia. Desde 1965, cuando se publicó el título seminal "Fuzzy sets" (Zadeh, L. A. 1965), se produjo un cambio de la lógica binaria a la lógica multivalente. Este cambio permite dar paso a teorías relacionadas con la incertidumbre, a través de una metodología borrosa, para poder considerar todos los escenarios posibles en la toma de decisiones, teniendo en cuenta la objetividad y subjetividad de los parámetros a considerar. En general, el objetivo principal de esta tesis doctoral es identificar las características y oportunidades de negocio a través de un análisis de valoración de empresas, que permita una mejor interpretación del contexto incierto para la toma de decisiones. Es decir, la teoría de la decisión en la incertidumbre se desarrolla con la valoración de empresas. Se analiza la situación en la que se encuentra y se estudian las aportaciones que podemos hacer en este campo con los principales algoritmos de lógica difusa estudiados por autores como J. Gil Aluja, A. Kaufmann, R. Yager, entre otros, con especial énfasis en aquellos que han sido aplicados al ámbito empresarial y financiero. La valoración de empresas es un proceso fundamental y complejo en los sistemas económico-financieros. En un entorno que evoluciona hacia formas más complejas e inciertas, es necesario presentar nuevos modelos de valoración empresarial más dinámicos basados en técnicas de tratamiento y gestión de la incertidumbre y toma de decisiones, para eliminar la ambigüedad y la confusión en entornos inciertos. La primera aportación de este trabajo es el análisis del estado de la cuestión realizado a través de dos estudios bibliométricos que estudian las aportaciones de la comunidad científica a la lógica borrosa y la valoración empresarial. Destaca la importancia de los factores subjetivos a la hora de tomar decisiones en un entorno económico y financiero. La segunda contribución es el desarrollo de aplicaciones que muestren la toma de decisiones en la incertidumbre aplicada a los métodos de valoración de empresas. Este estudio nos permite desarrollar algoritmos genéricos y modelos matemáticos que se pueden aplicar a la realidad empresarial, para probar su utilidad. En este trabajo, se destacan el coeficiente de adecuación, el coeficiente de calificación, la distancia de Hamming, la teoría del clon, el modelo de preferencia subjetiva, el algoritmo húngaro, los operadores OWA, los intervalos y los expertones. La tercera contribución es un nuevo algoritmo que combina la matemática borrosa y la valoración de empresas, lo que contribuye al desarrollo de la teoría de la decisión en el ámbito empresarial. En concreto, se desarrolla un modelo de valoración de empresas mediante el descuento de flujos de caja y las matemáticas borrosas, mostrando su utilidad y la posibilidad de ser aplicado por la comunidad académica y profesional en el posterior análisis del valor de una empresa. El modelo propuesto sistematiza y ordena el uso de intervalos para establecer un valor de negocio mínimo y máximo para la empresa. Por lo tanto, hemos encontrado un intervalo de confianza del posible valor comercial. Finalmente, podríamos decir que a nivel general hay dos aportaciones importantes a destacar en esta tesis doctoral: la aplicabilidad y el desarrollo. Aplicamos algoritmos y modelos en los métodos de valoración de empresas y desarrollamos un nuevo algoritmo que contribuye al desarrollo de la teoría de la decisión