Compressió de xarxes neuronals convolucionals amb la Descomposició Tucker

Nowadays, deep neural networks are being introduced in mobile devices where memory space and computation speed is limited. Therefore, the need for more com- pression in those networks has increased. In this work, we explore a way to com- press the convolutional neural networks by reducing the number of weights in their convolutional layers. This method consists on the Tucker decomposition of tensors introduced on the kernels of the convolutional layers. Two different architectures, one with three convolutional layers and another with five, are the base of our study. We employ the Tucker decomposition in different forms, with more or less compression. We compute their compression rates versus the accuracy and loss (training and test) for the CIFAR-10 dataset, in order to see how good the performance of the compressed models is with respect to the original. The decomposition achieves its best results when compressing partially each kernel layer, up to 70%. Finally, we visualize the probability density function of the filters, contrasting its shape in function of the compression. From those plots, we conclude that, not only we are able to reduce the number of parameters, but also the number of bits needed to store them if we use entropy encoding.Últimament es van introduïnt les xarxes neuronals als dispositius móbils, quan la seva capacitat i velocitat de computació estan limitades. Això acompanya a la necessitat d’introduïr la compressió d’aquestes xarxes neuronals. Amb aquest projecte, s’explora una forma de comprimir les xarxes neuronals convolucionals, reduïnt el nombre de pesos a les seves capes convolucionals. Aquest mètode consisteix en la descomposió de tensors anomenada Tucker, que s’introdueix als nuclis de les capes convolucionals. Dues extructures diferents, una amb tres capes convolucionals i una altra amb cinc, s’usen com a base d’estudi. Es duu a terme la descomposició de Tucker de diferents maneres, amb més o menys compressió. Es computen les pèrdues i precisions (en l’entrenament i el test) de la base de dades CIFAR-10, per veure quin és el seu rendiment en funció del model original. La descomposició aconsegueix millors resultats quan es comprimeix parcialment cada capa, fins a una compressió del ∼70%. Finalment, es visualitza la forma de la funció de densitat de probabilitat dels pesos en funció de la compressió. A partir d’aquí, es conclueix que, no només es poden reduïr el número de paràmetres, sinò també el nombre de bits usats per emmagatzemar-los, si usem un mètode de codificació entròpica.Últimamente, se van introduciendo las redes neuronales en dispositivos móviles, cuándo su memoria y velocidad de computación son limitados. Entonces, esto acompaña a la necesidad de comprimir esas redes neuronales. En este proyecto, se explora una forma de comprimir redes neuronales convolucionales reduciendo el número de pesos en sus capas convolucionales. Este método consiste en la descomposición de tensores Tucker, que se introduce en los núcleos de las capas convolucionales. Dos estructuras diferentes, una con tres capas convolucionales y otra con cinco, se usan como base del estudio. Se emplea la descomposición de Tucker de formas distintas, con más o menos compresión. Se computen las pérdidas y la precisión (en entrenamiento y test) en función del ratio de compresión del modelo para la base de datos CIFAR-10, para ver su rendimiento con respeto al modelo original. La descomposición alcanza sus mejores resultados cuando se comprime parcialmente cada capa, hasta una compresión del ∼70%. Finalmente, se visualiza la forma de la función de densidad de probabilidad de los pesos en función de la compresión. A partir de esto, se conclude que, no solo se puede reducir el número de parámetros sino también el número de bits usados para almacenarlos, si usamos un método de codificación entrópica

Compressió de xarxes neuronals convolucionals amb la Descomposició Tucker

Nowadays, deep neural networks are being introduced in mobile devices where memory space and computation speed is limited. Therefore, the need for more com- pression in those networks has increased. In this work, we explore a way to com- press the convolutional neural networks by reducing the number of weights in their convolutional layers. This method consists on the Tucker decomposition of tensors introduced on the kernels of the convolutional layers. Two different architectures, one with three convolutional layers and another with five, are the base of our study. We employ the Tucker decomposition in different forms, with more or less compression. We compute their compression rates versus the accuracy and loss (training and test) for the CIFAR-10 dataset, in order to see how good the performance of the compressed models is with respect to the original. The decomposition achieves its best results when compressing partially each kernel layer, up to 70%. Finally, we visualize the probability density function of the filters, contrasting its shape in function of the compression. From those plots, we conclude that, not only we are able to reduce the number of parameters, but also the number of bits needed to store them if we use entropy encoding.Últimament es van introduïnt les xarxes neuronals als dispositius móbils, quan la seva capacitat i velocitat de computació estan limitades. Això acompanya a la necessitat d’introduïr la compressió d’aquestes xarxes neuronals. Amb aquest projecte, s’explora una forma de comprimir les xarxes neuronals convolucionals, reduïnt el nombre de pesos a les seves capes convolucionals. Aquest mètode consisteix en la descomposió de tensors anomenada Tucker, que s’introdueix als nuclis de les capes convolucionals. Dues extructures diferents, una amb tres capes convolucionals i una altra amb cinc, s’usen com a base d’estudi. Es duu a terme la descomposició de Tucker de diferents maneres, amb més o menys compressió. Es computen les pèrdues i precisions (en l’entrenament i el test) de la base de dades CIFAR-10, per veure quin és el seu rendiment en funció del model original. La descomposició aconsegueix millors resultats quan es comprimeix parcialment cada capa, fins a una compressió del ∼70%. Finalment, es visualitza la forma de la funció de densitat de probabilitat dels pesos en funció de la compressió. A partir d’aquí, es conclueix que, no només es poden reduïr el número de paràmetres, sinò també el nombre de bits usats per emmagatzemar-los, si usem un mètode de codificació entròpica.Últimamente, se van introduciendo las redes neuronales en dispositivos móviles, cuándo su memoria y velocidad de computación son limitados. Entonces, esto acompaña a la necesidad de comprimir esas redes neuronales. En este proyecto, se explora una forma de comprimir redes neuronales convolucionales reduciendo el número de pesos en sus capas convolucionales. Este método consiste en la descomposición de tensores Tucker, que se introduce en los núcleos de las capas convolucionales. Dos estructuras diferentes, una con tres capas convolucionales y otra con cinco, se usan como base del estudio. Se emplea la descomposición de Tucker de formas distintas, con más o menos compresión. Se computen las pérdidas y la precisión (en entrenamiento y test) en función del ratio de compresión del modelo para la base de datos CIFAR-10, para ver su rendimiento con respeto al modelo original. La descomposición alcanza sus mejores resultados cuando se comprime parcialmente cada capa, hasta una compresión del ∼70%. Finalmente, se visualiza la forma de la función de densidad de probabilidad de los pesos en función de la compresión. A partir de esto, se conclude que, no solo se puede reducir el número de parámetros sino también el número de bits usados para almacenarlos, si usamos un método de codificación entrópica

Connection-admission control in multimedia heterogeneous wireless networks

Define procedures for QoS provisioning connection-admission control in multimedia heterogeneous (BS of different kind) LTE wireless networks, where users can be associated to macro base stations (MBS) or small cells (SCe). Evaluate the performance in conditions compliant with LTE evaluation metodologies.[ANGLÈS] The interest in multimedia wireless networks has increased incredibly due to the need for a better communication system. The purpose of this project is to allocate all users with the optimum configuration; that is, the maximum bit rate possible per user in function of the interference between stations that share the same band and other constraints. In order to accomplish this objective, an energy function is defined so that the minimum value is the best solution to the problem. Some algorithms are tested and, with a simulated annealing algorithm, some results are evaluated for three cases (single cell, multiple-cell orthogonal access and multiple-cell with interference).[CASTELLÀ] El interés por las redes multimedia 'wireless' ha aumentado increíblemente debido a la necesidad de una mejora en la comunicación. El propósito de este proyecto es asignar todos los usuarios a la configuración óptima, es decir, a el bit ratio mayor posible por usuario en función de la interferencia entre estaciones que comparten la misma banda y otras restricciones. Para cumplir con el objetivo, se define una función de energía con valor mínimo en la solución del problema. Se testean algunos algoritmos y se evalúan algunos resultados para tres casos (una sola cela, múltiples celas con acceso ortogonal y múltiples celas con interferencia).[CATALÀ] L'interès en xarxes multimèdia sense fils ha augmentat increïblement degut a la necessitat d'una millora en la comunicació. El propòsit d'aquest projecte és assignar tots els usuaris a la configuració òptima, és a dir, al màxim possible bit ràtio per usuari a la funció d'interferència entre estacions que comparteixen la mateixa banda i altres restriccions. Per tal de complir aquest objectiu, una funció d'energia es defineix per tal que el valor mínim d'aquesta sigui la millor solució al problema. Es testegen alguns algorismes i alguns resultats són avaluats per tres casos (una sola cel·la, múltiples cel·les amb accés ortogonal i múltiples cel·les amb interferència)

Abstract Number ‐ 18: Potential impact in low and middle‐income countries stroke networks of a deep learning triage tool

Introduction Early and accurate identification of large vessel occlusion (LVO) and intracranial hemorrhage (ICH) on initial neuroimaging is essential in a stroke network. A machine learning algorithm (MLA) able to predict LVO or ICH on non‐contrast computed tomography (NCCT) may accelerate workflows.We performed a validation analysis to measure the MLA accuracy among suspected stroke patients transferred to a Comprehensive Stroke Centre (CSC) in Mexico and the possible impact on the workflow in low and middle income countries (LMIC) . Methods From February 2021 to March 2022 consecutive patients with suspected acute stroke who underwent NCCT and computed tomography angiography (CTA) were included. MLA prediction of LVO and ICH was tested against expert physicians readings and clinical follow‐up. We calculated sensitivity, specificity, positive predictive value and negative predictive value. Receiver operating curves were generated for MLA‐LVO, MLA‐ICH and; areas under the curve were calculated. Potential time savings and impact on workflow times were calculated for a scenario in which MLA could analyse initial NCCT at PSC avoiding imaging repetition at CSC. Results 140 consecutive patients admitted from march 2021 to February 2022 were included in the study, final physicians diagnostics were: 22 ICH (15.7%) and 53 LVO (37.8%) MLA detected 22 ICH (15.7%) and 58 LVO (41.4%).The area under the curve for the identification of ICH with MLA was 0.97 (sensitivity: 94%, specificity: 91%, positive predictive value: 83.3%[MR1][JL2], negative predictive value: 100%). The area under the curve for the identification of LVO with MLA was 0.91 (sensitivity: 100%, specificity: 95.8%, positive predictive value: 85.7%, negative predictive value: 96.4%). Implementation of MLA‐LVO in the network could save CTA acquisition times of 40 (IQR 26) minutes by taking patients directly to the angiosuite for endovascular treatment. Conclusions In patients with suspected acute stroke, a MLA can quickly and reliably predict ICH and LVO. Such a tool could accelerate the diagnosis, mitigate the contrast imaging dependency and improve the workflow efficiency in stroke networks in LMIC where access to contrast imaging is often limited