376 research outputs found

    LIPIcs, Volume 251, ITCS 2023, Complete Volume

    Get PDF
    LIPIcs, Volume 251, ITCS 2023, Complete Volum

    Tools for efficient Deep Learning

    Get PDF
    In the era of Deep Learning (DL), there is a fast-growing demand for building and deploying Deep Neural Networks (DNNs) on various platforms. This thesis proposes five tools to address the challenges for designing DNNs that are efficient in time, in resources and in power consumption. We first present Aegis and SPGC to address the challenges in improving the memory efficiency of DL training and inference. Aegis makes mixed precision training (MPT) stabler by layer-wise gradient scaling. Empirical experiments show that Aegis can improve MPT accuracy by at most 4\%. SPGC focuses on structured pruning: replacing standard convolution with group convolution (GConv) to avoid irregular sparsity. SPGC formulates GConv pruning as a channel permutation problem and proposes a novel heuristic polynomial-time algorithm. Common DNNs pruned by SPGC have maximally 1\% higher accuracy than prior work. This thesis also addresses the challenges lying in the gap between DNN descriptions and executables by Polygeist for software and POLSCA for hardware. Many novel techniques, e.g. statement splitting and memory partitioning, are explored and used to expand polyhedral optimisation. Polygeist can speed up software execution in sequential and parallel by 2.53 and 9.47 times on Polybench/C. POLSCA achieves 1.5 times speedup over hardware designs directly generated from high-level synthesis on Polybench/C. Moreover, this thesis presents Deacon, a framework that generates FPGA-based DNN accelerators of streaming architectures with advanced pipelining techniques to address the challenges from heterogeneous convolution and residual connections. Deacon provides fine-grained pipelining, graph-level optimisation, and heuristic exploration by graph colouring. Compared with prior designs, Deacon shows resource/power consumption efficiency improvement of 1.2x/3.5x for MobileNets and 1.0x/2.8x for SqueezeNets. All these tools are open source, some of which have already gained public engagement. We believe they can make efficient deep learning applications easier to build and deploy.Open Acces

    Intégration des méthodes formelles dans le développement des RCSFs

    Get PDF
    In this thesis, we have relied on formal techniques in order to first evaluate WSN protocols and then to propose solutions that meet the requirements of these networks. The thesis contributes to the modelling, analysis, design and evaluation of WSN protocols. In this context, the thesis begins with a survey on WSN and formal verification techniques. Focusing on the MAC layer, the thesis reviews proposed MAC protocols for WSN as well as their design challenges. The dissertation then proceeds to outline the contributions of this work. As a first proposal, we develop a stochastic generic model of the 802.11 MAC protocol for an arbitrary network topology and then perform probabilistic evaluation of the protocol using statistical model checking. Considering an alternative power source to operate WSN, energy harvesting, we move to the second proposal where a protocol designed for EH-WSN is modelled and various performance parameters are evaluated. Finally, the thesis explores mobility in WSN and proposes a new MAC protocol, named "Mobility and Energy Harvesting aware Medium Access Control (MEH-MAC)" protocol for dynamic sensor networks powered by ambient energy. The protocol is modelled and verified under several features

    Karma: Resource Allocation for Dynamic Demands

    Full text link
    The classical max-min fairness algorithm for resource allocation provides many desirable properties, e.g., Pareto efficiency, strategy-proofness and fairness. This paper builds upon the observation that max-min fairness guarantees these properties under a strong assumption -- user demands being static over time -- and that, for the realistic case of dynamic user demands, max-min fairness loses one or more of these properties. We present Karma, a generalization of max-min fairness for dynamic user demands. The key insight in Karma is to introduce "memory" into max-min fairness -- when allocating resources, Karma takes users' past allocations into account: in each quantum, users donate their unused resources and are assigned credits when other users borrow these resources; Karma carefully orchestrates exchange of credits across users (based on their instantaneous demands, donated resources and borrowed resources), and performs prioritized resource allocation based on users' credits. We prove theoretically that Karma guarantees Pareto efficiency, online strategy-proofness, and optimal fairness for dynamic user demands (without future knowledge of user demands). Empirical evaluations over production workloads show that these properties translate well into practice: Karma is able to reduce disparity in performance across users to a bare minimum while maintaining Pareto-optimal system-wide performance.Comment: Accepted for publication in USENIX OSDI 202

    Opportunistic communications in large uncoordinated networks

    Get PDF
    (English) The increase of wireless devices offering high data rate services limits the coexistence of wireless systems sharing the same resources in a given geographical area because of inter-system interference. Therefore, interference management plays a key role in permitting the coexistence of several heterogeneous communication services. However, classical interference management strategies require lateral information giving rise to the need for inter-system coordination and cooperation, which is not always practical. Opportunistic communications offer a potential solution to the problem of inter-system interference management. The basic principle of opportunistic communications is to efficiently and robustly exploit the resources available in a wireless network and adapt the transmitted signals to the state of the network to avoid inter-system interference. Therefore, opportunistic communications depend on inferring the available network resources that can be safely exploited without inducing interference in coexisting communication nodes. Once the available network resources are identified, the most prominent opportunistic communication techniques consist in designing scenario-adapted precoding/decoding strategies to exploit the so-called null space. Despite this, classical solutions in the literature suffer from two main drawbacks: the lack of robustness to detection errors and the need for intra-system cooperation. This thesis focuses on the design of a null space-based opportunistic communication scheme that addresses the drawbacks exhibited by existing methodologies under the assumption that opportunistic nodes do not cooperate. For this purpose, a generalized detection error model independent of the null-space identification mechanism is introduced that allows the design of solutions that exhibit minimal inter-system interference in the worst case. These solutions respond to a maximum signal-to-interference ratio (SIR) criterion, which is optimal under non-cooperative conditions. The proposed methodology allows the design of a family of orthonormal waveforms that perform a spreading of the modulated symbols within the detected null space, which is key to minimizing the induced interference density. The proposed solutions are invariant within the inferred null space, allowing the removal of the feedback link without giving up coherent waveform detection. In the absence of coordination, the waveform design relies solely on locally sensed network state information, inducing a mismatch between the null spaces identified by the transmitter and receiver that may worsen system performance. Although the proposed solution is robust to this mismatch, the design of enhanced receivers using active subspace detection schemes is also studied. When the total number of network resources increases arbitrarily, the proposed solutions tend to be linear combinations of complex exponentials, providing an interpretation in the frequency domain. This asymptotic behavior allows us to adapt the proposed solution to frequency-selective channels by means of a cyclic prefix and to study an efficient modulation similar to the time division multiplexing scheme but using circulant waveforms. Finally, the impact of the use of multiple antennas in opportunistic null space-based communications is studied. The performed analysis reveals that, in any case, the structure of the antenna clusters affects the opportunistic communication, since the proposed waveform mimics the behavior of a single-antenna transmitter. On the other hand, the number of sensors employed translates into an improvement in terms of SIR.(Català) El creixement incremental dels dispositius sense fils que requereixen serveis d'alta velocitat de dades limita la coexistència de sistemes sense fils que comparteixen els mateixos recursos en una àrea geogràfica donada a causa de la interferència entre sistemes. Conseqüentment, la gestió d'interferència juga un paper fonamental per a facilitar la coexistència de diversos serveis de comunicació heterogenis. No obstant això, les estratègies clàssiques de gestió d'interferència requereixen informació lateral originant la necessitat de coordinació i cooperació entre sistemes, que no sempre és pràctica. Les comunicacions oportunistes ofereixen una solució potencial al problema de la gestió de les interferències entre sistemes. El principi bàsic de les comunicacions oportunistes és explotar de manera eficient i robusta els recursos disponibles en una xarxa sense fils i adaptar els senyals transmesos a l'estat de la xarxa per evitar interferències entre sistemes. Per tant, les comunicacions oportunistes depenen de la inferència dels recursos de xarxa disponibles que poden ser explotats de manera segura sense induir interferència en els nodes de comunicació coexistents. Una vegada que s'han identificat els recursos de xarxa disponibles, les tècniques de comunicació oportunistes més prominents consisteixen en el disseny d'estratègies de precodificació/descodificació adaptades a l'escenari per explotar l'anomenat espai nul. Malgrat això, les solucions clàssiques en la literatura sofreixen dos inconvenients principals: la falta de robustesa als errors de detecció i la necessitat de cooperació intra-sistema. Aquesta tesi tracta el disseny d'un esquema de comunicació oportunista basat en l'espai nul que afronta els inconvenients exposats per les metodologies existents assumint que els nodes oportunistes no cooperen. Per a aquest propòsit, s'introdueix un model generalitzat d'error de detecció independent del mecanisme d'identificació de l'espai nul que permet el disseny de solucions que exhibeixen interferències mínimes entre sistemes en el cas pitjor. Aquestes solucions responen a un criteri de màxima relació de senyal a interferència (SIR), que és òptim en condicions de no cooperació. La metodologia proposada permet dissenyar una família de formes d'ona ortonormals que realitzen un spreading dels símbols modulats dins de l'espai nul detectat, que és clau per minimitzar la densitat d’interferència induïda. Les solucions proposades són invariants dins de l'espai nul inferit, permetent suprimir l'enllaç de retroalimentació i, tot i així, realitzar una detecció coherent de forma d'ona. Sota l’absència de coordinació, el disseny de la forma d'ona es basa únicament en la informació de l'estat de la xarxa detectada localment, induint un desajust entre els espais nuls identificats pel transmissor i receptor que pot empitjorar el rendiment del sistema. Tot i que la solució proposada és robusta a aquest desajust, també s'estudia el disseny de receptors millorats fent ús de tècniques de detecció de subespai actiu. Quan el nombre total de recursos de xarxa augmenta arbitràriament, les solucions proposades tendeixen a ser combinacions lineals d'exponencials complexes, proporcionant una interpretació en el domini freqüencial. Aquest comportament asimptòtic permet adaptar la solució proposada a entorns selectius en freqüència fent ús d'un prefix cíclic i estudiar una modulació eficient derivada de l'esquema de multiplexat per divisió de temps emprant formes d'ona circulant. Finalment, s’estudia l'impacte de l'ús de múltiples antenes en comunicacions oportunistes basades en l'espai nul. L'anàlisi realitzada permet concloure que, en cap cas, l'estructura de les agrupacions d'antenes tenen un impacte sobre la comunicació oportunista, ja que la forma d'ona proposada imita el comportament d'un transmissor mono-antena. D'altra banda, el nombre de sensors emprat es tradueix en una millora en termes de SIR.(Español) El incremento de los dispositivos inalámbricos que ofrecen servicios de alta velocidad de datos limita la coexistencia de sistemas inalámbricos que comparten los mismos recursos en un área geográfica dada a causa de la interferencia inter-sistema. Por tanto, la gestión de interferencia juega un papel fundamental para facilitar la coexistencia de varios servicios de comunicación heterogéneos. Sin embargo, las estrategias clásicas de gestión de interferencia requieren información lateral originando la necesidad de coordinación y cooperación entre sistemas, que no siempre es práctica. Las comunicaciones oportunistas ofrecen una solución potencial al problema de la gestión de las interferencias entre sistemas. El principio básico de las comunicaciones oportunistas es explotar de manera eficiente y robusta los recursos disponibles en una red inalámbricas y adaptar las señales transmitidas al estado de la red para evitar interferencias entre sistemas. Por lo tanto, las comunicaciones oportunistas dependen de la inferencia de los recursos de red disponibles que pueden ser explotados de manera segura sin inducir interferencia en los nodos de comunicación coexistentes. Una vez identificados los recursos disponibles, las técnicas de comunicación oportunistas más prominentes consisten en el diseño de estrategias de precodificación/descodificación adaptadas al escenario para explotar el llamado espacio nulo. A pesar de esto, las soluciones clásicas en la literatura sufren dos inconvenientes principales: la falta de robustez a los errores de detección y la necesidad de cooperación intra-sistema. Esta tesis propone diseñar un esquema de comunicación oportunista basado en el espacio nulo que afronta los inconvenientes expuestos por las metodologías existentes asumiendo que los nodos oportunistas no cooperan. Para este propósito, se introduce un modelo generalizado de error de detección independiente del mecanismo de identificación del espacio nulo que permite el diseño de soluciones que exhiben interferencias mínimas entre sistemas en el caso peor. Estas soluciones responden a un criterio de máxima relación de señal a interferencia (SIR), que es óptimo en condiciones de no cooperación. La metodología propuesta permite diseñar una familia de formas de onda ortonormales que realizan un spreading de los símbolos modulados dentro del espacio nulo detectado, que es clave para minimizar la densidad de interferencia inducida. Las soluciones propuestas son invariantes dentro del espacio nulo inferido, permitiendo suprimir el enlace de retroalimentación sin renunciar a la detección coherente de forma de onda. En ausencia de coordinación, el diseño de la forma de onda se basa únicamente en la información del estado de la red detectada localmente, induciendo un desajuste entre los espacios nulos identificados por el transmisor y receptor que puede empeorar el rendimiento del sistema. A pesar de que la solución propuesta es robusta a este desajuste, también se estudia el diseño de receptores mejorados usando técnicas de detección de subespacio activo. Cuando el número total de recursos de red aumenta arbitrariamente, las soluciones propuestas tienden a ser combinaciones lineales de exponenciales complejas, proporcionando una interpretación en el dominio frecuencial. Este comportamiento asintótico permite adaptar la solución propuesta a canales selectivos en frecuencia mediante un prefijo cíclico y estudiar una modulación eficiente derivada del esquema de multiplexado por división de tiempo empleando formas de onda circulante. Finalmente, se estudia el impacto del uso de múltiples antenas en comunicaciones oportunistas basadas en el espacio nulo. El análisis realizado revela que la estructura de las agrupaciones de antenas no afecta la comunicación oportunista, ya que la forma de onda propuesta imita el comportamiento de un transmisor mono-antena. Por otro lado, el número de sensores empleado se traduce en una mejora en términos de SIR.Postprint (published version

    Just a Second -- Scheduling Thousands of Time-Triggered Streams in Large-Scale Networks

    Full text link
    Deterministic real-time communication with bounded delay is an essential requirement for many safety-critical cyber-physical systems, and has received much attention from major standardization bodies such as IEEE and IETF. In particular, Ethernet technology has been extended by time-triggered scheduling mechanisms in standards like TTEthernet and Time-Sensitive Networking. Although the scheduling mechanisms have become part of standards, the traffic planning algorithms to create time-triggered schedules are still an open and challenging research question due to the problem's high complexity. In particular, so-called plug-and-produce scenarios require the ability to extend schedules on the fly within seconds. The need for scalable scheduling and routing algorithms is further supported by large-scale distributed real-time systems like smart energy grids with tight communication requirements. In this paper, we tackle this challenge by proposing two novel algorithms called Hierarchical Heuristic Scheduling (H2S) and Cost-Efficient Lazy Forwarding Scheduling (CELF) to calculate time-triggered schedules for TTEthernet. H2S and CELF are highly efficient and scalable, calculating schedules for more than 45,000 streams on random networks with 1,000 bridges as well as a realistic energy grid network within sub-seconds to seconds
    corecore