SPRING: A Sparsity-Aware Reduced-Precision Monolithic 3D CNN Accelerator Architecture for Training and Inference

CNNs outperform traditional machine learning algorithms across a wide range of applications. However, their computational complexity makes it necessary to design efficient hardware accelerators. Most CNN accelerators focus on exploring dataflow styles that exploit computational parallelism. However, potential performance speedup from sparsity has not been adequately addressed. The computation and memory footprint of CNNs can be significantly reduced if sparsity is exploited in network evaluations. To take advantage of sparsity, some accelerator designs explore sparsity encoding and evaluation on CNN accelerators. However, sparsity encoding is just performed on activation or weight and only in inference. It has been shown that activation and weight also have high sparsity levels during training. Hence, sparsity-aware computation should also be considered in training. To further improve performance and energy efficiency, some accelerators evaluate CNNs with limited precision. However, this is limited to the inference since reduced precision sacrifices network accuracy if used in training. In addition, CNN evaluation is usually memory-intensive, especially in training. In this paper, we propose SPRING, a SParsity-aware Reduced-precision Monolithic 3D CNN accelerator for trainING and inference. SPRING supports both CNN training and inference. It uses a binary mask scheme to encode sparsities in activation and weight. It uses the stochastic rounding algorithm to train CNNs with reduced precision without accuracy loss. To alleviate the memory bottleneck in CNN evaluation, especially in training, SPRING uses an efficient monolithic 3D NVM interface to increase memory bandwidth. Compared to GTX 1080 Ti, SPRING achieves 15.6X, 4.2X and 66.0X improvements in performance, power reduction, and energy efficiency, respectively, for CNN training, and 15.5X, 4.5X and 69.1X improvements for inference

Intégration 3D des transistors à nanofils de silicium-germanium sur puces CMOS

La microélectronique est partout dans notre vie : les téléphones intelligents, les jeux vidéo ainsi que d’autres appareils électroniques que nous tenons dans le creux de la main. Les besoins en performances et en gestion d’énergie se font de plus en plus ressentir. Le recours à la miniaturisation des transistors a permis l’amélioration des performances de ces composants au cours des années. Cette tendance a suivi la célèbre loi de « Moore » qui a prévu que la densité des transistors doublerait sur une même puce tous les 2 ans. Aujourd’hui cette loi de « Moore » doit faire face à des limites physiques et technologiques et c’est ainsi que le besoin d’intégrer de nouvelles fonctionnalités commence à apparaitre. L’empilement vertical des composants est une solution alternative étudiée pour faire face aux difficultés inhérentes à l’intégration planaire. Aujourd'hui, les circuits intégrés en 3D ont montré des gains de puissance significatifs pour différents types d’applications (mémoire...). Cette technologie repose sur des interconnexions verticales entre les différents niveaux connus sous le nom de « Through Silicon Vias » (TSVs). Différentes stratégies sont adoptées pour ce type d’empilement dans lesquelles l'intégration 3D monolithique est une approche qui offre la possibilité d’élaborer les différentes étapes technologiques directement sur une même puce. Une difficulté majeure de cette technologie réside dans le processus de fabrication des circuits dans les couches supérieures : Les étapes de la fabrication dans le « backend- of-line (BEOL) » ne doivent en aucun cas perturber le fonctionnement des transistors du « front-end-of-line (FEOL) ». C’est pour cette raison, le budget thermique doit être inférieure à 500 °C afin de préserver les performances des dispositifs dans la partie frontale de la ligne (FEOL). Récemment, des nanofils semi-conducteurs préparés dans un bâti de CVD « chemical vapor deposition », ont suscité un nouvel intérêt pour la fabrication de nanodispositifs. Cette technique ascendante fournit des nanofils monocristallins avec le respect du budget thermique requis pour les processus d'intégration en 3D. Elle permet la synthèse des nanofils à des dimensions réduites avec un large choix de matériaux et de compositions. Les travaux de cette thèse portent sur l’idée de démontrer que la croissance des nanofils entre deux électrodes prédéfinies et plus particulièrement la croissance horizontale à l’intérieur des tranchées d’oxyde peut être utilisée dans l’optique d’une intégration 3D. Cela permettrait donc à terme de pouvoir directement fabriquer les couches actives semi-conductrices d’un transistor MOS dans les niveaux supérieurs d’une puce CMOS tout en respectant le budget thermique et sans avoir recours à des étapes de collage de puces. Au cours de ce projet de recherche, nous nous sommes intéressés en premier lieu au développement et à l’optimisation du procédé qu’on appelle « nanodamascène » mis en place pour guider des nanofils SiGe dans des tranchées d’oxyde directement sur un substrat SiO2/Si. À part de cette technique d’intégration, nous avons aussi utilisé la technique de diélectrophorèse pour localiser des nanofils dispersés dans une solution liquide de manière horizontale entre des électrodes prédéfinies. Les résultats de la localisation ont permis de fabriquer des transistors à canaux nanofils sur l’oxyde et à terme de montrer la possibilité d’établir un transistor dans le BEOL d’une puce CMOS