Exploration d'architectures de réseaux de neurones pour la segmentation sémantique d'images aériennes

International audienceLa segmentation sémantique d'images aériennes nécessite une extraction complexe d'informations contextuelles. Des Réseaux de Neurones (RdN) convolutifs spécialisés performants se développent pour répondre à ce besoin, mais dans un contexte embarqué, leur structure trop lourde est inadaptée pour une exécution sur cible contrainte en latence ou en consommation d'énergie. Nous proposons donc d'utiliser des méthodes de recherche automatique d'architectures neuronales (NAS) capable de prendre en compte ces contraintes embarquées. Nous démontrons que leur utilisation est possible et peut conduire à d'excellentes performances malgré une complexité réduite. Par exemple, comparé à DC-Swin, la méthode FastNAS atteint une mIoU similaire à 0,838 (-3%) pour une complexité calculatoire réduite de 88% (4,6 GMAC, Multiplication-Accumulations) pour le jeu de données Potsdam

Embedded AI performances of Nvidia's Jetson Orin SoC series

International audienceEnergy efficiency is key in many embedded systems that must achieve best performances for a given power budget. Additionally, new neural network-based applications combine multiple processing needs. For such applications, heterogeneous system-on-chips, such as the Nvidia Jetson Orin series, include different computing capabilities to propose new interesting latency and power consumption trade-offs. But, choosing the suitable Jetson module for a given application's need can be confusing since these modules have many operating ranges and several accelerators. In this paper, we evaluate through emulation the embedded performances of popular neural networks to provide a first hands-on insight of all Jetson Orin modules

MobileFlow : modèle et mise en œuvre pour une inférence de flot optique efficace

International audienceEstimating the optical flow between two images is a particularly costly application with regard to computational and time resources. This is particularly problematic for real-time deployments on embedded platforms, where algorithmic solutions must be light, fast and remain efficient. Thus, we propose MobileFlow, a lightweight convolutional neural network, based on PWC-Net and MobileNetV2. This network is more efficient (- 12% on EPE, or EndPoint Error), more compact (-91% on parameters’ weight) and faster (+ 14% FPS with fp32 precision) than PWC-Net on Flying Chairs dataset.Estimer le flot optique entre deux images est une application particulièrement coûteuse en ressources de calcul et de temps. Cela pose notamment problème pour des déploiements temps-réel sur des plateformes embarquées, où les solutions algorithmiques doivent être légères, rapides et rester performantes. Ainsi, nous proposons MobileFlow, un réseau de neurones convolutif allégé, basé sur PWC-Net et MobileNetV2. Ce réseau est plus performant (-12% sur l'EPE, ou l'EndPoint Error), plus compact (-91% de poids de paramètres) et plus rapide (+ 14% FPS en précision fp32) que PWC-Net sur le dataset Flying Chairs

MobileFlow : modèle et mise en œuvre pour une inférence de flot optique efficace

International audienceEstimating the optical flow between two images is a particularly costly application with regard to computational and time resources. This is particularly problematic for real-time deployments on embedded platforms, where algorithmic solutions must be light, fast and remain efficient. Thus, we propose MobileFlow, a lightweight convolutional neural network, based on PWC-Net and MobileNetV2. This network is more efficient (- 12% on EPE, or EndPoint Error), more compact (-91% on parameters’ weight) and faster (+ 14% FPS with fp32 precision) than PWC-Net on Flying Chairs dataset.Estimer le flot optique entre deux images est une application particulièrement coûteuse en ressources de calcul et de temps. Cela pose notamment problème pour des déploiements temps-réel sur des plateformes embarquées, où les solutions algorithmiques doivent être légères, rapides et rester performantes. Ainsi, nous proposons MobileFlow, un réseau de neurones convolutif allégé, basé sur PWC-Net et MobileNetV2. Ce réseau est plus performant (-12% sur l'EPE, ou l'EndPoint Error), plus compact (-91% de poids de paramètres) et plus rapide (+ 14% FPS en précision fp32) que PWC-Net sur le dataset Flying Chairs