Batching for Green AI -- An Exploratory Study on Inference

The batch size is an essential parameter to tune during the development of new neural networks. Amongst other quality indicators, it has a large degree of influence on the model's accuracy, generalisability, training times and parallelisability. This fact is generally known and commonly studied. However, during the application phase of a deep learning model, when the model is utilised by an end-user for inference, we find that there is a disregard for the potential benefits of introducing a batch size. In this study, we examine the effect of input batching on the energy consumption and response times of five fully-trained neural networks for computer vision that were considered state-of-the-art at the time of their publication. The results suggest that batching has a significant effect on both of these metrics. Furthermore, we present a timeline of the energy efficiency and accuracy of neural networks over the past decade. We find that in general, energy consumption rises at a much steeper pace than accuracy and question the necessity of this evolution. Additionally, we highlight one particular network, ShuffleNetV2(2018), that achieved a competitive performance for its time while maintaining a much lower energy consumption. Nevertheless, we highlight that the results are model dependent.Comment: 8 pages, 4 figures, 1 table. Accepted at Euromicro Conference Series on Software Engineering and Advanced Applications (SEAA) 202

Uncovering Energy-Efficient Practices in Deep Learning Training:Preliminary Steps Towards Green AI

Modern AI practices all strive towards the same goal: better results. In the context of deep learning, the term "results"often refers to the achieved accuracy on a competitive problem set. In this paper, we adopt an idea from the emerging field of Green AI to consider energy consumption as a metric of equal importance to accuracy and to reduce any irrelevant tasks or energy usage. We examine the training stage of the deep learning pipeline from a sustainability perspective, through the study of hyperparameter tuning strategies and the model complexity, two factors vastly impacting the overall pipeline's energy consumption. First, we investigate the effectiveness of grid search, random search and Bayesian optimisation during hyperparameter tuning, and we find that Bayesian optimisation significantly dominates the other strategies. Furthermore, we analyse the architecture of convolutional neural networks with the energy consumption of three prominent layer types: convolutional, linear and ReLU layers. The results show that convolutional layers are the most computationally expensive by a strong margin. Additionally, we observe diminishing returns in accuracy for more energy-hungry models. The overall energy consumption of training can be halved by reducing the network complexity. In conclusion, we highlight innovative and promising energy-efficient practices for training deep learning models. To expand the application of Green AI, we advocate for a shift in the design of deep learning models, by considering the trade-off between energy efficiency and accuracy.</p

On the role of computer languages in scientific computing

International audienceScientific software are complex software systems. Their engineering involves various stakeholders using specific computer languages for defining artifacts at different abstraction levels and for different purposes. In this paper, we review the overall process leading to the development of scientific software, and discuss the role of computer languages in the definition of the different artifacts. We then provide guidelines to make informed decisions when the time comes to choose the computer languages to use when developing scientific software

Agir sur la fiabilité et la flexibilité des logiciels scientifiques en sciences de l’environnement : vers une approche systématique d’aide à la prise de décision

Scientific software are the centre stage to support decision-making related to tackling environmental issues thanks to simulation. However, their complexity makes their execution time-consuming or resource-demanding, which is not compatible to the context of interactive decision-making. The main goal of the thesis is to tailor the scientific models, and thus, scientific software, to make them relevant and efficient to be used in such context. We first demystify the scientific models and their complementarity to engineering models to understand how they interact together. We present the MODA framework that defines the integration of the different types and roles that models can take in a sociotechnical system. Furthermore, we highlight the need to tailor the descriptive scientific models to make them take a predictive role and improve the prescriptive model of the decision-making process. We then investigate the specificity of the scientific models in terms of development cycle and validation process. We describe a reasoned approach for the development of reliable scientific software that allows to clearly characterize the validity envelope of this type of software. Finally, we propose a systematic approach of tailoring the scientific models to support decision-making by trading-off accuracy for flexibility. We adapt an approximate computing technique for scientific models. We evaluate it on a hydro-geological model used to assess the risk of flooding in coastal areas. Our results show a significant speed-up with a minimal set-up. We also propose a trade-off optimisation approach to generalise the tailoring of scientific models for decision-making.Les logiciels scientifiques sont au cœur de l'aide à la prise de décision liée à la résolution des problèmes environnementaux grâce à la simulation. Cependant, leur complexité rend leur exécution coûteuse en temps ou en ressources, ce qui n'est pas compatible avec le contexte de la prise de décision en interactivité. L'objectif principal de la thèse est d'adapter les modèles scientifiques, et donc les logiciels scientifiques, afin de les rendre pertinents et efficaces pour être utilisés dans un tel contexte. Nous démystifions d'abord les modèles scientifiques et leur complémentarité avec les modèles d'ingénierie pour comprendre comment ils interagissent ensemble. Nous présentons le cadriciel MODA qui définit l'intégration des différents types et rôles que peuvent prendre les modèles dans un système sociotechnique. En outre, nous soulignons la nécessité d'adapter les modèles scientifiques descriptifs pour leur faire jouer un rôle prédictif et améliorer le modèle prescriptif du processus décisionnel. Nous étudions ensuite la spécificité des modèles scientifiques en termes de cycle de développement et de processus de validation. Nous décrivons une approche pour le développement de logiciels scientifiques fiables qui permet de caractériser clairement l'enveloppe de validité de ce type de logiciel. Enfin, nous proposons une approche systématique de l'adaptation des modèles scientifiques pour aider à la prise de décision en conciliant précision et flexibilité. Nous adaptons une technique de calcul approximatif aux modèles scientifiques. Nous l'évaluons sur un modèle hydrogéologique destiné à évaluer le risque d'inondation dans les zones côtières. Nos résultats montrent une accélération significative du temps de calcul avec une configuration minimale. Nous présentons également une approche d'optimisation de l'approximation pour généraliser l'adaptation des modèles scientifiques à la prise de décision

Agir sur la fiabilité et la flexibilité des logiciels scientifiques en sciences de l’environnement : vers une approche systématique d’aide à la prise de décision

Scientific software are the centre stage to support decision-making related to tackling environmental issues thanks to simulation. However, their complexity makes their execution time-consuming or resource-demanding, which is not compatible to the context of interactive decision-making. The main goal of the thesis is to tailor the scientific models, and thus, scientific software, to make them relevant and efficient to be used in such context. We first demystify the scientific models and their complementarity to engineering models to understand how they interact together. We present the MODA framework that defines the integration of the different types and roles that models can take in a sociotechnical system. Furthermore, we highlight the need to tailor the descriptive scientific models to make them take a predictive role and improve the prescriptive model of the decision-making process. We then investigate the specificity of the scientific models in terms of development cycle and validation process. We describe a reasoned approach for the development of reliable scientific software that allows to clearly characterize the validity envelope of this type of software. Finally, we propose a systematic approach of tailoring the scientific models to support decision-making by trading-off accuracy for flexibility. We adapt an approximate computing technique for scientific models. We evaluate it on a hydro-geological model used to assess the risk of flooding in coastal areas. Our results show a significant speed-up with a minimal set-up. We also propose a trade-off optimisation approach to generalise the tailoring of scientific models for decision-making.Les logiciels scientifiques sont au cœur de l'aide à la prise de décision liée à la résolution des problèmes environnementaux grâce à la simulation. Cependant, leur complexité rend leur exécution coûteuse en temps ou en ressources, ce qui n'est pas compatible avec le contexte de la prise de décision en interactivité. L'objectif principal de la thèse est d'adapter les modèles scientifiques, et donc les logiciels scientifiques, afin de les rendre pertinents et efficaces pour être utilisés dans un tel contexte. Nous démystifions d'abord les modèles scientifiques et leur complémentarité avec les modèles d'ingénierie pour comprendre comment ils interagissent ensemble. Nous présentons le cadriciel MODA qui définit l'intégration des différents types et rôles que peuvent prendre les modèles dans un système sociotechnique. En outre, nous soulignons la nécessité d'adapter les modèles scientifiques descriptifs pour leur faire jouer un rôle prédictif et améliorer le modèle prescriptif du processus décisionnel. Nous étudions ensuite la spécificité des modèles scientifiques en termes de cycle de développement et de processus de validation. Nous décrivons une approche pour le développement de logiciels scientifiques fiables qui permet de caractériser clairement l'enveloppe de validité de ce type de logiciel. Enfin, nous proposons une approche systématique de l'adaptation des modèles scientifiques pour aider à la prise de décision en conciliant précision et flexibilité. Nous adaptons une technique de calcul approximatif aux modèles scientifiques. Nous l'évaluons sur un modèle hydrogéologique destiné à évaluer le risque d'inondation dans les zones côtières. Nos résultats montrent une accélération significative du temps de calcul avec une configuration minimale. Nous présentons également une approche d'optimisation de l'approximation pour généraliser l'adaptation des modèles scientifiques à la prise de décision

Agir sur la fiabilité et la flexibilité des logiciels scientifiques en sciences de l’environnement : vers une approche systématique d’aide à la prise de décision

Scientific software are the centre stage to support decision-making related to tackling environmental issues thanks to simulation. However, their complexity makes their execution time-consuming or resource-demanding, which is not compatible to the context of interactive decision-making. The main goal of the thesis is to tailor the scientific models, and thus, scientific software, to make them relevant and efficient to be used in such context. We first demystify the scientific models and their complementarity to engineering models to understand how they interact together. We present the MODA framework that defines the integration of the different types and roles that models can take in a sociotechnical system. Furthermore, we highlight the need to tailor the descriptive scientific models to make them take a predictive role and improve the prescriptive model of the decision-making process. We then investigate the specificity of the scientific models in terms of development cycle and validation process. We describe a reasoned approach for the development of reliable scientific software that allows to clearly characterize the validity envelope of this type of software. Finally, we propose a systematic approach of tailoring the scientific models to support decision-making by trading-off accuracy for flexibility. We adapt an approximate computing technique for scientific models. We evaluate it on a hydro-geological model used to assess the risk of flooding in coastal areas. Our results show a significant speed-up with a minimal set-up. We also propose a trade-off optimisation approach to generalise the tailoring of scientific models for decision-making.Les logiciels scientifiques sont au cœur de l'aide à la prise de décision liée à la résolution des problèmes environnementaux grâce à la simulation. Cependant, leur complexité rend leur exécution coûteuse en temps ou en ressources, ce qui n'est pas compatible avec le contexte de la prise de décision en interactivité. L'objectif principal de la thèse est d'adapter les modèles scientifiques, et donc les logiciels scientifiques, afin de les rendre pertinents et efficaces pour être utilisés dans un tel contexte. Nous démystifions d'abord les modèles scientifiques et leur complémentarité avec les modèles d'ingénierie pour comprendre comment ils interagissent ensemble. Nous présentons le cadriciel MODA qui définit l'intégration des différents types et rôles que peuvent prendre les modèles dans un système sociotechnique. En outre, nous soulignons la nécessité d'adapter les modèles scientifiques descriptifs pour leur faire jouer un rôle prédictif et améliorer le modèle prescriptif du processus décisionnel. Nous étudions ensuite la spécificité des modèles scientifiques en termes de cycle de développement et de processus de validation. Nous décrivons une approche pour le développement de logiciels scientifiques fiables qui permet de caractériser clairement l'enveloppe de validité de ce type de logiciel. Enfin, nous proposons une approche systématique de l'adaptation des modèles scientifiques pour aider à la prise de décision en conciliant précision et flexibilité. Nous adaptons une technique de calcul approximatif aux modèles scientifiques. Nous l'évaluons sur un modèle hydrogéologique destiné à évaluer le risque d'inondation dans les zones côtières. Nos résultats montrent une accélération significative du temps de calcul avec une configuration minimale. Nous présentons également une approche d'optimisation de l'approximation pour généraliser l'adaptation des modèles scientifiques à la prise de décision

Agir sur la fiabilité et la flexibilité des logiciels scientifiques en sciences de l’environnement : vers une approche systématique d’aide à la prise de décision

Scientific software are the centre stage to support decision-making related to tackling environmental issues thanks to simulation. However, their complexity makes their execution time-consuming or resource-demanding, which is not compatible to the context of interactive decision-making. The main goal of the thesis is to tailor the scientific models, and thus, scientific software, to make them relevant and efficient to be used in such context. We first demystify the scientific models and their complementarity to engineering models to understand how they interact together. We present the MODA framework that defines the integration of the different types and roles that models can take in a sociotechnical system. Furthermore, we highlight the need to tailor the descriptive scientific models to make them take a predictive role and improve the prescriptive model of the decision-making process. We then investigate the specificity of the scientific models in terms of development cycle and validation process. We describe a reasoned approach for the development of reliable scientific software that allows to clearly characterize the validity envelope of this type of software. Finally, we propose a systematic approach of tailoring the scientific models to support decision-making by trading-off accuracy for flexibility. We adapt an approximate computing technique for scientific models. We evaluate it on a hydro-geological model used to assess the risk of flooding in coastal areas. Our results show a significant speed-up with a minimal set-up. We also propose a trade-off optimisation approach to generalise the tailoring of scientific models for decision-making.Les logiciels scientifiques sont au cœur de l'aide à la prise de décision liée à la résolution des problèmes environnementaux grâce à la simulation. Cependant, leur complexité rend leur exécution coûteuse en temps ou en ressources, ce qui n'est pas compatible avec le contexte de la prise de décision en interactivité. L'objectif principal de la thèse est d'adapter les modèles scientifiques, et donc les logiciels scientifiques, afin de les rendre pertinents et efficaces pour être utilisés dans un tel contexte. Nous démystifions d'abord les modèles scientifiques et leur complémentarité avec les modèles d'ingénierie pour comprendre comment ils interagissent ensemble. Nous présentons le cadriciel MODA qui définit l'intégration des différents types et rôles que peuvent prendre les modèles dans un système sociotechnique. En outre, nous soulignons la nécessité d'adapter les modèles scientifiques descriptifs pour leur faire jouer un rôle prédictif et améliorer le modèle prescriptif du processus décisionnel. Nous étudions ensuite la spécificité des modèles scientifiques en termes de cycle de développement et de processus de validation. Nous décrivons une approche pour le développement de logiciels scientifiques fiables qui permet de caractériser clairement l'enveloppe de validité de ce type de logiciel. Enfin, nous proposons une approche systématique de l'adaptation des modèles scientifiques pour aider à la prise de décision en conciliant précision et flexibilité. Nous adaptons une technique de calcul approximatif aux modèles scientifiques. Nous l'évaluons sur un modèle hydrogéologique destiné à évaluer le risque d'inondation dans les zones côtières. Nos résultats montrent une accélération significative du temps de calcul avec une configuration minimale. Nous présentons également une approche d'optimisation de l'approximation pour généraliser l'adaptation des modèles scientifiques à la prise de décision

Agir sur la fiabilité et la flexibilité des logiciels scientifiques en sciences de l’environnement : vers une approche systématique d’aide à la prise de décision

Les logiciels scientifiques sont au cœur de l'aide à la prise de décision liée à la résolution des problèmes environnementaux grâce à la simulation. Cependant, leur complexité rend leur exécution coûteuse en temps ou en ressources, ce qui n'est pas compatible avec le contexte de la prise de décision en interactivité. L'objectif principal de la thèse est d'adapter les modèles scientifiques, et donc les logiciels scientifiques, afin de les rendre pertinents et efficaces pour être utilisés dans un tel contexte. Nous démystifions d'abord les modèles scientifiques et leur complémentarité avec les modèles d'ingénierie pour comprendre comment ils interagissent ensemble. Nous présentons le cadriciel MODA qui définit l'intégration des différents types et rôles que peuvent prendre les modèles dans un système sociotechnique. En outre, nous soulignons la nécessité d'adapter les modèles scientifiques descriptifs pour leur faire jouer un rôle prédictif et améliorer le modèle prescriptif du processus décisionnel. Nous étudions ensuite la spécificité des modèles scientifiques en termes de cycle de développement et de processus de validation. Nous décrivons une approche pour le développement de logiciels scientifiques fiables qui permet de caractériser clairement l'enveloppe de validité de ce type de logiciel. Enfin, nous proposons une approche systématique de l'adaptation des modèles scientifiques pour aider à la prise de décision en conciliant précision et flexibilité. Nous adaptons une technique de calcul approximatif aux modèles scientifiques. Nous l'évaluons sur un modèle hydrogéologique destiné à évaluer le risque d'inondation dans les zones côtières. Nos résultats montrent une accélération significative du temps de calcul avec une configuration minimale. Nous présentons également une approche d'optimisation de l'approximation pour généraliser l'adaptation des modèles scientifiques à la prise de décision.Scientific software are the centre stage to support decision-making related to tackling environmental issues thanks to simulation. However, their complexity makes their execution time-consuming or resource-demanding, which is not compatible to the context of interactive decision-making. The main goal of the thesis is to tailor the scientific models, and thus, scientific software, to make them relevant and efficient to be used in such context. We first demystify the scientific models and their complementarity to engineering models to understand how they interact together. We present the MODA framework that defines the integration of the different types and roles that models can take in a sociotechnical system. Furthermore, we highlight the need to tailor the descriptive scientific models to make them take a predictive role and improve the prescriptive model of the decision-making process. We then investigate the specificity of the scientific models in terms of development cycle and validation process. We describe a reasoned approach for the development of reliable scientific software that allows to clearly characterize the validity envelope of this type of software. Finally, we propose a systematic approach of tailoring the scientific models to support decision-making by trading-off accuracy for flexibility. We adapt an approximate computing technique for scientific models. We evaluate it on a hydro-geological model used to assess the risk of flooding in coastal areas. Our results show a significant speed-up with a minimal set-up. We also propose a trade-off optimisation approach to generalise the tailoring of scientific models for decision-making