An Agent-Based Model for Simulating Irrigated Agriculture in the Samambaia Basin in Goiás

Agriculture is one of the main economic activities in Brazil. The intensive use of water for irrigated agriculture leads to water rise demand contributing to increase water stress. Agent-based models help assess this problem with promising applications entailing an organizing principle to inform us of how to view a real-world system and effectively build a model. In this work, agent-based modeling is applied to simulate water usage for irrigation in agricultural production in the Samambaia river basin in the municipality of Cristalina in the Goias state of Brazil. The use of real data enables analysis of resource availability in a scenario with high demand irrigation, allowing a greater understanding of the needs of the parties involved

Relation between land cover and landslide susceptibility in Val d'Aran, Pyrenees (Spain): historical aspects, present situation and forward prediction

The effects of land use and land cover (LULC) dynamics on landslide susceptibility are not fully understood. This study evaluates the influence of LULC on landslide susceptibility and assesses the historic and future LULC changes in a high mountain region. A detailed inventory map showing the distribution of landslides was prepared based on the 2013 episode in Val d'Aran, Pyrenees (Spain). This inventory showed that LULC clearly affected landslide susceptibility. Both the number of landslides and the landslide density triggered in grassland and meadow was highest (52% and 2.0 landslides/km2). In contrast, the landslide density in areas covered by forest and shrubs was much lower (15% and 0.4 landslides/km2, and 23% and 1.7 landslides/km2, respectively). Historical changes of LULC between 1946 and 2013 were determined by comparing aerial photographs. The results indicated that the forest and shrub areas increased by 68 and 65%, respectively; whereas grassland and scree areas decreased by 33 and 52%. Urban area also increased by 532%, especially between 1990 and 2001. Future LULC was predicted until 2097 using TerrSet software. The results showed that the forest area and urban area increased by 57 and 43%, severally; while shrubs, grassland and scree area decreased by 28, 46 and 78%, respectively. Heuristic and deterministic models were applied to create susceptibility maps, which classified the study area into four susceptibility degrees from very low to high. The maps were validated by the 2013 landslide dataset and showed satisfactory results using receiver operating characteristics curves and density graph method. Then, susceptibility maps until 2097 were calculated by the heuristic model and results revealed that landslide susceptibility will decrease by 48% for high-susceptible areas. In contrast, the areas of very-low susceptibility degree will increase 95%, while medium and low-susceptible areas will be more or less constant. This study only includes the effect of future LULC changes on the landslide susceptibility and does not analyze the future impacts of climate changes and the variation of rainfall conditions. Nevertheless, the results may be used as support for land management guidelines to reduce the risk of slope instabilities.Postprint (author's final draft

Simulation Modeling for Sustainability: A Review of the Literature

This article is a review of work published in various journals and conference proceedings on the topics of Simulation Modelling for Sustainability between January 2000 and May 2015. A total of 192 papers are reviewed. The article intends to serve three goals. First, it will be useful to researchers who wish to know what kinds of questions have been raised and how they have been addressed in the areas of simulation modelling for sustainability. Second, the article will be a useful resource for searching research topics. Third, it will serve as a comprehensive bibliography of the papers published during the period. The literature is analysed for application areas, simulation methods and dimensions of the triple bottom line model of sustainable development

Integração de ferramenta de análise de sensibilidade ao simulador ambiental MASE-BDI

Monografia (graduação)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2016.A integração de sistemas tem suma importância para uma melhoria contínua de processos e ferramentas. Para realizar tal integração, é necessário que se passe por um processo de identificação do problema, para criar uma proposta de solução que atenda as necessidades de todos os sistemas envolvidos. Este trabalho visa integrar uma ferramenta de análise de sensibilidade e quantificação de incertezas, o PSUADE, ao simulador ambiental MASE-BDI. Através da identificação das especificações de cada ferramenta, foi possível obter sucesso na definição arquitetural e implementação de uma ferramenta que realiza tal integração. Este trabalho viabiliza a execução do PSUADE integrado com o MASE-BDI para fornecer resultados de avaliação de análise de sensibilidade.Integration between systems is very important for continuous improvement of processses and tools. To accomplish such integration, it is necessary to first identify an existing problem and then propose a solution that meets all the specifications of the systems involved. This work aims to integrate a sensitivity analysis tool and quantification of uncertanties, PSUADE, with the environmental simulation tool MASE-BDI. By identifying the specifications of each tool, it was possible to successfully define an architecture and to implement a tool that accomplishes the integration. This work enables PSUADE execution integrated with MASE-BDI providing sensitivity analysis results

The urban regulation of rural land from the perspective of the new Law for the Promotion of Territorial Sustainability in Andalusia (Andalusian Land Law)

Since their inception, various urban planning laws have focused on meeting the growth needs of cities, with urban planning as a discipline paying minimal attention to rural settlement planning. It can, therefore sound clichéd to say that urban planning legislation has been mainly concerned with regulating urban and developable land, with residual or negative status being given to undevelopable or rural land. This has had major territorial impacts that continue to this day. The proposed subject of this paper is considered timely and topical, and its main objective is to analyse whether the planning instruments proposed in the Law for the Promotion of Territorial Sustainability in Andalusia (LISTA, acronym in Spanish) for rural settlements and scattered buildings can help regulate rural land dynamics in Andalusia. To do so, we will first model the patterns of settlement formation and isolated dwellings on rural land using geostatistical methods, and then carry out an analysis of the provisions of these latest rural land management laws, which will affect the planning regulations of this land in the coming years

Agentes racionais baseados no modelo belief-desire-intention para o sistema multiagente MASE

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2014.MASE, acrônimo para Multi-Agent System for Enviromental Simulation, foi uma aplicação desenvolvida para a investigação da dinâmica do uso e conversão do solo em cenários ambientais, e apresentou bons resultados utilizando o modelo Cerrado-DF. Como forma de aumentar o domínio dessa ferramenta, este trabalho explorou o modelo de cognição baseado em Belief-Desire-Intention por meio do framework JADEX. Para isso, a arquitetura do MASE foi reformulada e seu código foi refatorado, tanto para que os agentes representassem melhor o raciocínio humano quanto para que a aplicação possuísse melhor desempenho de tempo na execução das simulações. A evolução dessas características trouxe o sucessor do MASE, que foi validado nesse trabalho por meio de dois estudos de caso. Os resultados gerados com essa nova proposta foram comparados com os obtidos no MASE, testando assim a exibilidade da ferramenta e a melhoria do desempenho do sistema. ____________________________________________________________________________________ ABSTRACTMASE, acronym to Multi-Agent System for Enviromental Simulation, was an application developed for land usage and cover change dynamics investigation, using diferent environmental scenarios, and good results with the Cerrado-DF model were obtained with its usage. To increase the domain of MASE, this work explored the Belief-Desire- Intention cognition model using the JADEX framework. This objective was obtained by MASE architecture reformulation, with code refactoring, so the agents could better represent human rationality, as the system time performance could be enhanced. The evolution of this features brought MASE's sucessor: MASE-BDI, which was validated by two case studies. The generated results were compared with the ones obtained in the past with MASE, so the MASE-BDI _exibility could be tested, as performance enhance could be proved as well

Assessing the role of human behaviors in the management of extreme hydrological events: an agent-based modeling approach

This thesis aims to assess the role of human behaviors in the management of extreme hydrological events. Using an agent-based modeling (ABM) approach, three specific issues associated with modeling human behaviors are addressed: (1) behavioral heterogeneity, (2) social interaction, and (3) the interplay of multiple behaviors. The modeling approach is applied to two types of extreme hydrological events: floods and droughts. In the case of flood events, an ABM is developed to simulate heterogeneous responses to flood warnings and evacuation decisions. The ABM is coupled with a traffic model to simulate evacuation processes on a transportation network in an impending flood event. Based on this coupled framework, the model further takes account of social interactions, in the form of communication through social media, and evaluates how social interactions affect flood risk awareness and evacuation processes. The case of drought events considers a hypothetical agricultural water market based on double auction. Farmers’ multiple behaviors (irrigation and bidding behaviors) are modeled in an ABM framework. The impacts of the interplay of these behaviors on water market performance are evaluated under various hydrological conditions. The results from the ABMs show that the three aforementioned aspects of human behaviors can significantly affect the effectiveness of the management policies in extreme hydrological events. The thesis highlights the importance of including human behaviors for policy design in flood and drought management. Further, the thesis emphasizes the efforts in collecting empirical data to better represent and simulate human behaviors in coupled human and hydrological systems

An empirical workflow of uncertainty quantification to evaluate agent-based simulation outputs aiming analytical confidence

Tese (doutorado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2018.A investigação sobre a mudança de uso e cobertura da terra é importante para promover o gerenciamento criterioso do território, como meio de contenção de danos ambientais. Além disso, é um processo complexo que relaciona a interação entre sistemas ambientais, econômicos e sociais em diferentes escalas temporais e espaciais. O entendimento da dinâmica desses sistemas foca não somente nas partes, mas do comportamento que emerge da interação entre elas. Modelo Baseado em Agente (MBA) é uma boa técnica para o estudo desses fenômenos, uma vez que modela as interações entre agentes autônomos e o seu ambiente. As simulações computacionais são a técnica mais utilizada para avaliar esses modelos, para testar explicitamente os efeitos das decisões humanas em situações complexas. Conquanto os MBAs forneçam uma ferramenta poderosa para analisar fenômenos emergentes, sua utilidade é limitada por dificuldades na análise dos seus resultados, o que fomenta críticas e questionamentos sobre a contribuição real dos frameworks para o suporte à decisão. A ferramenta mais difundida para avaliação é a análise de sensibilidade, pois quantifica os efeitos das alterações nos fatores de entrada do modelo nas previsões do modelo. Entretanto, grande parte dos métodos mais difundidos de análise de sensibilidade não são adequados ou são insuficientes para lidar com as especificidades advindas da complexidade dos MBAs. Dentre elas, destacam-se a estocasticidade, não-linearidade e a parametrização ad hoc, que implicam uma considerável incerteza epistêmica. Sem uma investigação apropriada, há chances significativas de que os resultados derivados da simulação sejam a consequência de vieses. Embora reconhecendo as diferenças particulares dos inúmeros MBAs, a presente tese examina se esses desafios podem ser superados, no contexto de um estudo de caso de uso e cobertura da terra no Cerrado do Distrito Federal, usando a ferramenta multiagente MASE-BDI (Coelho et al., 2016). O objetivo dessa tese é avaliar a aplicação de várias metodologias de quantificação de incerteza e análise de sensibilidade na análise de resultados de MBAs. O foco da pesquisa é efetuar uma aplicação integrada de técnicas de análise de incerteza e sensibilidade e avaliar os impactos que as diferenças nos tamanhos de amostra, técnicas de amostragem e métodos de análise de sensibilidade podem ter na saída do modelo. Além disso, propõe-se um workflow para que essas técnicas possam ser aplicadas de forma organizada e sistemática. De modo mais abrangente, aplica-se uma metodologia geral de avaliação de MBAs, que inclui diferentes abordagens para produzir versões simplificadas do modelo que podem ser usadas para explorar os resultados ou realizar uma análise exploratória. Estas abordagens para análise, calibração e verificação do modelo requerem um grande número de execuções de simulação de cenários repetidos e com muitas combinações de parâmetros e de configurações do modelo. Para facilitar esse processo, foi implementada a integração da ferramenta de simulação MASE-BDI com o conjunto de bibliotecas estatísticas para quantificação de incerteza PSUADE. Houve a criação de um driver e de uma interface para automatizar o pré e pós-processamento de entradas e saídas para muitas execuções do modelo. Todos os experimentos foram testados em um modelo espacialmente explícito de uso e cobertura da terra. A ferramenta de simulação é o MASE-BDI, desenvolvido pela Universidade de Brasília. MASE é o acrônimo para MultiAgent System for Environmental simulation que implementa o modelo de racionalidade Belief-Desire-Intention (BDI). No BDI, os agentes possuem crenças, um conjunto de informações que se tem sobre o ambiente que habitam e que alteram tanto a percepção quanto o seu pensamento sobre o mundo. Desejos, que representam as atitudes motivacionais dos agentes que os conduzem a um curso de ação, e intenções, que são o conjunto de planos montados pelo agente para que ele atinja os seus objetivos. A função objetivo da análise dos resultados da simulação é uma métrica estatística de aptidão denominada figura de mérito (FoM), determinada pela razão entre as mudanças na terra que foram preditas corretamente sobre a soma das mudanças observadas (Pontius et al., 2008). Essa métrica quantifica se os acertos de um mapa de uso e cobertura da terra são maiores que os erros na predição da quantidade de conversão entre os diferentes usos e coberturas da terra e da alocação dessas mudanças no espaço. A metodologia utilizada na tese foi incremental e evolutiva. Inicialmente, foi realizada uma avaliação do modelo com a utilização dos métodos mais difundidos na literatura: análise de sensibilidade um-fator-de-cada-vez (OAT - One-factor-At-a-Time) para quatro fatores de entrada e um número variável de replicações. Para avaliar a qualidade da saída do modelo, a métrica de aptidão foi avaliada por meio de intervalos de confiança. Os resultados mostraram que apesar de ser possível diferenciar os fatores de entrada sensíveis e não sensíveis, a variabilidade da saída era tão grande que a incerteza impedia qualquer análise mais robusta. Percebeu-se que diferentes replicações da amostra afetavam consideravelmente os resultados. A revisão de literatura apresentou um cenário apelidado por Angus (2015) de "anarquia metodológica". Partindo da premissa que há grandes discrepâncias nas orientações provenientes da revisão de literatura, optou-se por uma investigação profunda e abrangente dos itens que eram passíveis de influenciar os resultados do modelo. Esse segundo passo da investigação propôs uma adaptação e detalhamento do workflow para análise de saída do modelo, disponíveis na literatura. A partir da proposta de (Pianosi et al, 2016) propôs-se uma metodologia com três passos: 1) projeto do experimento; 2) análise de incerteza; e 3) análise de sensibilidade. A contribuição baseia-se na inserção explícita de métodos para a definição da estabilidade da variância, ou seja, o tamanho mínimo da amostra para o estudo de caso específico. Os pesquisadores divergem consideravelmente sobre qual deve ser o tamanho mínimo de uma amostra, dado um determinado número de fatores de entrada. Postula-se que a variabilidade do parâmetro de saída sob investigação deve nortear essa escolha. Apenas quando a variância atingir um ponto de estabilidade, é possível obter o número mínimo de simulações necessárias para que as conclusões sejam válidas. Além disso, os experimentos foram projetados para investigar a eficácia e eficiência da estratégia de amostragem e do método de análise de sensibilidade. Foram avaliadas todas as possíveis combinações entre as estratégias de amostragem comuns na literatura (Monte Carlo, Hipercubo Latino, Array Ortogonal, Fourier, entre outros) e os métodos de sensibilidade (regressão, correlação, OAT, Sobol, Teste Delta, processos gaussianos, entre outros). Todas as possíveis combinações resultaram em uma miríade de simulações. Para executar esse grande número de testes, foi necessário implementar uma integração entre a modelo de simulação MASE-BDI e a ferramenta estatística de quantificação de incerteza PSUADE (Tong, 2005). Dessa forma, por meio de uma interface de usuário é possível determinar os fatores de entrada e saída, o tamanho da amostra e a técnica de amostragem. O sistema automaticamente informa esses parâmetros para a ferramenta e simula cada um desses cenários. Após esse cálculo, é possível selecionar os métodos de análise de incerteza e sensibilidade e calcular os respectivos índices. De forma surpreendente, métodos amplamente difundidos apresentaram resultados controversos quando aplicados no estudo de caso. Ademais, diferentes métodos de amostragem produziram diferentes saídas para o mesmo método de análise de sensibilidade. Em alguns casos, diferentes tamanhos de amostra indicaram resultados conflitantes para uma mesma métrica de sensibilidade. A partir dessas observações é possível afirmar que nenhum MBA pode aplicar um método sem antes questioná-lo. Uma série de investigações preliminares são obrigatórias para garantir que os métodos de incerteza e sensibilidade são adequados para o estudo de caso em questão. Para tornar os experimentos mais eficientes, uma utilização integrada de análise de incerteza e sensibilidade foi a opção metodológica escolhida. Os resultados da análise de incerteza alimentavam a análise de sensibilidade, promovendo uma análise mais completa das saídas do modelo. O workflow proposto é a ferramenta para guiar outros pesquisadores da área de MBA e evitar que erros comuns sejam cometidos. Um exemplo são os métodos de regressão-linear e correlação, amplamente difundidos em modelos ecológicos, mas que se mostraram inadequados para a avaliação do MBA em questão. Na última etapa da tese, optou-se por enquadrar os experimentos em um framework geral para avaliação de modelos inicialmente proposto por (Augusiak, 2014). "Avalidação" é a composição entre avaliação e validação que se ancora no ciclo de modelagem e propõe atividades específicas para verificar cada passo da concepção e simulação de um modelo. O foco desse trabalho concentrou-se nos métodos de verificação das saídas, análise e corroboração das saídas do modelo. Para cada item, fornece-se o passo a passo de atividades, aplicadas ao modelo MASE-BDI. Para ilustrar o potencial dessa metodologia, foram propostos dois experimentos, um exploratório e um explanatório, para gerar versões simplificadas, computacionalmente eficientes, e que exploram comportamentos específicos do sistema em questão. A simplificação baseia-se na redução da variabilidade dos fatores de entrada, de modo a aumentar a confiança nos resultados das predições. O experimento exploratório possibilitou a investigação de comportamentos extremos do sistema, mantendo a variabilidade dos fatores. O experimento explanatório reduz a variabilidade de saída. Ao refinar o fator de entrada que mais influencia o resultado, foi possível reduzir as incertezas. Ambos os experimentos mantêm a média da variável de saída constante. O resultado é uma avaliação integral do modelo, no que concerne a variável de saída de interesse. A sequência de experimentos identificou quais os métodos mais adequados e eficientes para o estudo de caso. Entretanto, a aplicação desses métodos ilustra como deveria ser uma análise integrada de incerteza e sensibilidade em um MBA. Essa iniciativa favorece a transparência e permite o escrutínio e a replicabilidade por parte da comunidade de pesquisa. O resultado é um modelo ajustado e avaliado, cuja média registrada para função objetivo é maior que 51%, melhorando significativamente os resultados iniciais obtidos com as orientações provenientes da literatura. Apesar de os testes terem sido realizados em um modelo específico, as considerações podem ser generalizadas para todo o campo de pesquisa. A integração de análise de incerteza e sensibilidade deve ser feita rotineiramente nos processos de avaliação de um modelo. Seguindo as etapas estabelecidas pelo workflow, pesquisadores podem aumentar o nível de confiança nos resultados de suas simulações e promover um uso mais racional e eficiente dos MBAs.Research on land use change and land cover are essential to promote insightful management of land use to refrain environmental damage. Also, it is a complex process that relates to the interaction between environmental, economic and social systems at different temporal and spatial scales. Understanding the dynamics of these systems focuses not only on the parts but on the behavior that emerges from the interaction between them. Agent-based model (ABM) is a useful technique for studying these phenomena since ABMs model the interactions between autonomous agents and their environment. Computational simulations are the most used technique to evaluate these models, to explicitly test the effects of human decisions in complex situations. While ABMs provide a powerful tool for analyzing emerging behavior, their usefulness is limited by difficulties in analyzing their results, which encourages criticism and questioning about the actual contribution of frameworks to decision support. The most popular tool for model evaluation is sensitivity analysis, as it quantifies the effects of the changes in the input factors of the model in the predictions of the model. However, most of the sensitivity analysis methods are not adequate or are insufficient to deal with the specificities arising from the complexity of ABMs. Among these, we highlight the stochasticity, non-linearity and the ad hoc parametrization of ABMs, which imply a considerable epistemic uncertainty. Without proper investigation, there are significant chances of finding results that can be a consequence of biases. Although recognizing the particular differences of the numerous ABMs, this thesis examines whether these challenges can be overcome in the context of a case study of land use and land cover in the Cerrado of the Federal District, using the MASE-BDI multiagent tool. The objective of this thesis is to evaluate the application of several methodologies of uncertainty quantification and sensitivity analysis to analyze ABM output. We aim to perform an integrated application of uncertainty and sensitivity techniques and evaluate the impacts that differences in sample sizes, sampling techniques, and SA methods may have on model output. In addition, a workflow is proposed so that these techniques can be applied in an organized and systematic way. More broadly, a general ABM assessment methodology is applied, which includes different approaches to produce simplified versions of the model that can be used to explore the results of the model or perform exploratory analysis. These approaches for model analysis, calibration, and verification require a large number of repeated scenario simulation runs, with many combinations of model parameters and configurations. To facilitate this process, we implemented the integration of the MASE-BDI simulation tool with PSUADE, a set of statistical libraries for uncertainty quantification. A driver and an interface have been created to automate pre and post-processing of inputs and outputs for many models' runs. All experiments were performed in a spatially explicit model of land use and land cover change. The simulation tool is MASE-BDI, developed at the University of Brasilia. MASE is the acronym for MultiAgent System for Environmental simulation that implements the Belief-Desire-Intention (BDI) rationality model. In BDI, agents have beliefs, a set of information about the environment they inhabit that change both perception and thinking about the world. Desires, which represent the motivational attitudes of the agents and leading them to a course of action, and, moreover, intentions, a set of plans mounted by the agent to achieve his goals. The objective function of the output analysis is a statistical metric called figure of merit (FoM), determined by the ratio between the changes in the land use that were predicted correctly over the sum of the observed changes. This metric quantifies whether the correctness of land use and land cover map is higher than the errors in predicting the amount of conversion between the different uses and land cover and the allocation of those changes in space. The methodology used in the thesis was incremental. Initially, an evaluation of the model was performed using the most used method in the literature: one-factor-at-a-time (OAT) sensitivity analysis. We investigated four factors and sampled it within its range with a variable number of replications. To assess the quality of the output of the model, the fitness metrics were evaluated through confidence intervals. The results showed that although it is possible to differentiate between the sensitive and non-sensitive input factors, the variability of the output was so significant that the uncertainty prevented any more robust analysis. It was found that different replications of the sample affected the results considerably. The literature review performed by Angus (2015) presented a scenario of "methodological anarchy". Based on the premise that there are major discrepancies in the guidelines found in the literature, we prosecuted an in-depth and comprehensive investigation of the items that were likely to influence the results of the model. The second step of the research proposed an adaptation and detailing of the workflow for model output analysis. Based on the framework proposed by Pianosi et al. (2016), we tailored a methodology with three necessary steps: 1) design of experiment; 2) uncertainty analysis; and 3) sensitivity analysis. The contribution is the explicit insertion of methods to define the variance stability, i.e., the minimum sample size for the specific case study. Researchers diverge considerably on what is the minimum sample size, given a number of input factors. We postulate that the variability of the output parameter under investigation should guide this choice. Only when variance reaches a stability point, we can define the minimum number of simulations necessary for the conclusions to be valid. Besides, the experiments were designed to investigate the effectiveness and efficiency of the sampling strategy and the method of sensitivity analysis. We assessed all possible combinations of the sampling strategies shared in the literature (Monte Carlo, Latin Hypercube, Orthogonal Array, Fourier, among others) and methods of sensitivity (regression, correlation, OAT, Sobol, Delta test, Gaussian processes, among others). To test all these combinations resulted in a myriad of simulations. To perform this large number of tests, it was necessary to implement integration between the MASE-BDI simulation model and the statistical uncertainty quantification tool PSUADE (Tong, 2005). It is possible to determine input and output factors, sample size and sampling techniques through a user interface. The system automatically informs these parameters to the MASE-BDI tool and simulates each of these scenarios. After the simulation, it is possible to select the uncertainty and sensitivity analysis methods and calculate the respective indices. Surprisingly, some of the methods that are used continuously in ABM presented controversial results when applied in our case study. Also, different sampling methods produced different outputs for the same sensitivity analysis method. In some cases, different sample sizes indicated conflicting results for the same sensitivity metric. From these observations, it was possible to affirm that no ABM can apply a method without first questioning it. Many preliminary investigations are required to ensure that the methods chosen for uncertainty and sensitivity analyzes are reliable to the particular case. To raise the computational efficiency of these tests, we applied an integrated use of uncertainty analysis and sensitivity analysis as the baseline assessment. The results of the uncertainty analysis were the input of the sensitivity analysis, promoting a complete exploration of the model outputs. The proposed workflow is a tool to guide other ABM researchers and prevent common mistakes from being made. An example is the methods of linear regression and correlation, widely diffused in ecological models but which proved inadequate for the evaluation of the ABM under study. Finally, we chose to apply a general framework for model evaluation, initially proposed by (Augusiaket et al, 2014). "Evaludation" is the composition between model evaluation and validation. It is anchored in the modeling cycle and proposes specific activities to check and verify each step of the design and simulation of a model. We focused on the last three stages of the evaludation process: model output verification, model analysis, and model output corroboration. For each item, we provide the step-by-step of activities, applied to the MASE-BDI model. To illustrate the potential of this methodology, two experiments were proposed to generate simplified, computationally efficient versions that exploit specific behaviors of the system in question: an exploratory and an explanatory experiment. The simplification is based on the reduction of the variability of the input factors to increase confidence in the prediction results. The exploratory experiment allowed the investigation of boundary behaviors of the system while maintaining the variability of the factors. The explanatory experiment reduces output variability. By refining the input factor that most influences the result it was possible to reduce the uncertainties. Both experiments maintain the mean of the output variable of interest. The overall result is an integral evaluation of the model, regarding the output variable of interest. The sequence of experiments identified the most appropriate and efficient methods for the case study. However, the application of these methods illustrates how integrated analysis of uncertainty and sensitivity in an ABM should be. This initiative promotes transparency and allows scrutiny and replicability by the research community. The result is an adjusted and evaluated model whose average for the objective function is higher than 51%, significantly improving the initial results obtained with the literature guidelines. Although the tests have been performed in a specific model, the considerations can be generalized for the entire field of research. The integration of uncertainty and sensitivity analysis should be done routinely in the evaluation processes of a model. Following the steps established by the workflow, researchers can increase the confidence level in the results o