MevaL: A Visual Machine Learning Model Evaluation Tool for Financial Crime Detection

Abstract

Data Science and Machine Learning are two valuable allies to fight financial crime,the domain where Feedzai seeks to leverage its value proposition in support of its mission:to make banking and commerce safe. Data is at the core of both fields and this domain, sostructuring instances for visual consumption provides an effective way of understandingthe data and communicating insights.The development of a solution for each project and use case requires a careful andeffective Machine Learning Model Evaluation stage, as it is the major source of feedbackbefore deployment. The tooling for this stage available at Feedzai can be improved,accelerated, visually supported, and diversified to enable data scientists to boost theirdaily work and the quality of the models.In this work, I propose to collect and compile internal and external input, in terms ofworkflow and Model Evaluation, in a proposal hierarchically segmented by well-definedobjectives and tasks, to instantiate the proposal in a Python package, and to iteratively val-idate the package with Feedzai’s data scientists. Therefore, the first contribution is MevaL,a Python package for Model Evaluation with visual support, integrated into Feedzai’s DataScience environment by design. In fact, MevaL is already being leveraged as a visualization package on two internal reporting projects that are serving some of Feedzai’s majorclients.In addition to MevaL, the second contribution of this work is the Model EvaluationTopology developed to ensure clear communication and design of features.A Ciência de Dados e a Aprendizagem Automática [277] são duas valiosas aliadas no combate à criminalidade económico-financeira, o domínio em que a Feedzai procura potenciar a sua proposta de valor em prol da sua missão: tornar o sistema bancário e o comércio seguros. Além disso, os dados estão no centro das duas áreas e deste domínio.Assim, a estruturação visual dos mesmos fornece uma maneira eficaz de os entender e transmitir informação.O desenvolvimento de uma solução para cada projeto e caso de uso requer um estágiocuidadoso e eficaz de Avaliação de Modelos de Aprendizagem Automática, pois esteestágio coincide com a principal fonte de retorno (feedback) antes da implementaçãoda solução. As ferramentas de Avaliação de Modelos disponíveis na Feedzai podem seraprimoradas, aceleradas, suportadas visualmente e diversificadas para permitir que oscientistas de dados impulsionem o seu trabalho diário e a qualidade destes modelos.Neste trabalho, proponho a recolha e compilação de informação interna e externa, em termos de fluxo de trabalho e Avaliação de Modelos, numa proposta hierarquicamente segmentada por objetivos e tarefas bem definidas, a instanciação desta proposta num pacote Python e a validação iterativa deste pacote em colaboração com os cientistas de dados da Feedzai. Posto isto, a primeira contribuição deste trabalho é o MevaL, um pacote Python para Avaliação de Modelos com suporte visual, integrado no ambiente de Ciência de Dados da Feedzai. Na verdade, o MevaL já está a ser utilizado como um pacote de visualização em dois projetos internos de preparação de relatórios automáticos para alguns dos principais clientes da Feedzai.Além do MevaL, a segunda contribuição deste trabalho é a Topologia de Avaliação de Modelos desenvolvida para garantir uma comunicação clara e o design enquadrado das diferentes funcionalidades

    Similar works