Big Data, machine learning and challenges of high dimensionality in financial administration

Tese (doutorado)—Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade e Gestão Pública, Programa de Pós-Graduação em Administração, 2019.A presente tese discute a emergência do Big Data e do aprendizado de máquinas em vários aspectos da administração de empresas, enfatizando as contribuições metodológicas deste paradigma baseado no raciocínio indutivo em finanças e os benefícios desta abordagem em relação a ferramentas econométricas e métodos tradicionais de análise de dados. Os fundamentos estatísticos do aprendizado de máquina são introduzidos e os desafios da alta dimensionalidade em problemas financeiros são analisados, incluindo as implicações práticas da incorporação de não- linearidades, a regularização do nível de complexidade adicional e a previsão em dados de alta frequência. Finalmente, três aplicações empíricas foram propostas, relativas, respectivamente, à previsão de volatilidade, à alocação de portfólio e à previsão da direção do preço de ações; Nessas aplicações, diferentes modelos de aprendizado de máquina foram explorados, e os insights dos resultados foram discutidos à luz da teoria financeira e das evidências empíricas.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).This thesis discusses the emergence of Big Data and machine learning and their applications in various aspects of Business Administration, emphasizing the methodological contributions of this inductive-based paradigm in finance and the improvements of this approach over econometric tools and traditionally well established methods of data analysis. The statistical foundations of machine learning are introduced and the challenges of high-dimensionality in finance problems are analyzed, including the practical implications of nonlinearity incorporation, regularization of the additional complexity level and forecasting for high-frequency data. Finally, three empirical applications are proposed, concerning respectively on volatility forecasting, portfolio allocation, and stock price direction prediction; in those applications, different machine learning models are explored, and the insights from the results were discussed in light of both the finance theory and the empirical evidences