Evaluating the Use of Large Language Models for Statistical Analysis of Philanthropic Data

Abstract

Denne oppgaven utforsker om store språkmodeller (LLM-er), spesifikt GPT-4.1, kan utføre statistisk analyse på filantropiske data. Ved å bruke reelle data gjennomførte jeg en lineær regresjonsanalys for å forutsi fremtidig giveratferd, og sammenlignet deretter resultatene med analyser utført av LLM-en. Funnene viser at LLM-en, med tydelige instruksjoner og forhåndsprosesserte data, var i stand til å produsere prediksjoner som lå nær mine egne modeller. Uten veiledende instruksjoner valgte den ofte utilstrekkelige metoder eller feilet. LLM-en viste kompetanse i å generere kode, men manglet dypere statistisk forståelse.This thesis explores whether large language models (LLMs), specifically GPT-4.1, can perform statistical analysis on philanthropic data. Using real-world data, I conducted generalized linear regression to predict future donation behavior, then compared this to analyses performed by the LLM. The findings show that with clear instructions and preprocessed data, the LLM was able to produce predictions close to those of my own models. Without guided prompting, it often selected inadequate methods or failed. The LLM demonstrated competence in generating code, but lacked deeper statistical reasoning