Variable Selection for Market Basket Analysis

Market basket analysis; cross category effects; variable selection; multivariate logit model; pseudo likelihood estimation

MODELING LARGE-SCALE CROSS EFFECT IN CO-PURCHASE INCIDENCE: COMPARING ARTIFICIAL NEURAL NETWORK TECHNIQUES AND MULTIVARIATE PROBIT MODELING

This dissertation examines cross-category effects in consumer purchases from the big data and analytics perspectives. It uses data from Nielsen Consumer Panel and Scanner databases for its investigations. With big data analytics it becomes possible to examine the cross effects of many product categories on each other. The number of categories whose cross effects are studied is called category scale or just scale in this dissertation. The larger the category scale the higher the number of categories whose cross effects are studied. This dissertation extends research on models of cross effects by (1) examining the performance of MVP model across category scale; (2) customizing artificial neural network (ANN) techniques for large-scale cross effect analysis; (3) examining the performance of ANN across scale; and (4) developing a conceptual model of spending habits as a source of cross effect heterogeneity. The results provide researchers and managers new knowledge about using the two techniques in large category scale settings The computational capabilities required by MVP models grow exponentially with scale and thus are more significantly limited by computational capabilities than are ANN models. In our experiments, for scales 4, 8, 16 and 32, using Nielsen data, MVP models could not be estimated using baskets with 16 and more categories. We attempted to and could calibrate ANN models, on the other hand, for both scales 16 and 32. Surprisingly, the predictive results of ANN models exhibit an inverted U relationship with scale. As an ancillary result we provide a method for determining the existence and extent of non-linear own and cross category effects on likelihood of purchase of a category using ANN models. Besides our empirical studies, we draw on the mental budgeting model and impulsive spending literature, to provide a conceptualization of consumer spending habits as a source of heterogeneity in cross effect context. Finally, after a discussion of conclusions and limitations, the dissertation concludes with a discussion of open questions for future research

Disseny d'un model d'avaluació de resultats de l'activitat de màrqueting per a empreses competint al mercat català i amb relació contractual amb els seus clients

L’objectiu de la tesi doctoral és el de desenvolupar un model que permeti valorar de forma objectiva les actuacions en matèria de màrqueting portades a terme per una organització. Aquest model està constituït per un conjunt de variables descriptives i quantitatives, anomenades variables de control, juntament amb una metodologia de càlcul i un sistema d’indicadors integrat que facilita la traçabilitat de les inversions de màrqueting i explicita la relació causa-efecte entre aquestes i el valor generat per a l’organització. El model s’utilitza per a valorar dades reals d’organitzacions que operin al mercat català i que compleixin la condició de basar la relació amb els seus clients en un model contractual (com veurem més endavant, és inviable aplicar un model comú per a tot tipus d’empresa). L’objectiu, doncs, és la valoració de l’acompliment dels seus objectius en relació als seus actius de mercat (marca i valor de client) i la creació d’un model específic, no generalitzable, per a aquest tipus d’empreses. Un segon objectiu d’aquest treball és l’anàlisi de les principals publicacions especialitzades referents des d’un punt de vista global i local, proposant en primer lloc una terminologia clara en relació a l’activitat de màrqueting, l’acompliment dels seus objectius i la conceptualització d’actius de mercat, i analitzant, en segon, l’impacte d’aquests àmbits i la seva evolució en els últims quinze anys. Alguns estudis previs (Llonch et al., 2002; Ambler i Xiucun, 2003; entre d’altres) es centren a comparar empreses per sectors, funcionalitats i països. És probable, com apunta Llonch et al. (2002) al fer això, que casuístiques atribuïbles a diferències geogràfiques i nacionals es tractin erròniament com a empresarials. A tal efecte, aquest estudi elimina la variabilitat per país i sector (parcialment, aquest darrer), proposant un model acotat, tal com recomanen Ambler et al., (2001), Llonch et al (2002), entre d’altres, que pugui servir de referència en la metodologia i en la validesa conceptual, i no tant en els resultats del model en un context més genèric. Pauwels (2009) demostra la relació entre la creació d’un model predefinit de variables i la millora del càlcul de l’eficiència en la despesa en màrqueting, pel que la creació d’aquest model integrat té l’objectiu d’esdevenir una eina de Gestió del Rendiment Corporatiu (GRC, en endavant1) (Bauer, 2004) aplicada a la gestió de màrqueting i els seus actius. Aquesta particularització del GRC rep el nom de Gestió del Rendiment de Màrqueting (GRM, en endavant2) (Ambler, 2000) i el seu objectiu és el d’augmentar la usabilitat i faciliti la generació d’informació per a la presa de decisions de la línia directiva de les organitzacions. L’abast de la tesi és el de crear el model des d’una perspectiva d’avaluació de l’activitat de màrqueting per part de la línia directiva, i no pas el desenvolupament informàtic d’una eina de suport a la presa de decisions ja que això, com apunten diversos autors (Dover, 2004; Schiff, 2008) i es tractarà amb més profunditat en el capítol 5, implicaria un nivell de personalització per cada empresa que no és objectiu d’aquesta tesi.The thes is aims to develop a practical model to asses m arketing perform ance within an organization. The model is basically structured around control metrics both from a qualitative and quantitatve approach, together with an integrated system of key performance indicators that enables marketing accountability through different organisational divisions, thus stating a solid cause/effect relationship between marketing activities and the value created for the organisation. The aformentioned model is used to assess marketing activites for catalan com panies with a contract-based customer relationship. Final assessment includes also a dynamic valuation of the company's market as sets . A second objective of the thes is is to review the current state of the art of marketing assessment literature from specialized journals both from a global and a local pers pective, defining a comprehensive list of related terms about marketing performance measurement, market-asset description and valuation and an accurate analysis about its evolution throughout the last 15 years.Postprint (published version