Markov Logic Networks with Complex Weights and Algorithms to Train Them

Abstract

Tato práce se zabývá markovskými logickými sítěmi s komplexními vahami (komplexními markovskými logickými sítěmi, C–MLNs). Ty jsou rozšířením markovských logických sítí, které je plně expresivní v kontextu počtových distribucí. Text identifikuje několik problémů s původní C–MLN definicí a navrhuje její úpravu. Dále je odvozena procedura pro inferenci založená na Gibbsově vzorkování. Kromě toho jsou odvozeny dva algoritmy pro učení parametrů. První z nich je založen na metodě maximální věrohodnosti. Z důvodu nekonvexity problému nepodává maximalizace založená na gradietním sestupu dobré výsledky. Druhý algoritmus využívá diskrétní Fourierovu transformaci k vyjádření libovolné počtové distribuce jako C–MLN. Algoritmus nicméně vyžaduje velkou trénovací množinu a učí se váhy o zbytečně vysoké dimenzi.This thesis studies Markov logic networks with complex weights (complex Markov logic networks, C–MLNs). Those are an extension of Markov logic networks that achieves full expressivity in terms of count distributions. Slight modification of the C–MLN definition is proposed attempting to solve a few identified problems. An inference procedure based on Gibbs sampling is developed for the model. Two parameter learning algorithms are proposed as well. The first one utilizes the maximum likelihood estimation. Due to the non-convexity of the problem, gradient descent-based maximization does not perform well. The other learning procedure uses the discrete Fourier transform to encode an arbitrary count distribution as a C–MLN. However, it requires a huge data set, and it learns weights of unnecessarily large dimensions