An Introduction to Randomizing Deep Polynomial Neural Networks

Τα Βαθιά Πολυωνυμικά Νευρωνικά Δίκτυα (ΒΠΝΔ) αντιπροσωπεύουν μια νέα οικογένεια συναρτήσεων που έχουν επιδείξει πολλά υποσχόμενα αποτελέσματα σε μια ποικιλία απαιτητικών εργασιών, όπως η παραγωγή εικόνων, η επαλήθευση προσώπου και η εκμάθηση αναπαράστασης 3D mesh. Παρά την πρόσφατη εισαγωγή τους στον τομέα της Βαθιάς Μηχανικής Μάθησης, εξακολουθούν να υπάρχουν πολλές πτυχές των ΒΠΝΔ που χρήζουν περαιτέρω εξερεύνησης προκειμένου να εδραιώσουν τη θέση τους μεταξύ άλλων αρχιτεκτονικών Βαθιάς Μάθησης. Μια τέτοια πτυχή είναι η διερεύνηση των τεχνικών κανονικοποίησης. Η κανονικοποίηση παίζει κρίσιμο ρόλο στη βελτίωση της ικανότητας γενίκευσης ενός μοντέλου, στη μείωση της υπερπροσαρμογής και στη βοήθεια όσον αφορά στη μείωση του πλεονασμού του δικτύου μέσω της εισαγωγής στοχαστικότητας. Ωστόσο, η εφαρμογή τεχνικών κανονικοποίησης στα ΒΠΝΔ παραμένει σε μεγάλο βαθμό ανεξερεύνητη. Με έντονο κίνητρο από το συγκεκριμένο κενό στην τρέχουσα βιβλιογραφία, αυτή η διατριβή στοχεύει να προσφέρει μια εισαγωγική διερεύνηση του τρόπου με τον οποίο η κανονικοποίηση μπορεί να εφαρμοστεί στα ΒΠΝΔ. Προτείνονται και αξιολογούνται δύο μέθοδοι κανονικοποίησης, η χειροκίνητη μείωση βαθμού και η εφαρμογή του dropout. Η χειροκίνητη μείωση βαθμού περιλαμβάνει τη μείωση του βαθμού των τανυστών παραμέτρων στα ΒΠΝΔ, ενώ η κανονικοποίηση μέσω dropout περιλαμβάνει την τυχαία αδρανοποίηση στοιχείων των τανυστών παραμέτρων κατά τη διάρκεια της εκπαίδευσης του δικτύου. Η πειραματική αξιολόγηση στα σύνολα δεδομένων MNIST και CIFAR10 κάτω από διαφορετικά επίπεδα προσθήκης θορύβου και κακόβουλων επιθέσεων αποκαλύπτει ότι τα ΒΠΝΔ είναι εντυπωσιακά ανθεκτικά σε εκείνα τα είδη επιθέσεων. Επιπλέον, τα μοντέλα αποδίδουν καλύτερα και υπερπροσαρμόζονται λιγότερο όταν κανονικοποιούνται με χειροκίνητη μείωση βαθμού, ενώ η κανονικοποίηση μέσω dropout συνήθως οδηγεί σε υποβάθμιση της απόδοσης. Αυτή η προσπάθεια σκοπεύει να χρησιμεύσει ως ένα ολοκληρωμένο θεμέλιο, προσφέροντας πολύτιμες γνώσεις και ευρήματα που θα συμβάλλουν σημαντικά και θα παρακινήσουν τη μελλοντική έρευνα σε αυτόν τον τομέα.Deep Polynomial Neural Networks (DPNNs) represent a novel family of function approximators that have demonstrated promising results in a variety of challenging tasks, including image generation, face verification, and 3D mesh representation learning. Despite their recent introduction to the field of Deep Learning, there are still many aspects of DPNNs that warrant further exploration in order to solidify their standing among other Deep Learning architectures. One such aspect is the investigation of regularization techniques. Regularization plays a crucial role in improving the generalization ability of a model, reducing overfitting, and aiding in the reduction of network redundancy through the introduction of stochasticity. However, the application of regularization techniques to DPNNs remains largely unexplored. Strongly motivated by this gap in the current understanding, this thesis aims to provide an introductory exploration into how regularization can be applied to DPNNs. Two regularization methods, explicit rank reduction and dropout regularization, are proposed and evaluated. Explicit rank reduction involves reducing the rank of parameter tensors in DPNNs, while dropout regularization involves randomly omitting elements of parameter tensors during training. Experimental evaluation on the MNIST and CIFAR10 datasets under varying levels of noise addition and adversarial attacks reveals that DPNNs are impressively resilient to adversarial perturbations. Furthermore, they perform better and overfit less when regularized with explicit rank reduction, while dropout regularization typically leads to a degradation in performance. This endeavor serves as a comprehensive foundation, offering valuable insights and findings that will significantly contribute to and stimulate future research in this domain

Open-Source Face Recognition Frameworks: A Review of the Landscape

publishedVersio

Interpretable Polynomial Neural Ordinary Differential Equations

Neural networks have the ability to serve as universal function approximators, but they are not interpretable and don't generalize well outside of their training region. Both of these issues are problematic when trying to apply standard neural ordinary differential equations (neural ODEs) to dynamical systems. We introduce the polynomial neural ODE, which is a deep polynomial neural network inside of the neural ODE framework. We demonstrate the capability of polynomial neural ODEs to predict outside of the training region, as well as perform direct symbolic regression without additional tools such as SINDy

Interpretable Neural PDE Solvers using Symbolic Frameworks

Partial differential equations (PDEs) are ubiquitous in the world around us, modelling phenomena from heat and sound to quantum systems. Recent advances in deep learning have resulted in the development of powerful neural solvers; however, while these methods have demonstrated state-of-the-art performance in both accuracy and computational efficiency, a significant challenge remains in their interpretability. Most existing methodologies prioritize predictive accuracy over clarity in the underlying mechanisms driving the model's decisions. Interpretability is crucial for trustworthiness and broader applicability, especially in scientific and engineering domains where neural PDE solvers might see the most impact. In this context, a notable gap in current research is the integration of symbolic frameworks (such as symbolic regression) into these solvers. Symbolic frameworks have the potential to distill complex neural operations into human-readable mathematical expressions, bridging the divide between black-box predictions and solutions.Comment: Accepted to the NeurIPS 2023 AI for Science Workshop. arXiv admin note: text overlap with arXiv:2310.1976