Adaptive quadratures for nonlinear approximation of low-dimensional PDEs using smooth neural networks

Physics-informed neural networks (PINNs) and their variants have recently emerged as alternatives to traditional partial differential equation (PDE) solvers, but little literature has focused on devising accurate numerical integration methods for neural networks (NNs), which is essential for getting accurate solutions. In this work, we propose adaptive quadratures for the accurate integration of neural networks and apply them to loss functions appearing in low-dimensional PDE discretisations. We show that at opposite ends of the spectrum, continuous piecewise linear (CPWL) activation functions enable one to bound the integration error, while smooth activations ease the convergence of the optimisation problem. We strike a balance by considering a CPWL approximation of a smooth activation function. The CPWL activation is used to obtain an adaptive decomposition of the domain into regions where the network is almost linear, and we derive an adaptive global quadrature from this mesh. The loss function is then obtained by evaluating the smooth network (together with other quantities, e.g., the forcing term) at the quadrature points. We propose a method to approximate a class of smooth activations by CPWL functions and show that it has a quadratic convergence rate. We then derive an upper bound for the overall integration error of our proposed adaptive quadrature. The benefits of our quadrature are evaluated on a strong and weak formulation of the Poisson equation in dimensions one and two. Our numerical experiments suggest that compared to Monte-Carlo integration, our adaptive quadrature makes the convergence of NNs quicker and more robust to parameter initialisation while needing significantly fewer integration points and keeping similar training times.Comment: Fixed typos and, clarified the legend of fig. 3 and proofs of lemma 1 and proposition

Aplicaciones de la aritmética en coma fija a la representación de primitivas gráficas de bajo nivel

La aritmética en coma fija tiene la propiedad de realizar operaciones con números decimales con un coste computacional entero. A pesar de no estar soportada de forma nativa por los lenguajes de programación y por las CPUs generalistas, es la aritmética ideal para aplicaciones de control industrial, simulación, informática gráfica, multimedia y señal digital, etc. Su falta de normalización y soporte impide su uso extendido en muchos campos de la informática. Esta tesis justifica la utilización de esta aritmética en el campo de los gráficos por computador. A partir de un estudio de implementación y normalización de la aritmética, se estudian incrementos de potencia relativos y precisiones obtenidas y su aplicación a la simulación discreta y de vuelo. Se analizan los algoritmos de dibujo de primitivas básicas como las líneas, con y sin aliasing, su recortado y el dibujo de circunferencias y elipses. Se presentan algunas implementaciones de algoritmos basados en la coma fija y se analiza la mejora del coste computacional y de la precisión obtenida respecto de los algoritmos de fuerza bruta y de los tradicionales. Mientras los algoritmos tradicionales suelen entregar un error comprendido entre los 0.32 y 0.45 píxeles, dependiendo de la primitiva analizada, los algoritmos basados en la coma fija no superan los 0.25 de media, igualando el error teórico generado por los algoritmos de fuerza bruta. Por otro lado, los algoritmos basados en la aritmética en coma fija suelen mejorar la velocidad media de los algoritmos tradicionales, pudiéndose a veces conseguir aceleraciones elevadas si se utilizan técnicas de paralelización. Éste sería el caso de la versión paralela del algoritmo DDA con y sin antialiasing que podría dibujar una recta con coste temporal logarítmico respecto de su longitud en píxeles. Los algoritmos obtenidos son tan sencillos que pueden ser implementados algunos de ellos en hardware dentro de un procesador gráfico de forma muy eficiente.Mollá Vayá, RP. (2001). Aplicaciones de la aritmética en coma fija a la representación de primitivas gráficas de bajo nivel [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/15406Palanci