Efficient execution of web navigation sequences

This version of the article has been accepted for publication, after peer review and is subject to Springer Nature’s AM terms of use, but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections. The Version of Record is available online at: https://doi.org/10.1007/978-3-642-28795-4_15.[Abstract]: Web automation applications are widely used for different purposes such as B2B integration and automated testing of web applications. Most current systems build the automatic web navigation component by using the APIs of conventional browsers. While this approach has its advantages, it suffers performance problems for intensive web automation tasks which require real time responses and/or a high degree of parallelism. In this paper, we outline a set of techniques to build a web navigation component able to efficiently execute web navigation sequences. These techniques detect what elements and scripts of the pages accessed during the navigation sequence are needed for the correct execution of the sequence (and, therefore, must be loaded and executed), and what parts of the pages can be discarded. The tests executed with real web sources show that the optimized navigation sequences run significantly faster and consume significantly less resources.This research was partially supported by the Spanish Ministry of Science and Innovation under projects TIN2009-14203 and TIN2010-09988-E, and the European Commission under project FP7-SEC-2007-01 Proposal N° 218223

Ejecución eficiente de secuencias de navegación web

Programa Oficial de Doutoramento en Tecnoloxías da Información e as Comunicacións. 5032V01[Resumen] Las aplicaciones de automatización web se utilizan ampliamente para diferentes propósitos, tales como integración B2B o pruebas automatizadas de aplicaciones web. En la mayoría de los sistemas, el componente de navegación automático, se desarrolla utilizando las APIs de navegadores convencionales (ej. Internet Explorer o Firefox). Esta aproximación, presenta problemas de rendimiento en tareas de automatización web intensivas, que requieren de respuestas en tiempo real y/o de un alto nivel de paralelismo. Otros sistemas, utilizan componentes de navegación especializados, que omiten ciertas etapas de procesamiento de los navegadores convencionales, pero funcionan de forma similar a éstos, a la hora de cargar y construir la representación interna de las páginas web. En esta tesis doctoral, se presenta un conjunto de técnicas de optimización, que permiten ejecutar eficientemente tareas de automatización web. Estas técnicas, se aplican cuando el componente de navegación construye la representación interna de las páginas web. Además, también se ha diseñado una arquitectura completa para un componente de navegación especializado en automatización web, que da soporte a las novedosas técnicas de optimización diseñadas previamente. Para validar experimentalmente las técnicas de optimización y el rendimiento de la arquitectura, se ha desarrollado una implementación de referencia, que sigue todos los principios de esta arquitectura. Dicha implementación, ha sido comparada con otros sistemas de navegación, utilizando sitios web reales.[Abstract] Web automation applications are widely used for different purposes, such as B2B integration and automated testing of web applications. Most current systems, build the automatic web navigation component by using the APIs of conventional browsers. This approach suffers performance problems for intensive web automation environments, which require real time responses and/or a high degree of parallelism. Other systems, use the approach of creating custom browsers to avoid some of the processing steps of conventional browsers, but they work like them when loading and building the internal representation of the web pages. In this PhD, we present a set of optimization techniques that allow an efficient execution of the Web automation tasks. These techniques, can be applied when the navigation component builds the internal representation of the Web page. In addition, we designed a complete architecture for a custom browser specialized in the execution of Web automation tasks. The proposed architecture, supports the novel optimization techniques previously designed. Finally, to evaluate the validity of the optimization techniques and the performance of the proposed architecture, we develop a reference implementation following the architecture principles. This reference implementation, was validated comparing it with other navigation components, using real Web sites.[Resumo] As aplicacions de automatización web, utilízanse amplamente para diferentes propósitos, tales como integración B2B ou probas automatizadas de aplicacións web. Na meirande parte dos sistemas, o compoñente de navegación automático desenrólase empregando as APIs dos navegadores convencionais (ex. Internet Explorer ou Firefox). Esta aproximación, presenta problemas de rendemento en tarefas de automatización web intensivas que requiren de respostas en tempo real e/ou de un alto grao de paralelismo. Outros sistemas, empregan compoñentes de navegación especializados, que omiten certas etapas de procesamento dos navegadores convencionais, pero funcionan de maneira similar a estes, á hora de cargar e construír a representación interna da páxina web. Nesta tese de doutoramento, preséntase un conxunto de técnicas de optimización, que permiten executar eficientemente, tarefas de automatización web. Estas técnicas, aplícanse cando o compoñente de navegación constrúe a representación interna das páxinas web. Ademais, tamén se deseñou unha arquitectura completa para un compoñente de navegación especializado na automatización web, que da soporte as novidosas técnicas de optimización deseñadas previamente. Para validar experimentalmente as técnicas de optimización e o rendemento da arquitectura, desenrolouse unha implementación de referencia, que segue todos os principios desta arquitectura. Dita implementación, foi comparada con outros sistemas de navegación, empregando sitios web reais