Towards Scalable Web Documents

The current Web is running into serious scalability problems. The standard solution is to apply techniques like caching, replication, and distribution. Unfortunately, as the variety of Web applications continues to grow, it will be impossible to find a single solution that fits all needs. The authors advocate a different approach to tackling scaling problems. Instead of seeking a general-purpose solution, they argue that it makes more sense to look at each Web document separately. For each document, three issues need to be addressed: placement of replicas, required coherence, and best coherence protocol. The authors examine each of these issues, and identify the alternatives. However, forcing developers to decide on the best alternatives will turn the Web into an unworkable system. Therefore, a number of possible ways to reduce complexity is indicated. Also, the authors briefly discuss a wide-area infrastructure that can be used as a flexible basis for developing per-document solutions

Personalized Web Book System---Model Design and System Development (I)

[[abstract]]近年來全球資訊網的普及使全世界的網站資訊如同一個無遠弗屆的知識庫，其以多媒體的方式生動的呈現網頁內容，並以超鏈結聯繫全球各地網站成為一個複雜的知識系統。這些豐富的網站資訊已經使得網頁成為一般人學習和取得資訊的重要來源。然而近來有些學者發現使用全球資訊網會因為下列的問題而減低適用及可行性：1. 網際網路的擁塞使網頁顯示緩慢降低讀者瀏覽興趣、2. 錯綜複雜且非循序式的鏈結容易造成讀者認知負載與瀏覽迷失、3. 各網站所含資訊內容參差不齊、深淺不一使得網路資訊讀者需在不同網站間轉換、搜尋，造成讀者瀏覽的倦怠。為了解決以上的問題，在本計畫中，我們規劃以 XML 的架構結合SCORM 標準的概念，架設一個個別化網路書籍的環境，以幫助學生透過全球資訊網來閱讀和學習。在此系統中將採用我們提出的邏輯網頁(Logical Web Pages)新概念，並發展出個別化網路書籍模式（Web Book Model）進而依此模式實作網路書編輯和閱讀等相關工具軟體。本計畫為三年的整合型計畫，第一年研究網頁的 XML 化的內容物件模式，並開發自動做 HTML 網頁物件化切割的工具模組；第二年研究教材內容物件的整合機制以形成個別化教材內容；第三年發展教材內容物件和學習策略的整合機制，並評估師生使用此個別化網路書籍系統的成效。

Rethinking Distributed Caching Systems Design and Implementation

Distributed caching systems based on in-memory key-value stores have become a crucial aspect of fast and efficient content delivery in modern web-applications. However, due to the dynamic and skewed execution environments and workloads, under which such systems typically operate, several problems arise in the form of load imbalance. This thesis addresses the sources of load imbalance in caching systems, mainly: i) data placement, which relates to distribution of data items across servers and ii) data item access frequency, which describes amount of requests each server has to process, and how each server is able to cope with it. Thus, providing several strategies to overcome the sources of imbalance in isolation. As a use case, we analyse Memcached, its variants, and propose a novel solution for distributed caching systems. Our solution revolves around increasing parallelism through load segregation, and solutions to overcome the load discrepancies when reaching high saturation scenarios, mostly through access re-arrangement, and internal replication.Os sistemas de cache distribuídos baseados em armazenamento de pares chave-valor em RAM, tornaram-se um aspecto crucial em aplicações web modernas para o fornecimento rápido e eficiente de conteúdo. No entanto, estes sistemas normalmente estão sujeitos a ambientes muito dinâmicos e irregulares. Este tipo de ambientes e irregularidades, causa vários problemas, que emergem sob a forma de desequilíbrios de carga. Esta tese aborda as diferentes origens de desequilíbrio de carga em sistemas de caching distribuído, principalmente: i) colocação de dados, que se relaciona com a distribuição dos dados pelos servidores e a ii) frequência de acesso aos dados, que reflete a quantidade de pedidos que cada servidor deve processar e como cada servidor lida com a sua carga. Desta forma, demonstramos várias estratégias para reduzir o impacto proveniente das fontes de desequilíbrio, quando analizadas em isolamento. Como caso de uso, analisamos o sistema Memcached, as suas variantes, e propomos uma nova solução para sistemas de caching distribuídos. A nossa solução gira em torno de aumento de paralelismo atraves de segregação de carga e em como superar superar as discrepâncias de carga a quando de sistema entra em grande saturação, principalmente atraves de reorganização de acesso e de replicação intern

Optimizações guiadas por dados reais em linguagens de domínio específico para a web

Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para a obtenção do Grau de Mestre em Engenharia InformáticaA utilização de linguagens para domínios específicos tendo em vista um processo de desenvolvimento mais simples e eficiente é um padrão cada vez mais frequente no desenvolvimento de aplicações para a web. Apesar destas linguagens permitirem aos programadores direccionarem o foco de desenvolvimento para as funcionalidades das suas aplicações, estas tendem em produzir aplicações pouco cuidadas a nível do consumo de recursos críticos, limitando a escalabilidade das mesmas. A forma típica de endereçar estas limitações passa por, após o desenvolvimento das suas aplicações, os programadores submeterem as mesmas a testes de desempenho e de carga recorrendo a ferramentas que lhes permitem simular ambientes de utilização reais. Contudo, simular um ambiente idêntico ao que será posteriormente encontrado em produção é um desafio que requer um investimento muito significativo em tempo, competências e atenção por parte da equipa de desenvolvimento, competindo por isso por recursos já escassos no seio de uma organização não dedicada ao desenvolvimento web. Isto leva a que normalmente os programadores apenas consigam identificar os problemas das suas aplicações quando estas, já em execução, começam a falhar. Um dos pontos críticos mais frequentes encontrados em aplicações web é a centralização dos dados em bases de dados, sendo criada uma grande carga sobre o servidor que mantém esses dados. Esta dissertação apresenta uma solução de baixo custo e com ganhos significativos que permite, através da análise de dados reais recolhidos durante a execução das aplicações, guiar os compiladores e os programadores a identificarem as entidades dos modelos de dados das aplicações cujos acessos podem ou devem ser optimizados através de mecanismos de cache. Com esta solução disponibilizámos aos programadores um método fácil e eficiente de identificarem as entidades candidatas à utilização de cache e introduzirem tais optimizações através de mecanismos simples. O risco associado à introdução de cache com a nossa solução é muito baixo, pois foi criado um mecanismo de invalidação que permite que os dados mantidos em cache sejam invalidados sempre que os dados que estes dependem sofram alterações na base de dados. A nossa solução foi implementada e testada sobre um exemplo concreto de uma DSL de alto nível, desenvolvida pela empresa OutSystems, donde se obtiveram resultados que indicam ganhos significativos no desempenho das aplicações finais, melhorando assim a experiência dos utilizadores finais dessas aplicações. Um dos principais objectivos desta solução era diminuir a carga existente sobre o servidor de bases de dados. Este objectivo foi sucedido, tendo sido obtida uma diminuição de pedidos sobre o servidor de base de dados de cerca de 60%(teste realizado em ambiente simulado)

Cacheability study for web content delivery

Master'sMASTER OF SCIENC

A peer distributed web caching system with incremental update scheme

Ph.DDOCTOR OF PHILOSOPH

A Model-Driven Simulation Study of World-Wide-Web Cache Policies.

The World-Wide-Web has experienced exponential growth in recent years. This growth has created a tremendous increase in network and server loads that have subsequently adversely affected user-response times. Among many viable and available approaches to reducing user-response time, Web caching appears to be one approach that has recently received considerable attention. In this dissertation we explore a new approach to the study of Web cache policies, namely model-driven simulation. We present a good model of Web-access user patterns based on sound theory and principles from the information sciences. This model is justified by the empirical web access data from several different web sites. The importance of removal policies in improving cache performance motivates us to propose a dynamic and robust removal policy which incorporates the characteristics of user access patterns. We show that our proposed removal policy performs rigorously well over a variety of parameters. In this research we take a model-driven simulation approach to evaluate the impact of different factors and policies on cache performance. The results indicate that cache size, user access patterns and removal policy are major factors affecting cache performance. Continuous removal method is a good and simple method. The increase of average document size, low comfort level (less than 50% cache size) and threshold policy would degrade web cache performance. Finally, we discuss the limitations of our current research and give some directions of future research

Improving Data Delivery in Wide Area and Mobile Environments

The popularity of the Internet has dramatically increased the diversity of clients and applications that access data across wide area networks and mobile environments. Data delivery in these environments presents several challenges. First, applications often have diverse requirements with respect to the latency of their requests and recency of data. Traditional data delivery architectures do not provide interfaces to express these requirements. Second, it is difficult to accurately estimate when objects are updated. Existing solutions either require servers to notify clients (push-based), which adds overhead at servers and may not scale, or require clients to contact servers (pull-based), which rely on estimates that are often inaccurate in practice. Third, cache managers need a flexible and scalable way to determine if an object in the cache meets a client's latency and recency preferences. Finally, mobile clients who access data on wireless networks share limited wireless bandwidth and typically have different QoS requirements for different applications. In this dissertation we address these challenges using two complementary techniques, client profiles and server cooperation. Client profiles are a set of parameters that enable clients to communicate application-specific latency and recency preferences to caches and wireless base stations. Profiles are used by cache managers to determine whether to deliver a cached object to the client or to validate the object at a remote server, and for scheduling data delivery to mobile clients. Server cooperation enables servers to provide resource information to cache managers, which enables cache managers to estimate the recency of cached objects. The main contributions of this dissertation are as follows: First, we present a flexible and scalable architecture to support client profiles that is straightforward to implement at a cache. wireless base station. Second, we present techniques to improve estimates of the recency of cached objects using server cooperation by increasing the amount of information servers provide to caches. Third, for mobile clients, we present a framework for incorporating profiles into the cache utilization, downloading, and scheduling decisions at a We evaluate client profiles and server cooperation using synthetic and trace data. Finally, we present an implementation of profiles and experimental results