動画配信サービスのための軽量分散協調キャッシュ基盤の研究

　時刻に関係なく動画を視聴できるオンデマンド動画配信(Video-on-Demand; VoD) サービスの普及に伴い，インターネット通信量は急激に増大している．インターネット通信量は5年で3倍の速度で増加すると見込まれており，2020年にはインターネット通信量の80%以上を動画通信が占めると予測されている．増大する通信量はルータやスイッチなどの通信機材の増設や刷新で対応できるが，通信量の増加に伴い継続的な増設が求められるため，経済的ではない． 　VoDサービス事業者は一般に，コンテンツ配信ネットワーク(Content Delivery Network;CDN) 事業者に大容量コンテンツの配信を委託している．CDN事業者は，世界中のユーザから近い位置にキャッシュサーバを設置し，大規模なキャッシュネットワークを構築している．各キャッシュサーバはコンテンツがネットワークを通過する際にデータをコピーしておき，再利用することで，通信量を削減している．動画コンテンツは一度アップロードされると滅多に更新されることがないため，キャッシュサーバは重複する通信を削減できる．このようにすることで，キャッシュサーバは遠くの配信サーバとの通信回数を削減し，効率よくインターネット通信量を削減する．しかしながら，キャッシュ容量には上限があり，動画コンテンツは継続的に追加されるため，1台のキャッシュサーバにすべての動画コンテンツを保持させることは現実的ではない．また，CDN事業者のキャッシュサーバは設置拠点が限られているため，キャッシュサーバの通信量や，キャッシュサーバまでの経路を提供するインターネットサービスプロバイダ(Internet Service Provider; ISP) 内の通信量を削減できない．その結果，通信路の混雑や通信量の増大を招いてしまう．　CDN事業者は，複数のキャッシュサーバでキャッシュされたコンテンツを共有することで実効キャッシュ容量を拡大し，通信量削減と負荷分散を図ろうとしている．このような手段はデータ転送路を制御するトラフィックエンジニアリングをもとに実現されるが，CDN事業者はISPの物理ネットワーク形状やリンク帯域等に関する知識をもたないため，効率よくキャッシュサーバを協調させることが難しい．そのため，近年はISP事業者が自社のネットワーク中にキャッシュサーバを配置し，トラフィックエンジニアリングを駆使して協調動作させることで，分散協調キャッシュネットワークの構築を検討している．このような方法をとることで，ネットワークとキャッシュサーバの両方を同一の事業者が管理するため，効率の良い通信量削減が実現できる．ISPが管理するISP内のキャッシュネットワークはTelco-CDNと呼ばれる．　最近の研究では，Telco-CDNのキャッシュサーバを効率よく管理する方法が提案されている．典型的には，複数のキャッシュサーバで保持するコンテンツの規則を設定しておき，各キャッシュサーバで異なるコンテンツを保持させることで，実効キャッシュ容量を拡大し，通信量の削減が実現されている．しかしながら，このような方法は各コンテンツのアクセス頻度情報を考慮しないため，人気上位のコンテンツを保持する数台のキャッシュサーバに負荷が集中してしまう．また，効率の良いコンテンツ配置を求める最適化問題を設定して計算することで，通信量削減効果の高い分散協調キャッシュを実現する研究も行われている．しかしながら，最適化問題の計算には長時間の計算を要する一方で，VoDサービスの動画アクセスパターンは1時間で20-40%程度変化してしまうため，計算が終了した時点で最適なコンテンツ配置との乖離が生まれ，通信量削減効果が低減してしまう．　本論文では，VoDサービスのアクセス傾向を効率よくキャッシュする2種類のキャッシュ制御アルゴリズムを提案し，組み合わせて利用することで，通信量の削減を図る．まず第1に，2種類の異なるキャッシュアルゴリズムを組み合わせたハイブリッドキャッシュアルゴリズムを提案する．このアルゴリズムは，異なるキャッシュアルゴリズムをネットワーク中に混在させたり，1台のキャッシュサーバのストレージ領域を分割してアルゴリズムを混合して利用することで，急激に変動する動画アクセスを効率よくキャッシュして，高い通信量削減効果を維持する．アクセス頻度の高いコンテンツを保持するLeast Frequently Used (LFU)ベースのアルゴリズムで高い通信量削減効果を実現し，最近アクセスされたコンテンツを優先的に保持するLeast Recently Used (LRU)ベースのアルゴリズムで急激なアクセス傾向の変化に追従する．　第2に，色タグ情報を用いた分散協調キャッシュ制御手法を提案し，キャッシュネットワーク中のコンテンツ配置を効率よく制御する．この方法は，コンテンツとキャッシュサーバの両方に色タグを設定し，色がマッチする場合にキャッシュするよう制御することで，コンテンツを分散配置し，実効キャッシュ容量を拡大する．具体的には，先に述べたハイブリッドキャッシュのLFU領域に色タグを設定し，大容量な分散協調領域として利用するとともに，小容量なLRU領域ではタグ情報にかかわらずコンテンツをキャッシュさせることで，動画アクセス傾向の変化に追従する．アクセス頻度の高いコンテンツほど多数の色を割り当てることでユーザからのホップ数を短縮し，コンテンツ配信サーバだけでなくISPネットワーク内部の通信量も効率よく削減する．色タグ情報の軽量管理手法と，色タグ情報を活用する経路制御アルゴルズムも合わせて提案し，軽量な計算オーバヘッドで高い通信量削減効果を実現する．　ハイブリッドキャッシュアルゴリズムの評価では，新規にアクセス頻度の高いコンテンツを追加しても，LFUベースのキャッシュ領域で高い通信量削減効果を達成しつつ，LRUベースのキャッシュ領域で通信量を維持できることが示された．また，色タグ情報に基づく分散協調キャッシュアルゴリズムは，遺伝的アルゴリズムで計算した準最適制御に近い通信量削減効果を実現し，その計算オーバヘッドも小さく抑えられることを確認した．また，色タグ情報を活用した経路制御アルゴリズムは，最短経路制御と比較して31．9%の通信量削減効果を得られることを確認した．電気通信大学201

Active caching for recommender systems

Web users are often overwhelmed by the amount of information available while carrying out browsing and searching tasks. Recommender systems substantially reduce the information overload by suggesting a list of similar documents that users might find interesting. However, generating these ranked lists requires an enormous amount of resources that often results in access latency. Caching frequently accessed data has been a useful technique for reducing stress on limited resources and improving response time. Traditional passive caching techniques, where the focus is on answering queries based on temporal locality or popularity, achieve a very limited performance gain. In this dissertation, we are proposing an ‘active caching’ technique for recommender systems as an extension of the caching model. In this approach estimation is used to generate an answer for queries whose results are not explicitly cached, where the estimation makes use of the partial order lists cached for related queries. By answering non-cached queries along with cached queries, the active caching system acts as a form of query processor and offers substantial improvement over traditional caching methodologies. Test results for several data sets and recommendation techniques show substantial improvement in the cache hit rate, byte hit rate and CPU costs, while achieving reasonable recall rates. To ameliorate the performance of proposed active caching solution, a shared neighbor similarity measure is introduced which improves the recall rates by eliminating the dependence on monotinicity in the partial order lists. Finally, a greedy balancing cache selection policy is also proposed to select most appropriate data objects for the cache that help to improve the cache hit rate and recall further

A peer distributed web caching system with incremental update scheme

Ph.DDOCTOR OF PHILOSOPH

Sixth Goddard Conference on Mass Storage Systems and Technologies Held in Cooperation with the Fifteenth IEEE Symposium on Mass Storage Systems

This document contains copies of those technical papers received in time for publication prior to the Sixth Goddard Conference on Mass Storage Systems and Technologies which is being held in cooperation with the Fifteenth IEEE Symposium on Mass Storage Systems at the University of Maryland-University College Inn and Conference Center March 23-26, 1998. As one of an ongoing series, this Conference continues to provide a forum for discussion of issues relevant to the management of large volumes of data. The Conference encourages all interested organizations to discuss long term mass storage requirements and experiences in fielding solutions. Emphasis is on current and future practical solutions addressing issues in data management, storage systems and media, data acquisition, long term retention of data, and data distribution. This year's discussion topics include architecture, tape optimization, new technology, performance, standards, site reports, vendor solutions. Tutorials will be available on shared file systems, file system backups, data mining, and the dynamics of obsolescence

Static Caching in Web Servers

Most existing studies on Web document caching consider Web proxies. The focus of this paper is caching in primary Web servers. This type of caching decreases request response time and server load. We use log files from four Web servers to analyze the performance of various proposed cache policies for Web servers: LRU-Threshold, LFU, LRU-SIZE, LRU-MIN, and the Pitkow/Recker policy. We also study application of LRU-k, a caching policy initially designed for database systems, to Web servers. Augmented LRU-k with a threshold parameter makes it an efficient caching policy for Web servers. Web document access patterns change very slowly. Documents, that were popular today, will stay popular tomorrow. Based on this fact, we propose and evaluate static caching, a novel cache policy for Web servers. In static caching, the set of documents kept in the cache is determined periodically by analyzing the request log file for the previous period. The cache is filled with documents to maximize cache p..