System and Application Performance Analysis Patterns Using Software Tracing

Software systems have become increasingly complex, which makes it difficult to detect the root causes of performance degradation. Software tracing has been used extensively to analyze the system at run-time to detect performance issues and uncover the causes. There exist several studies that use tracing and other dynamic analysis techniques for performance analysis. These studies focus on specific system characteristics such as latency, performance bugs, etc. In this thesis, we review the literature to build a catalogue of performance analysis patterns that can be detected using trace data. The goal is to help developers debug run-time and performance issues more efficiently. The patterns are formalized and implemented so that they can be readily referred to by developers while analyzing large execution traces. The thesis focuses on the traces of system calls generated by the Linux kernel. This is because no application is an island and that we cannot ignore the complex interactions that an application has with the operating system kernel if we are to detect potential performance issues

中継ノードにおけるXMLデータへの並列ストリーミング処理に関する研究

XML文書のネットワーク上での中間処理のモデルとして，PASS（PrefixAutomata SyStem）-Node[1] が提案されている．PASS-Node では，ネットワークアプリケーションにおいて，従来は送信先の計算機（サーバ）で行われていたXML文書への文法チェック処理の一部または全てを，各種Web アプリケーションにおける共通の前処理として，送信先の計算機からネットワーク中に配置される中継ノードへオフロードする．このような処理のオフロードにより，最悪の処理時間の低減とサービスを利用するユーザに対してスループット等のサービスの向上が見込める．オフロードにより，送信先の計算機の処理負荷が軽減され，その分より多くのクライアントからの要求に応えられるようになるためである．さらに送信先の計算機では，サービスにとってより本質的な処理のみに専念することができる．このボトルネックの解消により，最悪の処理時間については改善される一方，中継ノードでの処理時間とオフロードによるオーバヘッドが生じ，最良の処理時間は増加する．そこで合わせて並列処理手法を採用することで，最良処理時間の低減を図る．しかしPASS-Node においては，XML文書へのオフロード手法について，数式を用いた理論的な定義と，試験実装を用いたオフロード機能の確認のみしか行われておらず，XML 文書へのネットワーク上での中間処理技術を実現する上での課題が残されていた．そこで本論文では，PASS-Node で残されていた課題を解決することに取り組む．まず，このような並列アプリケーションに必要な機能要素の洗い出しとシステム設計を行い，XML文書への並列ストリーミング処理を行うアプリケーションを実装した．このアプリケーションは，XML 文書への文法チェックの一部または全てを，中継ノードの配置に応じて，パイプライン並列またはデータ分割並列で任意の中継ノードに割り当てることが可能であり，データの送信先となるノードでは，XML 文書全体にわたって検査済みの結果を得ることができる．このアプリケーションを実環境にて稼働させ，本実装によるXML文書への並列ストリーミング処理のオフロードがうまく行われていること及びPASS-Node の実現可能性を示した．そしてこのアプリケーションを用いて，XML文書への並列ストリーミング処理の基本的な特性の評価と，より実際的な環境を想定した場合の評価として実データに基づくXML文書への処理及び実環境と仮想環境における処理特性の比較を行った．さらに，中間処理に必須のデータ蓄積用のバッファに着目し，その改良を行った．加えて，本研究で得られた知見を元に，最も効率的だと思われる構成でXML文書への並列ストリーミング処理を評価し，処理を行う中継ノードの数と処理時間，処理のオフロードの効果を議論した．近年，ネットワークアプリケーションの重要性が増しており，クラウド・コンピューティングなどの計算機資源を用いたサービス提供や計算手法が広く用いられるようになっている．このようなネットワークアプリケーションのために，ネットワークインフラ自体が高度な処理機能を持つ高機能ネットワークの必要性が議論されるようになってきている．高機能ネットワークでは，アプリケーションに即した処理が提供され，例えば，コンテンツの内容に関するフィルタリング処理，異なるWeb サービスの連携のためのデータ変換・加工・集約処理，データ転送量を減らす圧縮・伸張処理，不正アクセスの検知，フロー制御，エラー検知と訂正，統計情報の収集といったものが考えられる．通信のフィルタリングやデータの圧縮は，データの送信元に近い位置でその機能を提供することが有効である．また不正アクセスの検知等必ず提供されなければならないセキュリティ対策機能や複数のWeb サービスの連携機能等，種々のアプリケーションに共通して利用可能な機能をネットワークそのものがまとめて提供することにより，送信先の計算機においては処理の一部をネットワークに移譲できる．これにより，送信先の計算機では処理負荷が軽減され，本来行いたい重要な処理のみに注力できるようになるため，コスト・機能・性能面で有用である．さらにクライアント側においては，スループット等のサービスの向上といった利点を得ることができる．またネットワークインフラを保有する回線事業者にとっては，現在単なるインフラに留まっているネットワークに付加価値を持たせ，処理機能提供による新たな利益を得る機会が生まれる．さらに，本研究で評価の題材とするXML文書は，汎用性に優れているが内部に構造を持つデータ形式である．そのため，適切なデータの分割が為されずデータの欠損が起こった場合，処理を進めることができなくなるため，本質的に単純なデータ分割による並列処理には不向きである．このような並列処理の難しいXML文書を題材とすることで，本研究で得られた知見を，より並列処理の易しい他のデータ形式への処理に対しても適用でき，データを送信元の計算機（クライアント）から送信先の計算機（サーバ）へと送り，送信先の計算機にて処理を行うようなアプリケーションへの成果の応用が期待できる．九州工業大学博士学位論文 学位記番号:情工博甲第284号 学位授与年月日:平成25年12月26日第1章 はじめに|第2章 中継ノードで行うストリーミング並列処理|第3章 評価実験環境構成|第4章 XML文書へのストリーミングデータ処理の基本特性の評価|第5章 より実際的な環境を想定した特性の評価|第6章 処理ノードにおけるバッファ性能の改善|第7章 関連研究|第8章 単体の処理ノードのみ/複数の処理ノードでのストリーミング並列処理の比較|第9章 おわりに九州工業大学平成25年

Next generation computational tools for extreme-scale simulation of dynamic fracture and fragmentation in three dimensions

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Mechanical Engineering, 2013.Cataloged from PDF version of thesis.Includes bibliographical references (p. 211-221).The accurate modeling of dynamic fracture and fragmentation remains one of the most difficult challenges in computational mechanics research. As part of this thesis, a scalable algorithm for modeling dynamic fracture and fragmentation of solids in three dimensions is developed. The method is based on the combination of a discontinuous Galerkin (DG) formulation of the continuum problem and Cohesive Zone Models (CZM) of fracture. Prior to fracture, the flux and stabilization terms arising from the DG formulation at interelement boundaries are enforced via interface elements, much like in conventional approaches based on CZM. Upon the onset of fracture, the traction-separation law (TSL) governing the fracture process becomes operative without the need to propagate topological changes in the mesh as cracks and fragments develop. This enables the indistinctive treatment of crack propagation across processor boundaries and, thus, scalability in parallel computations. Upon crack closure, the reinstatement of the DG terms guarantees the proper description of compressive waves across closed crack surfaces. Another advantage of the method is that it preserves consistency and stability in the uncracked interfaces, thus avoiding issues with wave propagation typical of many CZM-based approaches. The new method is applied in this thesis to conduct the first systematic largescale 3D simulation study of projectile impact damage in brittle plates using CZMs. Utilizing full machine access to supercomputers from the DoD Supercomputing Resource Center (DSRC), we conduct a series of impact simulations at an unprecedented scale aimed at investigating the fundamental physics governing the fracture and fragmentation of brittle plates subjected to normal impact loads. Using the full-field description provided by the simulations, we identify the driving forces for different fracture mechanisms as a function of key problem parameters such as impact speed and plate geometry. In order to validate the computational approach, we also simulate several edge-on impact experiments and compare the simulated cracking patterns directly to experimental results. Another important contribution of this thesis is the first large-scale study of convergence of the fracture patterns predicted in 3D simulations, for which we complete full runs on up to 17,264 processors using meshes comprising up to 2.4 billion degrees of freedom. In addition to the simulation studies, we also develop a fracture mechanics-based model for characterizing radial cracking patterns in thin plates subjected to contact loads. To this end, we derive an approximate closed-form expression for the number of radial cracks which will propagate in an elastic membrane subjected to time-invariant axisymmetric tranverse loads. The model elucidates some of the basic physics governing the radial cracking process and proves useful as a tool for predicting the number of radial cracks in three-dimensional problems involving contact loads.by Andrew Nathan Seagraves.Ph.D

Evolutionary genomics : statistical and computational methods

This open access book addresses the challenge of analyzing and understanding the evolutionary dynamics of complex biological systems at the genomic level, and elaborates on some promising strategies that would bring us closer to uncovering of the vital relationships between genotype and phenotype. After a few educational primers, the book continues with sections on sequence homology and alignment, phylogenetic methods to study genome evolution, methodologies for evaluating selective pressures on genomic sequences as well as genomic evolution in light of protein domain architecture and transposable elements, population genomics and other omics, and discussions of current bottlenecks in handling and analyzing genomic data. Written for the highly successful Methods in Molecular Biology series, chapters include the kind of detail and expert implementation advice that lead to the best results. Authoritative and comprehensive, Evolutionary Genomics: Statistical and Computational Methods, Second Edition aims to serve both novices in biology with strong statistics and computational skills, and molecular biologists with a good grasp of standard mathematical concepts, in moving this important field of study forward

Evolutionary Genomics

This open access book addresses the challenge of analyzing and understanding the evolutionary dynamics of complex biological systems at the genomic level, and elaborates on some promising strategies that would bring us closer to uncovering of the vital relationships between genotype and phenotype. After a few educational primers, the book continues with sections on sequence homology and alignment, phylogenetic methods to study genome evolution, methodologies for evaluating selective pressures on genomic sequences as well as genomic evolution in light of protein domain architecture and transposable elements, population genomics and other omics, and discussions of current bottlenecks in handling and analyzing genomic data. Written for the highly successful Methods in Molecular Biology series, chapters include the kind of detail and expert implementation advice that lead to the best results. Authoritative and comprehensive, Evolutionary Genomics: Statistical and Computational Methods, Second Edition aims to serve both novices in biology with strong statistics and computational skills, and molecular biologists with a good grasp of standard mathematical concepts, in moving this important field of study forward