SOFTWARE RELIABILITY SIMULATION: PROCESS, APPROACHES AND METHODOLOGY

Reliability is probably the most crucial factor to put ones hand up for in any engineering process. Quantitatively, reliability gives a measure (quantity) of quality, and the quantity can be properly engineered using appropriate reliability engineering process. Software Reliability Modeling has been one of the much-attracted research domains in Software Reliability Engineering, to estimate the current state as well as predict the future state of the software system reliability. This paper aims to raise awareness about the usefulness and importance of simulation in support of software reliability modeling and engineering. Simulation can be applied in many critical and touchy areas and enables one to address issues before they these issues become problems. This paper brings to fore some key concepts in simulation-based software reliability modeling. This paper suggests that the software engineering community could exploit simulation to much greater advantage which include cutting down on software development costs, improving reliability, narrowing down the gestation period of software development, fore-seeing the software development process and the software product itself and so on

Optimal test case selection for multi-component software system

The omnipresence of software has forced upon the industry to produce efficient software in a short time. These requirements can be met by code reusability and software testing. Code reusability is achieved by developing software as components/modules rather than a single block. Software coding teams are becoming large to satiate the need of massive requirements. Large teams could work easily if software is developed in a modular fashion. It would be pointless to have software that would crash often. Testing makes the software more reliable. Modularity and reliability is the need of the day. Testing is usually carried out using test cases that target a class of software faults or a specific module. Usage of different test cases has an idiosyncratic effect on the reliability of the software system. Proposed research develops a model to determine the optimal test case policy selection that considers a modular software system with specific test cases in a stipulated testing time. The proposed model, models the failure behavior of each component using a conditional NHPP (Non-homogeneous Poisson process) and the interactions of the components by a CTMC (continuous time Markov chain). The initial number of bugs and the bug detection rate are known distributions. Dynamic programming is used as a tool in determining the optimal test case policy. The complete model is simulated using Matlab. The Markov decision process is computationally intensive but the implementation of the algorithm is meticulously optimized to eliminate repeat calculations. This has saved roughly 25-40% in processing time for different variations of the problem

Reliability stochastic systems and rational expectations

Attraverso la predizione del tempo di fallimento di sistemi stocastici con componenti interconnesse possiamo trarre interessanti conclusioni nell\u2019ambito della teoria dell\u2019affidabilit\ue0. In questa tesi di dottorato vogliamo approfondire questo filone di ricerca proponendo un modello stocastico per valutare il tempo di fallimento atteso di sistemi stocastici sotto una prospettiva di aspettative razionali. Il nostro obiettivo \ue8 quello di esplorare l\u2019affidabilit\ue0 dei sistemi k-out-of-n con componenti eterogenee e omogenee attraverso le aspettative razionali. Sono quindi due i framework sui quali si baser\ue0 questo lavoro di ricerca: la teoria dell\u2019affidabilit\ue0 con focus sui sistemi k-out-of-n e le aspettative razionali. I due principali approcci alla teoria dell\u2019affidabilit\ue0 possono essere cos\uec distinti: un approccio probabilistico che si concentra sulla distribuzione di probabilit\ue0 dei tempi di fallimento dei sistemi e un approccio di tipo Bayesiano computazionale che stima il tempo medio di fallimento di un sistema condizionandolo a diverse caratteristiche. Sono moltissimi gli studi che si approcciano a questo problema attraverso la distribuzione di probabilit\ue0, cos\uec come moltissimi ricercatori hanno affrontato problemi di affidabilit\ue0 sfruttando l\u2019approccio Bayesiano. La nostra ricerca si colloca in quest\u2019ultima area di studio. Infatti andremo a stimare il tempo medio di fallimento di sistemi il cui fallimento \ue8 direttamente dipendente dal numero e dalla rilevanza delle componenti. Ci occupiamo sia di sistemi con componenti omogenee che eterogenee, considerando diverse distribuzioni inziali della rilevanza delle componenti stesse con lo scopo di scoprire quale distribuzione funziona meglio in questo contesto. L\u2019affidabilit\ue0 dei sistemi oggetto di studio \ue8 valutata condizionando i risultati alle informazioni disponibili registrate con il passare del tempo e quindi nel contesto delle aspettative razionali. Vogliamo esplorare come l\u2019utilizzo efficiente delle informazioni collezionate nel tempo sull\u2019evoluzione dinamica dei pesi delle componenti dei sistemi, possa influenzare il miglioramento delle previsioni dei tempi di fallimento dei nostri sistemi stocastici. Si tratta di uno studio innovativo con risultati originali in quanto non esistono contributi simili nella letteratura esistente. La nostra nuova metodologia di previsione \ue8 ispirata a quella proposta da Andersen e Sornette (2005, 2006). A differenza loro per\uf2 proponiamo un\u2019interazione nel tempo tra le componenti che influenza la composizione e il funzionamento dell\u2019intero sistema. I sistemi sono confrontati sulla base di alcune misure sintetiche (la varianza, la curtosi, l\u2019asimmetria, il coefficiente di Gini e l\u2019entropia di Shannon) calcolate sulle realizzazioni dei pesi delle componenti ad ogni tempo (configurazioni). I pesi sono estratti da cinque diverse distribuzioni iniziali: uniforme in (0,1), beta con \u3b1=1 e \u3b2=3, beta con \u3b1=\u3b2=0.5, beta con \u3b1=\u3b2=2, beta con \u3b1=1 e \u3b2=0.5. Si tratta di valori dinamici in quanto la rilevanza delle componenti cambia ogni volta che ne fallisce una. Si applica infatti la \u201cregola di riallocazione\u201d che ci permette di avere sistemi dinamici con componenti interattive: il peso della componente che fallisce viene riallocato in maniera proporzionale sui pesi delle componenti ancora attive all\u2019interno del sistema. Le aspettative razionali ci permetteranno quindi di calcolare il valore atteso dei tempi di fallimento sotto il vincolo degli indicatori statistici delle configurazioni che variano nel tempo. Presentiamo dei sistemi le cui le informazioni sulle misure statistiche delle configurazioni e sui tempi di fallimento sono catalogate in un set (set informativo). Per realizzare le previsioni mettiamo a confronto le informazioni ottenute sui sistemi reali (sistemi in-vivo) condizionandole a quelle del set informativo. Il risultato \ue8 l\u2019implementazione di un\u2019analisi di scenario degli errori ottenuti da questo confronto che tiene conto di due aspetti fondamentali: le misure statistiche dei pesi delle componenti e il tempo. Illustriamo prima di tutto un framework teorico seguito da due diversi modelli computazionali basati su simulazioni numeriche con diversi focus e risultati differenti. I due modelli forniscono validazione teorica al modello teorico e dipendono strettamente dal tempo e dagli indicatori statistici. Nel primo modello viene enfatizzato il ruolo dei vari indicatori statistici con un\u2019analisi trasversale nel tempo. La nostra intenzione \ue8 quella di predire i tempi residui di fallimento dei sistemi stocastici andando a studiare gli errori che commettiamo in corrispondenza dei diversi livelli delle misure statistiche oggetto di analisi. Si tratta di un\u2019analisi individuale dei vari indicatori e come cambia l\u2019efficacia di predizione a seconda della distribuzione iniziale dei pesi individuata. Nel secondo modello ci focalizziamo sul ruolo del tempo attraverso tre diversi condizionamenti. Esploriamo in questo caso le aspettative razionali per studiare il comportamento rispetto al tempo degli errori di predizione condizionati a percentili differenti delle distribuzioni degli indicatori statistici. Misuriamo in questo contesto in una prima analisi l\u2019andamento degli errori per ogni indicatore, e poi procediamo con una comparazione tra le varie analisi per investigare quale indicatore statistico performa meglio anche in relazione alla distribuzione iniziale dei pesi scelta. Si tratta di due studi complementari mostrati con due distinti approcci computazionali. L\u2019obiettivo \ue8 quello di implementare delle procedure che posso essere sfruttate per verificare l\u2019affidabilit\ue0 di qualsiasi sistema con componenti interconnesse. In questa tesi quindi proponiamo un modello teorico per descrivere le aspettative razionali in un contesto di teoria dell\u2019affidabilit\ue0, validandolo attraverso due diversi approcci. I risultati presentati incoraggiano l\u2019uso delle aspettative razionali nei modelli di predizione. In entrambi i modelli proposti riusciamo a fornire predizioni molto accurate e a stabilire quali indicatori statistici sono pi\uf9 adatti a seconda delle circostanze oggetto di analisi. Esaminiamo nei due approcci presentati come i percorsi degli errori sono influenzati dall\u2019indicatore utilizzato, dai valori assunti dall\u2019indicatore stesso e dalle distribuzioni iniziali dei pesi delle componenti. Dimostriamo quindi che \ue8 possibile ottenere la predizione dei tempi di fallimento di sistemi stocastici. Sono molte le ricerche future che abbiamo intenzione di proseguire. \uc8 nostra intenzione cambiare le regole e le assunzioni proposte in questa tesi, e confrontare nuovi risultati con quelli gi\ue0 collezionati. Vorremo estendere l\u2019analisi aggiungendo altre misure statistiche (indice di Frosini, indice di Pearson oppure altre entropie). Vorremo approfondire il modo in cui l\u2019evoluzione delle distribuzioni dei pesi delle componenti influenza i risultati ottenuti oppure sarebbe interessante costruire un network sulle connessioni esistenti tra le componenti in considerazione della probabilit\ue0 con la quale falliscono. Questa tesi di dottorato pu\uf2 avere una reale rilevanza in un contesto economico-finanziario nel caso di modelli per previsioni basate sulle informazioni disponibili o nell\u2019analisi del rischio sistemico. La nostra intenzione \ue8 quella di applicare i nostri modelli a dati reali fornendo esperimenti numerici nel campo economico-finanziario. In generale \ue8 adattabile ad ogni sistema con componenti interconnesse. Sono quindi molti i futuri spunti di ricerca che speriamo di riuscire presto ad approfondire

Interactive assessment of simulated service qualities by business stakeholders: principles and research issues

We present the principles of an approach supporting the stakeholder involvement in a software process for service-oriented systems in a form of assessing the perceived quality of the software under development in its usage context. This method relies on interactive simulation of service performance and reliability; simulation models are parameterized by the factors influencing service execution; business stakeholders experience simulated service qualities in simulated usage contexts and assess this experience; the obtained assessments can be later used throughout the system lifecycle as a means of control for the quality of the software under development.Наведено принципи підходу, що підтримує участь зацікавлених осіб у процесі розробки сервіс-орієнтованих програмних систем у вигляді оцінювання сприйманої якості розроблюваної системи в контексті її використання. Цей підхід спирається на інтерактивне імітаційне моделювання продуктивності та надійності сервісів; параметрами імітаційних моделей є фактори, що впливають на виконання сервісів; зацікавлені особи висловлюють своє відношення до значень продуктивності та надійності, отриманих при взаємодії з імітаційними моделями якості сервісів у рамках виконання імітаційних моделей їх контекстів використання, надані оцінки можуть бути використані на різних етапах життєвого циклу програмного забезпечення як засоби контролю його якості

Software quality and reliability prediction using Dempster -Shafer theory

As software systems are increasingly deployed in mission critical applications, accurate quality and reliability predictions are becoming a necessity. Most accurate prediction models require extensive testing effort, implying increased cost and slowing down the development life cycle. We developed two novel statistical models based on Dempster-Shafer theory, which provide accurate predictions from relatively small data sets of direct and indirect software reliability and quality predictors. The models are flexible enough to incorporate information generated throughout the development life-cycle to improve the prediction accuracy.;Our first contribution is an original algorithm for building Dempster-Shafer Belief Networks using prediction logic. This model has been applied to software quality prediction. We demonstrated that the prediction accuracy of Dempster-Shafer Belief Networks is higher than that achieved by logistic regression, discriminant analysis, random forests, as well as the algorithms in two machine learning software packages, See5 and WEKA. The difference in the performance of the Dempster-Shafer Belief Networks over the other methods is statistically significant.;Our second contribution is also based on a practical extension of Dempster-Shafer theory. The major limitation of the Dempsters rule and other known rules of evidence combination is the inability to handle information coming from correlated sources. Motivated by inherently high correlations between early life-cycle predictors of software reliability, we extended Murphy\u27s rule of combination to account for these correlations. When used as a part of the methodology that fuses various software reliability prediction systems, this rule provided more accurate predictions than previously reported methods. In addition, we proposed an algorithm, which defines the upper and lower bounds of the belief function of the combination results. To demonstrate its generality, we successfully applied it in the design of the Online Safety Monitor, which fuses multiple correlated time varying estimations of convergence of neural network learning in an intelligent flight control system

Mobile agent security and reliability issues in electronic commerce.

Chan, Hing-wing.Thesis (M.Phil.)--Chinese University of Hong Kong, 2000.Includes bibliographical references (leaves 76-79).Abstracts in English and Chinese.Abstract --- p.iAbstract (Chinese) --- p.iiAcknowledgements --- p.iiiContents --- p.ivList of Figures --- p.viiList of Tables --- p.viiiChapter Chapter 1. --- Introduction --- p.1Chapter 1.1. --- Mobile Agents and the Problems --- p.1Chapter 1.2. --- Approach --- p.3Chapter 1.3. --- Contributions --- p.3Chapter 1.4. --- Organization of This Thesis --- p.4Chapter Chapter 2. --- The Mobile Code Paradigm --- p.6Chapter 2.1. --- Mobile Code: an Alternative to Client/Servers --- p.6Chapter 2.1.1. --- Classification of Mobile Codes --- p.8Chapter 2.1.2. --- Applications of Mobile Code Paradigms --- p.10Chapter 2.1.3. --- Supporting Implementation Technologies --- p.11Chapter 2.2. --- The Problems of Mobile Code --- p.13Chapter 2.2.1. --- Security Issues in Distributed Systems --- p.13Chapter 2.2.2. --- Security Concerns of Mobile Code Paradigms --- p.15Chapter 2.2.2.1. --- Security Attacks --- p.15Chapter 2.2.2.2. --- Security Mechanisms --- p.17Chapter 2.2.2.3. --- A Security Comparison between Paradigms --- p.20Chapter 2.2.3. --- Security Features of Implementation Technologies --- p.20Chapter 2.2.3.1. --- Security Services of Message-based Technology --- p.21Chapter 2.2.3.2. --- Security Services of Object-based Technology --- p.21Chapter 2.2.3.3. --- Security Services of Mobile Technology --- p.22Chapter 2.2.3.4. --- A Comparison of Technologies on Security Services --- p.22Chapter 2.3. --- Chapter Summary --- p.23Chapter Chapter 3. --- "Mobile Agents, Its Security and Reliability Issues" --- p.24Chapter 3.1. --- Advantages and Applications of Mobile Agents --- p.24Chapter 3.2. --- Security Concerns of Mobile Agents --- p.26Chapter 3.2.1. --- Host Security --- p.27Chapter 3.2.2. --- Agent Security --- p.27Chapter 3.3. --- Techniques to Protect Mobile Agents --- p.29Chapter 3.3.1. --- Protected Agent States --- p.29Chapter 3.3.2. --- Mobile Cryptography --- p.30Chapter 3.4. --- Reliability Concerns of Mobile Agents --- p.31Chapter Chapter 4. --- Security and Reliability Modeling for Mobile Agents --- p.32Chapter 4.1. --- Attack Model and Scenarios --- p.33Chapter 4.2. --- General Security Models --- p.34Chapter 4.2.1. --- Security and Reliability --- p.34Chapter 4.2.2. --- Deriving Security Models --- p.36Chapter 4.2.3. --- The Time-to-Effort Function --- p.38Chapter 4.3. --- A Security Model for Mobile Agents --- p.40Chapter 4.4. --- Discussion of the Proposed Model --- p.43Chapter 4.5. --- A Reliability Model for Mobile Agents --- p.43Chapter Chapter 5. --- The Concordia Mobile Agent Platform --- p.46Chapter 5.1. --- Overview --- p.46Chapter 5.2. --- Special Features --- p.47Chapter Chapter 6. --- SIAS: A Shopping Information Agent System --- p.49Chapter 6.1. --- What the System Does --- p.49Chapter 6.2. --- System Design --- p.50Chapter 6.2.1. --- Object Description --- p.50Chapter 6.2.2. --- Flow Description --- p.52Chapter 6.3. --- Implementation --- p.53Chapter 6.3.1. --- Choice of Programming Language --- p.53Chapter 6.3.2. --- Choice of Mobile Agent Platform --- p.53Chapter 6.3.3. --- Other Implementation Details --- p.54Chapter 6.4. --- Snapshots --- p.54Chapter 6.5. --- Security Design of SIAS --- p.57Chapter 6.5.1. --- Security Problems of SIAS --- p.58Chapter 6.5.2. --- Our Solutions to the Problems --- p.60Chapter 6.5.3. --- Evaluation of the Secure SIAS --- p.64Chapter 6.5.3.1. --- Security Analysis --- p.64Chapter 6.5.3.2. --- Performance Vs Query Size --- p.65Chapter 6.5.3.3. --- Performance Vs Number of Hosts --- p.67Chapter 6.6. --- Reliability Design of SIAS --- p.69Chapter 6.6.1. --- Reliability Problems of SIAS --- p.69Chapter 6.6.2. --- Our Solutions to the Problems --- p.70Chapter 6.6.3. --- Evaluation of the Reliable SIAS --- p.71Chapter Chapter 7. --- Conclusions and Future Work --- p.73Bibliography --- p.7

Integrated Software Architecture-Based Reliability Prediction for IT Systems

With the increasing importance of reliability in business and industrial IT systems, new techniques for architecture-based software reliability prediction are becoming an integral part of the development process. This dissertation thesis introduces a novel reliability modelling and prediction technique that considers the software architecture with its component structure, control and data flow, recovery mechanisms, its deployment to distributed hardware resources and the system\u27s usage profile

Integrated Software Architecture-Based Reliability Prediction for IT Systems

With the increasing importance of reliability in business and industrial IT systems, new techniques for architecture-based software reliability prediction are becoming an integral part of the development process. This dissertation thesis introduces a novel reliability modelling and prediction technique that considers the software architecture with its component structure, control and data flow, recovery mechanisms, its deployment to distributed hardware resources and the system´s usage profile