Statik ve dinamik analizler ile hesaplanan risklere dayalı olarak test modellerinin iyileştirilmesi

Model bazlı test teknikleri, sistem kullanım modelinden test senaryolarının otomatik olarak oluşturulmasını sağlayarak verimliliği artırmaktadır. Prensip olarak sonsuz sayıda test senaryosu oluşturmak mümkündür; ancak bu senaryoları sınamak için kaynaklar kısıtlıdır. Dolayısıyla, kullanılan modelin içeriği ve test senaryosu oluşturma teknikleri, etkin bir şekilde hataların tespit edilmesini sağlamalıdır. Bu çalışmamızda, model bazlı test için kullanılan model içeriği ve model parametrelerinin iyileştirilmesine yönelik özgün bir yaklaşım öneriyoruz. Yaklaşımımızda kullandığımız Markov zincirleri, istatistiksel verileri baz alarak, model parametrelerini, hata riski yüksek olan senaryolara ağırlık verecek şekilde güncellememize olanak vermektedir. Statik kod analiz teknikleri ve kullanım profili analizlerini değerlendirerek sık kullanılan ve hata ile karşılaşılma olasılığı yüksek olan işlevleri belirliyoruz. Model içeriğini bu işlevleri test etmek üzere oluşturuyoruz. Dinamik analiz sonuçlarına göre hata oluşumuna yatkın olan işlevlerin, oluşturulan test senaryolarına dâhil edilme olasılıklarını artıracak şekilde model parametrelerini güncelliyoruz. Bu yöntem ile gerçek bir Akıllı TV sistemi yazılımı için oluşturulan test senaryolarını kullandığımızda, hata tespit etkinliğinin arttığını gözlemledik.publisher versio

Statik ve dinamik analizler ile hesaplanan risklere dayalı olarak test modellerinin iyileştirilmesi

Model bazlı test teknikleri, sistem kullanım modelinden test senaryolarının otomatik olarak oluşturulmasını sağlayarak verimliliği artırmaktadır. Prensip olarak sonsuz sayıda test senaryosu oluşturmak mümkündür; ancak bu senaryoları sınamak için kaynaklar kısıtlıdır. Dolayısıyla, kullanılan modelin içeriği ve test senaryosu oluşturma teknikleri, etkin bir şekilde hataların tespit edilmesini sağlamalıdır. Bu çalışmamızda, model bazlı test için kullanılan model içeriği ve model parametrelerinin iyileştirilmesine yönelik özgün bir yaklaşım öneriyoruz. Yaklaşımımızda kullandığımız Markov zincirleri, istatistiksel verileri baz alarak, model parametrelerini, hata riski yüksek olan senaryolara ağırlık verecek şekilde güncellememize olanak vermektedir. Statik kod analiz teknikleri ve kullanım profili analizlerini değerlendirerek sık kullanılan ve hata ile karşılaşılma olasılığı yüksek olan işlevleri belirliyoruz. Model içeriğini bu işlevleri test etmek üzere oluşturuyoruz. Dinamik analiz sonuçlarına göre hata oluşumuna yatkın olan işlevlerin, oluşturulan test senaryolarına dâhil edilme olasılıklarını artıracak şekilde model parametrelerini güncelliyoruz. Bu yöntem ile gerçek bir Akıllı TV sistemi yazılımı için oluşturulan test senaryolarını kullandığımızda, hata tespit etkinliğinin arttığını gözlemledik.publisher versio

Assessing the sensitivity to usage profile changes in test planning

Software reliability is an important characteristic for most systems, but due to its dynamic properties it is hard to assess until very late in the development. Nevertheless, the testing must be planned to meet the reliability requirements. In test planning, the notion of usage coverage may be used as an indicator of reliability as they are correlated with each other. When the testing is planned, the test cases to be run and the usage profile are derived. The usage profile is estimated using the available information of the expected usage. There are therefore some uncertainties in the estimated usage profile. This paper presents and evaluates a method for analyzing the impact of uncertainties in the usage profile on the usage coverage. The method is applied during test planning to evaluate how sensitive the usage coverage is to usage profile uncertainties. Different usage profiles are simulated using the expected usage profile and an uncertainty expressed as a percentage value or a range within which the changed usage profile may vary. Test cases are derived from the expected usage profile and the resulting usage coverage is estimated for each simulated usage profile. Thus the impact in the usage coverage can be analyzed. The presented analysis method is illustrated with an example system. One of the conclusions from this first study of the method is that the sparseness of the usage profile, which is defined by limitations in the usage pattern, reduces the impact of the usage profile uncertainties. Further, the number of test cases is an important factor in the sensitivity to uncertainties in the usage profile