클래스 불균형을 고려한 교차 프로젝트 결함 예측용 근접 기반 하이브리드 인스탄스 선택 프레임워크

학위논문(박사) - 한국과학기술원 : 전산학부, 2016.8 ,[vii, 101 p. :]Software defect prediction can help to allocate testing resources on fault-prone modules. Typically, local data within a company are used to build classifiers. In contrast to such Within-Project Defect Prediction (WPDP), there may exist some cases, e.g., pilot projects, that lack past data. Cross-project defect prediction (CPDP) using data from other projects can be useful in such cases. The major challenge of CPDP is different distributions in the training and test data. To tackle this, instances of the source data similar to the target data are selected to build classifiers. Software defect datasets have a class imbalance problem, i.e., the size ratio of the defective class to the clean class is very low. It usually lowers the performance of classifiers. In the presence of irrelevant or redundant information, prediction performance may be degraded as well. To address all the above issues, we propose a Hybrid Instance Selection using Nearest-Neighbor (HISNN) framework. It performs a hybrid classification that selectively learns local knowledge (via k-Nearest Neighbor) and global knowledge (via naive Bayes). Instances that have strong local knowledge are identified via nearest-neighbors with the same class label. To identify the optimal feature selection technique, we compare 9 feature selection techniques in cross-project settings. After features are chosen, classifiers are built, tested, and later evaluated based on the statistical significance test and the effect size test. The results show that the predictive performances of HISNN are comparable to those of WPDP. Using HISNN, companies without local data can predict defects with high performance until sufficient data are collected. Consequently, software quality can be managed effectively.한국과학기술원 :전산학부

A Case Study of Industrial Software Defect Prediction in Maritime and Ocean Transportation Industries

소프트웨어 결함 예측(Software Defect Prediction)은 최신의 다양한 기계학습 (Machine Learning) 기법을 적용하여 과거의 소프트웨어 결함 및 업데이트 정보를 학습한 모델을 기반으로 새로 개발된 소프트웨어 결함을 사전에 예측하는 연구이다. 이를 통해 실제 산업에서 소프트웨어 품질보증(SQA) 자원을 효과적으로 운영/배치하기 위한 가이드로 활용할 수 있다. 최근 산업 적용 사례들이 일부 학계에 보고되고 있지만, 특성이 서로 다른 다양한 도메인 적용과 이를 적용하면서 얻은 통찰을 실제에 반영하는 연구가 보다 활발하게 필요한 상황이다. 본 논문에서는 최근 고효율 친환경 선박, 커넥티드 선박, 스마트 선박, 무인 선박, 자율운항 선박 등 미래 운송 수단으로의 변화에 직면해 있는 조선해양/해상운송 산업에 소프트웨어 결함 예측의 적용 가능성을 제시한다. 해당 도메인에서 수집된 실제 데이터를 활용하여 실험을 수행한 결과 0.91 Accuracy와 0.831 F-measure의 높은 결함 예측 성능을 보여 가능성을 확인하였고, 기존 사례가 없는 해당 산업으로의 적용 방안을 제시하여 SQA 자원 배치를 효과적으로 지원하는 도구가 될 것으로 기대 된다.

A Selection Technique of Source Project in Heterogeneous Defect Prediction based on Correlation Coefficients

소프트웨어 결함 예측은 과거의 결함정보를 바탕으로 개발 중인 소프트웨어의 결함을 예측하는 기술이다. 최근에는 서로 다른 메트릭을 가진 프로젝트 사이에서도 기술을 적용하기 위해 이종 결함 예측이 떠오르고 있다. 지금까지 이종 결함 예측은 한 쌍의 학습 및 타겟 프로젝트가 주어졌을 때 성능을 높이는 것에 초점을 맞춰왔다. 그러나 실제 개발에서는 하나의 타겟 프로젝트에 대해 여러 학습 후보 프로젝트가 존재하므로 어떤 것으로 모델을 학습해야 최적의 결과를 얻을지 알 수 없다. 본 연구에서는 이러한 문제를 해결하기 위해 상관 계수를 활용한 학습 프로젝트 선택 기법을 제안한다. 메트릭 매칭 후 대응하는 데이터 간 상관 계수의 평균이 가장 높은 프로젝트를 학습 프로젝트로 선택한 결과, 무작위 선택과 비교하여 예측 성능이 증가했다. 또한, 100개 미만의 인스턴스를 학습 후보에서 제외하여 성능을 향상할 수 있었다. 이를 통해 실제 개발에서 결함이 존재하는 모듈을 더 정확히 예측할 수 있다.

Behavior Model-Based Fault Localization for RESTful Web Applications

웹 어플리케이션의 규모나 복잡성이 전통적인 소프트웨어보다 커 기존 결함 위치 추정 기법을 적용하기 어렵고, 웹 어플리케이션과 같은 복잡한 시스템 대상의 연구들도 시스템 내 구성 요소들 간 간접적 상호작용과 시스템의 동적 재구성을 고려하지 못한다. 이 문제를 풀기 위해 본 연구는 RESTful 웹 어플리케이션의 실행 기록을 구성 요소들이 수행하는 행위들의 순열로 모델링하고, 그 행위 모델 상에서 결함을 위치 추정하는 기법을 제안한다. 이 기법은 직간접적 상호작용을 모두 반영하는 행위 모델을 사용하고 실행 전에 모델을 미리 구축할 필요가 없어 동적 환경에 적합하다. 기법의 평가를 위해 사례 연구를 수행하여 전체 디버깅 대상 수의 1.8%에 해당하는 순위 내에 모든 결함을 위치 추정했다. 본 연구에서 제안하는 행위 모델 기반 RESTful 웹 어플리케이션 결함 위치 추정 기법이 대규모의 복잡한 웹 어플리케이션의 디버깅 노력을 효과적으로 감소시킬 것으로 기대된다.

Error Location-Directed Traversal Strategy for Fast Lazy Predicate Abstraction Model Checking via Block Encoding

블록 부호화를 통한 지연 술어 추상화 기법 (Lazy Predicate Abstraction via Block Encoding, LPABE)은 추상화 기반 모델 체킹의 추상 상태 폭발 문제를 반복문의 시작지점에서만 추상 상태를 만들고 여러 임시 상태들을 하나로 합침으로써 완화하는 기법이다. 그런데 에러 위치에 빠르게 도달하는 것이 상태의 수를 감소시키는데 효과적임에도 불구하고 LPABE가 기존에 사용하는 순회 전략은 에러 위치에 늦게 도달하는 문제가 있다. 기존 순회 전략은 에러 위치에 도달하는 것과 관련이 없는 반복문들을 반복해서 순회하면서 많은 수의 추상 상태를 만드는 현상을 발생시킬 수 있다. LPABE는 추상 상태를 만드는데 대부분의 시간을 소요하기 때문에 추상 상태의 수를 줄이는 것은 LPABE의 소요시간을 줄이는데 매우 중요하다. 본 연구에서는 LPABE의 소요시간을 줄이기 위해 에러 위치 지향 순회 전략 (Error location-Directed Traversal Strategy, EDTS)을 제안한다. EDTS는 실행 경로들 중에서 에러 위치에 가장 가깝게 도달한 실행 경로를 가장 먼저 탐색함으로써 반복문을 불필요하게 탐색하는 현상을 줄이고자 한다. EDTS를 평가하기 위하여 3831개 벤치마크들을 대상으로 LPABE-EDTS와 LPABE를 비교하는 실험을 수행하였다. 실험 결과 LPABE-EDTS는 LPABE에 비하여 50개 더 많은 벤치마크들을 해결하였으며 같은 벤치마크를 평균적으로 더 적은 시간 만에 해결하였다