On statistical tests for randomness included in the NIST SP800-22 test suite and based on the binomial distribution

In this paper we review some statistical tests included in the NIST SP 800-22 suite, which is a collection of tests for the evaluation of both true-random (physical) and pseudorandom (algorithmic) number generators for cryptographic applications. The output of these tests is the so-called p-value which is a random variable whose distribution converges to the uniform distribution in the interval [0,1] when testing an increasing number of samples from an ideal generator. Here, we compute the exact non-asymptotic distribution of p-values produced by few of the tests in the suite, and propose some computation-friendly approximations. This allows us to explain why intensive testing produces false-positives with a probability much higher than the expected one when considering asymptotic distribution instead of the true one. We also propose a new approximation for the Spectral Test reference distribution, which is more coherent with experimental results

Pembentukan Data Uji Menggunakan Algoritma Optimisasi Koloni Semut dan Pendekatan Teknik Pengujian Kotak Abu-Abu

Pengujian perangkat lunak dapat menjadi cara yang efektif untuk memperbaiki kualitas serta ketahanan perangkat lunak. Secara umum pengujian perangkat lunak dapat dilakukan dengan teknik kotak putih (white box) dan kotak hitam (black box). Teknik pengujian kotak abu-abu (gray box) dikenal sebagai teknik penguijan yang menggunakan pendekatan teknik pengujian kotak putih dan kotak hitam. Teknikpengujian kotak abu-abu memperluas kriteria cakupan logika dari teknik pengujian kotak putih dan menemukan semua kemungkinannya dari model desain perangkat lunak sepertipada teknik pengujian kotak hitam. Teknik pengujian kotak abu-abu menggunakan data seperti: UML Diagram, Model Arsitektur perangkat lunak, ataupun Finite State Machine Diagram (State Model) untuk membentuk kasus pengujian. Selain itu pengujian perangkat lunak dapat dilakukan dengan teknik Soft Computing dan Hard Computing. Teknik Hard Computing sulit diimplementasikan pada problematika yang ada saat ini. Sehinga teknik Soft Computing dapat menjadi alternatif yang digunakan dalam pengujian perangkat lunak. Teknik Soft Computing merupakan teknik yang lebih berfokus pada menginterpretasikan perilaku sistem dari pada hasil presisi. Teknik Soft Computing biasanya berdasarkan teknik logika fuzzy, jaringan saraf tiruan ataupun pengambilan keputusan berdasarkan nilai distribusi kemungkinan. Teknik pengujian perangkat lunak yang mengunakanteknil Soft Computing denganmetode pengambilan sampel berdasarkan nilai kemungkinan dikenal dengan teknik pengujian statistika. Berdasarkan penelitian terkait, algoritma Ant Colony Optimization (ACO) atau optimisasi koloni semut merupakan algoritma yang digunakan pada teknik pengujian statistika untuk membentuk data uji dengan kemampuan yang lebih baik dibandingkan algoritma lain seperti: Simulated Annealing (SA) serta algoritma genetika. Selain itu ACO juga memiliki hasil yang sebanding dengan algoritma Particle Swarm Optimization (PSO) atau optimisasi kawanan partikel. ACO diimplementasikan pada kode program perangkat lunak yang diuji untuk membentuk data uji berdasarkan nilai kemungkinan terbesar random data uji dari domain terpilih. Pemilihan data uji merupakan faktor utama yang menentukan keberhasilan dari suatu pengujian perangkat lunak. Sehingga pemilihan teknik yang tepat dapat membantu menunjang keberhasilan dalam pengujian perangkat lunak.Pada penelitian ini, ACO diimplementasikan berdasarkan teknik pengujian kotak abu-abu menggunakan diagram UML State Machine. Pembentukan data uji yang berkualitas adalah berdasarkan kecukupan kriteria percabangan yang dapat ditelusuri. Tujuan dari penelitian ini adalah untuk mendapatkan hasil perbandingan pembentukan data uji dengan teknik pengujian kotak abu-abu menggunakan diagram UML State Machine dan teknik pengujian struktur kotak putih menggunakan kode program. Hasil penelitian ini diharapkan mampu memberikan gambaran kualitas data uji yang dibentuk dari masing-masing teknik ========================================================================================================Software testing can be an effective way to improve software quality and reliability. In general, software testing techniques can be classified into White Box and Black Box. Gray Box testing technique is known as testing technique which is used both White Box and Black Box techniques. It extends the logical coverage criteria of white box method and finds all the possibility from the design model which is like black box method. Gray Box technique uses data such as: UML Diagram, Software Architecture Model, or Finite State Machine Diagram (State Model) to generate test cases. The other classification of software testing technique is Hard Computing technique and Soft Computing technique. Hard Computing technique is difficult to be implemented in today problems. And Soft Computing technique can be an alternative way which can be used in software testing. Soft Computing technique focuses on system behavior interpretation than precision result. Soft Computing technique is based on fuzzy logic, neural network, or decision making by probability distribution. Software testing which is used Soft Computing technique and its sampling method based on probability distribution, is known as statistical testing. Based on research, Ant Colony Optimization (ACO) Algorithm is algorithm which is used in statistical testing to generate test data, and its result better than another algorithm such as: Simulated Annealing (SA), and Genetic algorithm. Besides, its result is comparable with Paricle Swarm Optimization (PSO) algorithm. ACO was implemented in program code of software under test to generate test data based on the highest probability value of random test data from domain chosen. Test data selection is main factor which determines the software testing success. In this research, ACO was implemented based on Gray Box testing using UML State Machine Diagram. The quality of test data generated is based on branch coverage criteria. This research aims to get comparison result between Gray Box testing using UML State Machine Diagram and structural White Box Testing using program code in generating test data. The result of this research is expected to give description about the quality of test data generated from each technique

A Novel Method for increasing the Effective Resolution of High Performance Stochastic Measuring Instruments

Дисертација истражује утицај примене дитерског сигнала (дискретног аналогног униформног шума) генерисаног новом методом на повећање ефективне резолуције мерних инструмената базираних на стохастичкој дигиталној мерној методи. У дисертацији је дат преглед досадашњих решења базираних на стохастичкој дигиталној мерној методи у циљу сагледавања потребе и оправданости истраживања. Предложено решење представља комбинацију псеудослучајног и истински случајног генератора и као такво задржава најбоље особине из обе области. Дaт je прeдлoг нoве методе гeнeрисaњa шумa унифoрмнe рaспoдeлe aмплитудa. Умeстo уoбичajeнoг нaчинa гeнeрисaњa кoришћeњeм гeнeрaтoрa псeудoслучajних брojeвa и Д/А кoнвeртoрa, oвдe сe прeдлaжe гeнeрисaњe зaснoвaнo нa нeунифoрмнoм одабирању тeстeрaстoг или троугаоног нaпoнa. Oсим уштeдe збoг нeкoришћeњa Д/А кoнвeртoрa, дoбит je и мoгућнoст гeнeрисaњa нaпoнa из кoнтинуалнoг, умeстo дискрeтнoг скупa aмплитудa. Вeћинa дaнaшњих хaрдвeрских гeнeрaтoрa псeудoслучajнoг нaпoнa, сe бaзирa нa употреби микрoкoнтрoлeра и Д/A кoнвeртoра, пa je нa тaj нaчин рeзoлуциja гeнeрисaњa псeудoслучajнoг нaпoнa oгрaничeнa резолуцијом Д/A кoнвeрторa. Одабирањем тестерастог или троугаоног напона предложеном методом се остварује готово неограничена резолуција. Употреба овако генерисаног дитерског сигнала доводи до повећања ефективне резолуције код стохастичких мерних инстурмената. Симулацијом је одређена оптимална структура генератора на основу предложене методе. Експериментална мерења су изведена помоћу развијеног прототипа хардверског генератора.Disertacija istražuje uticaj primene diterskog signala (diskretnog analognog uniformnog šuma) generisanog novom metodom na povećanje efektivne rezolucije mernih instrumenata baziranih na stohastičkoj digitalnoj mernoj metodi. U disertaciji je dat pregled dosadašnjih rešenja baziranih na stohastičkoj digitalnoj mernoj metodi u cilju sagledavanja potrebe i opravdanosti istraživanja. Predloženo rešenje predstavlja kombinaciju pseudoslučajnog i istinski slučajnog generatora i kao takvo zadržava najbolje osobine iz obe oblasti. Dat je predlog nove metode generisanja šuma uniformne raspodele amplituda. Umesto uobičajenog načina generisanja korišćenjem generatora pseudoslučajnih brojeva i D/A konvertora, ovde se predlaže generisanje zasnovano na neuniformnom odabiranju testerastog ili trougaonog napona. Osim uštede zbog nekorišćenja D/A konvertora, dobit je i mogućnost generisanja napona iz kontinualnog, umesto diskretnog skupa amplituda. Većina današnjih hardverskih generatora pseudoslučajnog napona, se bazira na upotrebi mikrokontrolera i D/A konvertora, pa je na taj način rezolucija generisanja pseudoslučajnog napona ograničena rezolucijom D/A konvertora. Odabiranjem testerastog ili trougaonog napona predloženom metodom se ostvaruje gotovo neograničena rezolucija. Upotreba ovako generisanog diterskog signala dovodi do povećanja efektivne rezolucije kod stohastičkih mernih insturmenata. Simulacijom je određena optimalna struktura generatora na osnovu predložene metode. Eksperimentalna merenja su izvedena pomoću razvijenog prototipa hardverskog generatora.The dissertation investigates the impact of the application of the dithering signal (discrete analogue uniform noise) generated by the new method for increasing the effective resolution of measurement instruments based on the stochastic digital measurement method. The dissertation provides an overview of the existing solutions based on the stochastic digital measurement method in order to understand the need and justification of the research. The proposed solution represents a combination of a pseudorandom and truly random generator and as such holds the best features in both areas. А suggestion of a new way of generating the noise of the uniform distribution of amplitudes is presented. Instead of the usual way of generating using a pseudorandom number generator and a D/A converter, the generation based on the nonuniform sampling of sawtooth or triangle voltage is proposed. In addition to the savings due to the non-use of a D/A converter, the possibility of generating voltages from a continual instead of a discrete amplitude set is also obtained. Most of today's hardware pseudorandom voltage generators are based on the use of a microcontroller and D/A converter, so in this way the resolution of the pseudorandom voltage generation is limited by the resolution of the D/A converter. By sampling the sawtooth or triangle voltage using the proposed method, almost unlimited resolution is achieved. The use of this generated dither signal leads to an increase in effective resolution in stochastic measuring instruments. The simulation determined the optimal structure of the generator based on the proposed method. Experimental measurements were made using developed hardware