Testowanie wielokrotne w badaniach ekonomicznych

In the paper multiple testing procedures based on ordered p-values are applied to control type I errors rates for family o f inferences in different statistical problems. Multiple testing procedures based on ordered p-values may be found an interesting tool for simultaneous testing of more than one hypothesis at a time. Discussed methods are applicable to a broad spectrum of statistical problems since their requirements for statistical assumption are considerably less restricted than in case of classical procedures (only dependency among test statistics should be controlled). The analysis is put down to a collection of p-values or adjusted p-values. Depending on approach to the control of Type I error for the family of inferences these methods may be categorized into two major groups: FWE (Family-Wise Error Rate) and FDR (False Discovery Rate) procedures. The procedures of multiple testing are applied to typical situations in economics research: to separate homogenous groups of means, to test the significance of correlation coefficients in the correlation matrix and to infer about significance of regression parameters in linear regression model

Zastosowanie analizy wrażliwości do skorygowania obciążenia efektów oddziaływań oszacowanych za pomocą Propensity Score Matching

W badaniach obserwacyjnych nie możemy mieć pewności, że uwzględniliśmy wszystkie zmienne wpływające na proces selekcji do grupy poddanej oddziaływaniu oraz na zmienną wynikową, a taka nieuwzględniona w badaniu zmienna może powodować obciążenie szacowanego efektu oddziaływania. Rosenbaum [2005] zaleca, by standardowo badania oparte na dopasowywaniu jednostek, w tym również Propensity Score Matching, uzupełniać analizą wrażliwości na występowanie takiej nieobserwowanej zmiennej. W artykule zaproponowano zastosowanie ciekawej alternatywy dla metody analizy wrażliwości Rosenbauma [2002], metody analizy wrażliwości VanderWeele’a i Araha [2011], która pozwala na oszacowanie obciążenia spowodowanego przez taką nieuwzględnioną zmienną oraz na skorygowanie oszacowanego efektu oddziaływania. W artykule metoda VanderWeele i Araha została zastosowana do rezultatów badań nad efektem netto staży (oszacowanego za pomocą PSM), przeprowadzonych przez PUP w Tarnowie [Denkowska 2015]

Analiza efektywności wybranych metod aglomeracyjnych w zastosowaniu zmodyfukowanej reguły stop

Tyt. z nagł.Bibliogr. s. 56.Dostępny także w wersji drukowanej.Głównym celem opracowania była analiza efektywności wybranych metod aglomeracyjnych w zastosowaniu zmodyfikowanej reguły stop przy zrównoważonych rozkładach liczebności. W opracowaniu autor proponuje zastosowanie podejścia symulacyjnego metody Monte Carlo do testowania jednorodności zbioru danych z wykorzystaniem metody Warda

Korekta efektów względnych oddziaływań uwzględniająca nieobserwowaną zmienną

Nieuwzględniona w badaniu obserwacyjnym zmienna może powodować obciążenie szacowanego efektu oddziaływania. Metoda analizy wrażliwości VanderWeele’a i Araha pozwala ocenić wielkość obciążenia spowodowanego przez nieuwzględnioną w badaniu zmienną wpływającą na selekcję, jak i na zmienną wyjściową i tym samym umożliwia skorygowanie oszacowanego efektu oddziaływania. Gdy jednak celem badania jest efekt względny oddziaływania, taki jak iloraz szans, a binarna zmienna wynikowa nie jest rzadka, korekta ilorazu szans za pomocą tej metody według VanderWeele’a i Araha„ „jest skomplikowana do przeprowadzenia”. W badaniach społeczno-ekonomicznych zmienna wynikowa zazwyczaj nie jest rzadka, dlatego do skorygowania ilorazu szans warto stosować metodę Greenlanda. Celem pracy jest propozycja zastosowania metody Greenlanda do skorygowania ilorazu szans opisującego relację pomiędzy zatrudnieniem, a uczestnictwem w stażu młodych bezrobotnyc

Controlling the effect of multiple testing in Big Data

Big Data poses a new challenge to statistical data analysis. An enormous growth of available data and their multidimensionality challenge the usefulness of classical methods of analysis. One of the most important stages in Big Data analysis is the verification of hypotheses and conclusions. With the growth of the number of hypotheses, each of which is tested at significance level, the risk of erroneous rejections of true null hypotheses increases. Big Data analysts often deal with sets consisting of thousands, or even hundreds of thousands of inferences. FWER-controlling procedures recommended by Tukey [1953], are effective only for small families of inferences. In cases of numerous families of inferences in Big Data analyses it is better to control FDR, that is the expected value of the fraction of erroneous rejections out of all rejections. The paper presents marginal procedures of multiple testing which allow for controlling FDR as well as their interesting alternative, that is the joint procedure of multiple testing MTP based on resampling [Dudoit, van der Laan 2008]. A wide range of applications, the possibility of choosing the Type I error rate and easily accessible software (MTP procedure is implemented in R multtest package) are their obvious advantages. Unfortunately, the results of the analysis of the MTP procedure obtained by Werft and Benner [2009] revealed problems with controlling FDR in the case of numerous sets of hypotheses and small samples. The paper presents a simulation experiment conducted to investigate potential restrictions of MTP procedure in case of large numbers of inferences and large sample sizes, which is typical of Big Data analyses. The experiment revealed that, regardless of the sample size, problems with controlling FDR occur when multiple testing procedures based on minima of unadjusted p-values ( ) are applied. Moreover, the experiment indicated the serious instability of the results of the MTP procedure (dependent on the number of bootstrap samplings) if multiple testing procedures based on minima of unadjusted p-values ( ) are used. The experiment described in the paper and the results obtained by Werft, Benner [2009] and Denkowska [2013] indicate the need for further research on MTP procedure

Non-Classical Multiple Testing Procedures

Zakres zastosowań klasycznych procedur testowań wielokrotnych jest ograniczony z powodu założeń modelowych, a w wielu sytuacjach badawczych rozwiązań klasycznych po prostu brak. Kontrolę efektu testowania wielokrotnego umożliwiają wówczas nieklasyczne procedury testowań wielokrotnych. Proste obliczeniowo, o szerokim zakresie zastosowań, brzegowe procedury testowań wielokrotnych nie uwzględniają jednak łącznego rozkładu statystyk testowych, przez co są bardziej konserwatywne od procedur łącznych. Zakres zastosowań procedur łącznych Westfalla i Younga (1993) jest natomiast ograniczony ze względu na wymóg obrotowości podzbioru. Ciekawą alternatywę stanowią dedykowane badaniom genetycznym procedury łączne, zaproponowane przez Dudoit oraz van der Laana (2008). Szeroki zakres zastosowań, możliwość wyboru miary błędu I rodzaju oraz powszechnie dostępne, oprogramowanie (procedura MTP jest zaimplementowana w pakiecie multtest w R), to ich istotne zalety. Niestety, badania nad procedurą MTP przeprowadzone przez Werfta i Bennera (2009) pokazały problemy z kontrolą miary FDR w przypadku bardzo dużej liczby testowanych hipotez i małej liczebności prób. Z kolei zaprezentowany w artykule eksperyment symulacyjny pokazał, że procedura MTP nie zapewnia również kontroli FWER na z góry zadanym poziomie.The range of applications of classical multiple testing procedures is limited due to model assumptions, and in many cases classic solutions are non-existent. In such situations non-classical multiple testing procedures allow to control the effect of multiple testing. Although they are popular for computational simplicity and a wide range of applications, marginal multiple testing procedures do not take into account joint distribution of test statistics, which make them more conservative than joint multiple testing procedures. The range of applications of joint procedures introduced by Westfall and Young (1993) is limited due to the subset pivotality requirement. Thus, joint multiple testing procedures suggested by Dudoit and van der Laan (2008) seem very promising. A wide range of applications, the possibility of choosing the Type I error rate and easily accessible software (MTP procedure is implemented in R multtest package) are their obvious advantages. Unfortunately, the results of the analysis of MPT procedure obtained by Werft and Benner (2009) revealed that it does not control FDR in case of numerous sets of hypotheses and small samples. Furthermore, the simulation experiment presented in the article showed that MTP procedure does not control FWER, either

Testowanie wielokrotne w badaniach ekonomicznych : praca doktorska /

W rozdziale pierwszym pracy zostały zaprezentowane podstawowe pojęcia związane z testowaniem wielokrotnym. Wprowadzone zostało pojęcie rodziny wnioskowań. Zdefiniowano i omówiono błędy pierwszego rodzaju dla rodziny wnioskowań. (...) W rozdziale drugim przedstawiono procedury testowań wielokrotnych oparte na uporządkowanych prawdopodobieństwach testowych. Zostały wyróżnione dwie zasadnicze grupy procedur ze względu na kontrolę błędu I rodzaju dla rodziny wnioskowań. Pierwszą grupę stanowią procedury zapewniające kontrolę FWE (Family Wise Error Rate), czyli kontrolujące prawdopodobieństwo popełnienia przynajmniej jednego błędu I rodzaju dla rodziny wnioskowań na poziomie alfa. Grupę drugą stanowią procedury kontrolujące FDR (False Discovery Rate), czyli wartość oczekiwaną frakcji błędnych odrzuceń wśród wszystkich odrzuceń dla rodziny wnioskowań.Rozdział trzeci miał na celu zweryfikowanie przydatności procedur testowań wielokrotnych opartych na prawdopodobieństwach testowych do wyodrębniania jednorodnych podgrup wartości przeciętnych poprzez konfrontację tych procedur z procedurami klasycznymi w modelu jednoczynnikowej zrównoważonej analizy wariancji. (...) W kolejnym rozdziale czwartym, wybrane procedury testowań wielokrotnych oparte na prawdopodobieństwach testowych zostały zastosowane do testowania wielokrotnego istotności współczynników korelacji w macierzystej korelacji. (...) Tematem rozdziału piątego jest testowanie równoległe wielu hipotez statystycznych w procesie weryfikacji ocen parametrów strukturalnych liniowego modelu ekonometrycznego. (fragment tekstu)

The Analysis of Mortality Changes in Selected European Countries in The Period 1960-2006

Demographic changes which took place in the 20th century clearly reveal progressive ageing of whole societies. This phenomenon influences the risk connected with calculating the products of insurance companies and pension funds, where calculated mortality is one of the most important factors. The paper presents the analysis of mortality changes in male and female populations in selected countries from Central Europe (the Czech Republic, Hungary, Poland and Slovakia) and from Western Europe (France, Italy, Spain and Sweden) in the period 1960-2006. The analysis of the mortality changes has been carried out with the use of variables proposed in 2007 by J. P. Morgan in his work Life Metrics - A toolkit for measuring and managing longevity and mortality risks. The data used for the analysis have been obtained from www.mortality.org. The van Broekhoven algorithm has been applied for smoothing crude mortality rates across different ages. The analysis of mortality changes in selected European countries in the period 1960-2006 has shown considerable differences in the changes of initial mortality rate. Apart from obvious differences in male and female mortality, significant differences in the dynamics of mortality between Western and Central European countries were revealed. The most significant differences in the change of graduated initial mortality rate have been observed for people above 40-45 from Central and Western European countries. The period of most striking disproportions in the change of graduated initial mortality rate were the years 1970-1990, which seems to be the result of the socioeconomic policy in Central European countries

The Power Analysis of Tests for Comparing Survival of Weibull Distributed Populations

W ostatnim latach testy porównywania czasu trwania zjawisk znajdują coraz więcej zastosowań w analizie zagadnień ekonomicznych. Przykładami może być analiza czasu pozostawania na bezrobociu, czasu poszukiwania pracy, czasu istnienia przedsiębiorstwa, itp. W literaturze można spotkać wiele testów do porównywania funkcji przeżycia. Autorzy niniejszego opracowania zdecydowali się przeprowadzić badania symulacyjne, których celem jest porównanie efektywności najczęściej stosowanych testów służących do porównywania czasu trwania zjawisk, w wersji zaimplementowanej w pakiecie STATISTICA. Za pomocą symulacji badano poziom błędu pierwszego rodzaju oraz moc następujących testów statystycznych służących testowaniu hipotezy zerowej głoszącej równość krzywych przeżycia w dwóch populacjach. Analizie poddano następujące testy: Wilcoxona wg. Gehana, F Coxa, Coxa-Mantela, Wilcoxona wg. Peto i Peto i log-rank. W ramach symulacji generowano próby losowe z rozkładu Weibulla.Recently, tests for comparing survival distributions become more and more popular and used in applied economics. Unemployment duration, time needed to find a new job, enterprise survival or waiting for a commodity to be sold are good examples. There are a number of tests to compare survival distributions proposed in statistical literature. The aim of this research was to analyze, by the means of computer simulations, the effectiveness of survival tests as implemented in STATISTICA software. The following tests have been outlined and compared: Wilcoxon, Geehan, Cox-Mantel, Peto & Peto and log rank. Random samples were generated from Weibull distribution