Split-plot designs: What, why, and how

The past decade has seen rapid advances in the development of new methods for the design and analysis of split-plot experiments. Unfortunately, the value of these designs for industrial experimentation has not been fully appreciated. In this paper, we review recent developments and provide guidelines for the use of split-plot designs in industrial applications

Understanding multistage experiments

Abstract: Current advanced manufacturing processes are composed of multiple complex stages which prohibit experimenters from conveniently employing traditional statistical experimental designs due to restrictions on randomisation. In this paper, we demonstrate, and summarise how split plot design and its variants have been used for multistage experimentation, and present several multistage experiment scenarios with comments for practitioners and researchers

Listing Unique Fractional Factorial Designs

Fractional factorial designs are a popular choice in designing experiments for studying the effects of multiple factors simultaneously. The first step in planning an experiment is the selection of an appropriate fractional factorial design. An appro- priate design is one that has the statistical properties of interest of the experimenter and has a small number of runs. This requires that a catalog of candidate designs be available (or be possible to generate) for searching for the "good" design. In the attempt to generate the catalog of candidate designs, the problem of design isomor- phism must be addressed. Two designs are isomorphic to each other if one can be obtained from the other by some relabeling of factor labels, level labels of each factor and reordering of runs. Clearly, two isomorphic designs are statistically equivalent. Design catalogs should therefore contain only designs unique up to isomorphism. There are two computational challenges in generating such catalogs. Firstly, testing two designs for isomorphism is computationally hard due to the large number of possible relabelings, and, secondly, the number of designs increases very rapidly with the number of factors and run-size, making it impractical to compare all designs for isomorphism. In this dissertation we present a new approach for tackling both these challenging problems. We propose graph models for representing designs and use this relationship to develop efficient algorithms. We provide a new efficient iso- morphism check by modeling the fractional factorial design isomorphism problem as graph isomorphism problem. For generating the design catalogs efficiently we extend a result in graph isomorphism literature to improve the existing sequential design catalog generation algorithm. The potential of the proposed methods is reflected in the results. For 2-level regular fractional factorial designs, we could generate complete design catalogs of run sizes up to 4096 runs, while the largest designs generated in literature are 512 run designs. Moreover, compared to the next best algorithms, the computation times for our algorithm are 98% lesser in most cases. Further, the generic nature of the algorithms makes them widely applicable to a large class of designs. We give details of graph models and prove the results for two classes of designs, namely, 2-level regular fractional factorial designs and 2-level regular fractional factorial split-plot designs, and provide discussions for extensions, with graph models, for more general classes of designs

Órdenes de experimentación en diseños factoriales

Cuando se plantea un diseño factorial la práctica habitual es recomendar que los experimentos se realicen en orden aleatorio. Esta aleatorización tiene como objetivo el proteger de la posible influencia de factores desconocidos, ya que se espera que esa influencia quede difuminada entre todos los efectos de forma que ninguno se vea especialmente afectado y no se cometan errores al valorar su significación estadística. Pero este proceder tiene dos inconvenientes importantes: 1. El número de cambios de nivel en los factores que exige la aleatorización puede ser grande (bastante mayor que otras posibles ordenaciones) y difícil de llevar a la práctica, lo que complica y encarece la experimentación. 2. Si se realizan unas hipótesis que parecen muy razonables respecto al tipo de influencia que ejercen los factores desconocidos, existen órdenes claramente mejores que otros para minimizar la influencia de esos factores ajenos a la experimentación.Numerosos autores han estado trabajando sobre este tema y ya han sido resueltos algunos aspectos, como el de determinar los órdenes de experimentación que mejor neutralizan la influencia de factores desconocidos, aunque sin tener en cuenta el número de cambios en los niveles de los factores que esa ordenación implica. Adicionalmente, se ha resuelto el problema de encontrar órdenes que presentan el mínimo número de cambios de nivel, pero sin considerar de forma simultánea la posible influencia de los factores desconocidos.Cuando se considera conjuntamente la influencia de los factores desconocidos y el número de cambios en los factores, se ha llegado hasta los diseños con 16 experimentos, pero no más allá porque los procedimientos de búsqueda empleados son inviables cuando el número de ordenaciones posibles se hace tan grande (con 32 experimentos el número de ordenaciones posibles es 32! = 2,6 · 1035)La tesis que se presenta tiene por objetivo encontrar un procedimiento que permita obtener órdenes de experimentación con el mínimo número de cambios en los factores y que además minimicen la influencia de los factores desconocidos en la estimación de los efectos, para cualquier diseño factorial a 2 niveles. Además, se pretende elaborar un procedimiento de forma que dichas ordenaciones, con las propiedades deseadas, puedan ser obtenidas de forma fácil por el experimentador. El contenido se presenta estructurado en 7 capítulos y 8 apéndices. El capitulo 1 presenta las motivaciones que se consideraron para seleccionar este tema de investigación y define los elementos fundamentales que se presentan a lo largo del trabajo, tales como los diseños factoriales a dos niveles -completos o fraccionales- los problemas que puede causar la aleatorización en estos diseños, y cómo cuantificar la influencia de los factores ajenos a la experimentación en la estimación de los efectos. Asimismo, se plantean las hipótesis y el contexto en que se buscarán los órdenes de ejecución que presentan las propiedades deseadas.En el capitulo 2, se realiza una revisión bibliográfica exhaustiva de las propuestas existentes respecto a los órdenes de ejecución de este tipo de diseños para conseguir que las conclusiones del análisis no se vean afectadas por la influencia de factores ajenos a la experimentación y/o que el número de cambios a realizar en los niveles de los factores sea mínimo. Al final del capítulo se comentan las debilidades del estado del arte actual y se plantean los aportes previstos en esta tesis. En el capitulo 3, se presenta un procedimiento original que permite encontrar órdenes de experimentación para diseños factoriales a 2 niveles con el mínimo número de cambios en los factores y un sesgo conocido. A este procedimiento lo denominamos método de duplicación, ya que duplicando las filas de un diseño 2k y agregando un factor adicional con una determinada secuencia de signos, permite obtener un diseño 2k+1 que conserve las características del diseño anterior. Una importante propiedad de este método es que puede aplicarse a cualquier número de factores. Este procedimiento garantiza el mínimo número de cambios de nivel, pero no siempre garantiza el mínimo sesgo (medida de la influencia de los factores desconocidos en la estimación de los efectos). En el capitulo 4, se utilizan diferentes métodos de búsqueda para hallar órdenes de experimentación que presenten un sesgo menor al proporcionado por el método de la duplicación.Estos métodos son:- Búsqueda aleatoria con restricciones: Se utiliza un procedimiento que va generando aleatoriamente el orden de ejecución de los experimentos pero de forma que a una condición experimental solo puede seguirle otra condición que presente solo un cambio en los niveles de los factores (para garantizar el mínimo número de cambios). Una vez completada una ordenación se calcula su sesgo, y se almacenan las ordenaciones con un sesgo por debajo de un cierto umbral.- Búsqueda exhaustiva: Se utiliza un algoritmo planteado por Dickinson (1974) y que fue adaptado por De León (2005). Es similar al algoritmo anterior, pero no genera las condiciones de experimentación de forma aleatoria sino que sigue una sistemática para encontrar todas las ordenaciones posibles. De esta forma se ha encontrado la mejor ordenación para diseños con 32 experimentos, hasta ahora desconocida, entendiendo por mejor la que presenta mínimo número de cambios en los niveles de los factores y de entre estas, la que presenta menor sesgo. - Búsqueda exhaustiva con alimentación forzada. Es imposible explorar exhaustivamente todas las ordenaciones posibles si el número de experimentos es mayor a 32. Para explorar la zona de ordenaciones más prometedora se ha aplicado el procedimiento de búsqueda exhaustiva en tono a una ordenación que ya es buena y que ha sido obtenida por los métodos anteriores.Para diseños con más de 32 experimentos los mejores órdenes se obtienen de una combinación de los diferentes métodos propuestos. Así, para diseños con 64 experimentos el mejor orden se obtiene con el método de búsqueda exhaustiva con alimentación forzada, alimentando el algoritmo con una ordenación obtenida a través de la búsqueda aleatoria con restricciones. La mejor ordenación para 128 experimentos se obtiene de la misma forma, pero alimentando el algoritmo con una ordenación obtenida por duplicación del orden obtenido para 64 experimentos.Los métodos descritos en el capítulo 4 proporcionan lo que denominamos "órdenes semilla", ya que a partir de estos órdenes se pueden deducir otros con sus mismas propiedades. En el capitulo 5, se presentan dos procedimientos para obtener órdenes con las características deseadas a partir de los órdenes semilla. Estos métodos los denominamos método de permutación y cambios de signo y el método de las columnas de expansión. Ambos métodos han sido programados en macros de Minitab, lo cual permite generar de forma automática y aleatoria (de entre todos los posibles) los órdenes con las características propuestas. En el capitulo 6, se presenta un nueva medida de atenuación de la influencia de los factores ajenos a la experimentación que permite comparar la atenuación entre diseños factoriales con diferente número de factores, mostrando que el procedimiento de duplicación presentado en el capitulo 3, es adecuado para obtener órdenes de experimentación con las características propuestas en diseños con más de 128 experimentos. Finalmente, en el capitulo 7 se presentan las principales conclusiones obtenidas y se definen posibles futuras líneas de investigación que podrían ampliar los estudios realizados.En el anexo 1 se presentan los órdenes propuestos por De León (2005) para diseños con 8 y 16 experimentos, citados en diversas ocasiones a lo largo de la tesis y que constituyen uno de los puntos de partida. El anexo 2 presenta el lenguaje de programación FreeBasic, utilizado para implementar los algoritmos de búsqueda de ordenaciones, y en los anexos 3 y 4 se incluyen 2 de los programas realizados: el de búsqueda aleatoria para diseños con 64 experimentos (anexo 3) y búsqueda exhaustiva para diseño con 32 experimentos (anexo 4). En el anexo 5 se presenta uno de los órdenes obtenidos con las propiedades deseadas para los diseños con 128 experimentos, y en los anexos 6 y 7 se incluyen las macros realizadas con el lenguaje de programación de Minitab y que a partir de las semillas para cada tipo de experimento, propone una ordenación de entre todas las posibles que tienen las propiedades deseadas. Finalmente, en el anexo 8 se realizan algunas consideraciones sobre el análisis de los órdenes propuestos, con restricciones en la aleatorización, y se resumen las propuestas realizadas sobre este tema.A common recommendation when thinking in a factorial design is randomizing the run order. The purpose of this randomization is to protect the response from the possible influence of unknown factors. This influence is expected to be blurred among all the effects, thus none of them is specially affected and no mistakes are made when estimating its statistical significance. But this praxis has two essential problems: 1. The number of factor's level changes due to randomization might be large (much larger than in other sequences). It can be also difficult to conduct, making the experimentation complicated and more expensive. 2. Making some reasonable hypothesis regarding the influence of the unknown factors, there are some sequences clearly better than others for minimizing the influence of this undesirable factors.Many authors have worked on this topic, and some matters have already been solved. For instance, the experimentation sequence that better neutralises the influence of unknown factors is already determined, but without taking into consideration the number of level changes that this sequence implies. It has also been solved the problem of finding sequences that have the minimum number of level changes, but without considering simultaneously the potential influence of unknown factors. When both the influence of unknown factors and the number of level changes is considered, the problem has been solved up to designs with 16 runs. But not further as the searching procedures used are nonviable when the number of possible sequences becomes so huge (with 32 runs the number of different sequences is 32! = 2,6 · 1035) The aim of this thesis is finding a procedure that makes it possible to obtain run sequences with the minimum number of level changes, and that besides minimize the influence of unknown factors in the effect estimation, for any 2 level factorial design.Moreover, the desired run sequence should be obtained easily by the experimenter when using the proposed procedure.The content is structured in 7 chapters and 8 appendixes. Chapter 1 shows the motivation that lead to chose this research topic. It also defines the basic elements of this work (complete and fractional 2 level factorial designs, problems that appear when randomizing this designs, and how to quantify the influence of unknown and undesired factors in the effect estimation). In addition, the hypothesis and context in which the search for run orders with the desired properties will take place are presented.Chapter 2 gives an exhaustive bibliographic review of the current solutions related with run orders in these designs robust to the influenceof factors alien to the experimentationand/or with minimum number of level changes. The end of the chapter lists weaknesses of the current state of the art and advances the expected contributions of this thesis. Chapter 3 presents an original procedure for finding run orders for 2 level factorial designswith the minimum number of changes in the level factors and a known bias. We called this procedure duplication method, as duplicating the rows of a 2k design and adding a factor with a specific sign sequence, a 2k+1 design with the same properties as the first design is achieved. An important property of this method is that it can be applied to any number of factors. This procedure guarantees the minimum number of level changes, but not always guaranties the minimum bias (measure of the influence that unknown factors have in the effect estimation). Chapter 4 shows different methods for finding run orders with less bias than the one produced by the duplication method. These methods are: - Random search with restrictions: The procedure randomly generates the run order, but in a way that a run is followed by another one that has only one change in the factor levels (the minimum number of changes is then guaranteed). Once the sequence is completed its bias is calculated, and the sequences with a bias under a threshold are stored.- Exhaustive search: An algorithm proposed by Dickinson (1974) and adapted by De León (2005) is used. It is similar to the previous algorithm, but it does not generate the runs in a random manner. Instead, it behaves systematically in order to find all the possible run orders. With this algorithm the best run order for designs with 32 experiments has been found (and it was unknown until now). The best run order means the one that has minimum number of changes in the levels and, among these, the one with less bias.- Exhaustive search with forced feeding. The exhaustive exploration of all possible run orders with more than 32 runs is impossible. The procedure of exhaustive search around a good run order already found with one of the previous methods allowed the exploration of the most promising run order area. For designs with more than 32 runs the best run orders are obtained from a combination of the proposed methods. For designs with 64 runs the best order comes from the exhaustive search with forced feeding method, feeding the algorithm with a run order obtained from the random search with restrictions method. We used the same procedure for obtaining the best run order for 128 runs, but feeding the algorithm with a run order obtained from duplication of the one for 64 runs.Methods described in chapter 4 provide the so called "seed orders": from this orders new ones with the same properties can be deduced. Chapter5 shows two procedures for obtaining orders with the expected properties from the seed orders. These methods are called permutation and sign change method, and expansion columns method. Both methods have been programmed as Minitab macros, making it possible to automatically and randomly generate (among all possible ones) the orders with the desired properties. A new measure for attenuating the influence of factors alien to experimentation is presented in chapter 6. This allows the comparison among the attenuation of factorial designs with different number of factors, thus showing that the duplication procedure shown in chapter 3 is appropriate for obtaining run orders with the properties desired in designs with more than 128 runs. Finally, chapter 7 gives the main conclusions and defines possible future research areas that could extend our studies.Appendix 1 shows the orders proposed by De León (2005) for designs with 8 and 16 experiments, cited several times in the thesis and one of our starting points. Appendix 2 explains the FreeBasic programming language, used for implementing the search algorithms. Appendixes 3 and 4 include 2 programs: random search for designs with 32 runs (appendix 3) and exhaustive search for designs with 32 experiments (appendix 4). Appendix 5 shows one of the obtained orders with the desired properties for designs with 128 runs. Appendixes 6 and 7 have the Minitab macros that using the seed orders for each kind of experiment proposes an order among all the possible ones with the desired properties. Finally, appendix 8 has some comments about the proposed run orders, with restrictions in the randomization, and summarizes the proposals about this topic