An exploratory model-based design of experiments approach to aid parameters identification and reduce model prediction uncertainty

The management of trade-off between experimental design space exploration and information maximization is still an open question in the field of optimal experimental design. In classical optimal experimental design methods, the uncertainty of model prediction throughout the design space is not always assessed after parameter identification and parameters precision maximization do not guarantee that the model prediction variance is minimized in the whole domain of model utilization. To tackle these issues, we propose a novel model-based design of experiments (MBDoE) method that enhances space exploration and reduces model prediction uncertainty by using a mapping of model prediction variance (G-optimality mapping). This explorative MBDoE (eMBDoE) named G-map eMBDoE is tested on two models of increasing complexity and compared against conventional factorial design of experiments, Latin Hypercube (LH) sampling and MBDoE methods. The results show that G-map eMBDoE is more efficient in exploring the experimental design space when compared to a standard MBDoE and outperforms classical design of experiments methods in terms of model prediction uncertainty reduction and parameters precision maximization

Improved formulation of the latent variable model inversion¿based optimization problem for quality by design applications

[EN] Latent variable regression model (LVRM) inversion is a relevant tool for finding, if they exist, different combinations of manufacturing conditions that yield the desired process outputs. Finding the best manufacturing conditions can be done by optimizing an appropriately formulated objective function using nonlinear programming. To this end, different formulations of the optimization problem based on LVRM inversion have been proposed in the literatura that allow the use of happenstance data (eg, historical data) for this purpose, present lower computational costs than optimizing in the space of the original variables, and guarantee that the solution will conform to the correlation structure of available data from the past. However, these approaches, as presented, suffer from some limitations, such as having to actively modify the constraints imposed on the solution to achieve different sets of conditions to those available in the LVRM calibration dataset, or the lack of a standardized approach for optimizing a linear combination of variables. Furthermore, when minimizing or maximizing one or more outputs, a severe handicap is also present related to the definition of arbitrarily low or high "desired" values. This paper aims at tackling all of these issues. The resulting proposed formulation of the optimization problem is illustrated with three case studies.Agencia Estatal de Investigacion, Grant/Award Number: DPI2017-82896-C2-1-R; European Regional Development Fund; Ministerio de Economia, Industria y Competitividad, Gobierno de Espana; Universitat Politecnica de Valencia, Grant/Award Number: Erasmus 2014.93231Palací-López, D.; Villalba-Torán, PM.; Facco, P.; Barolo, M.; Ferrer, A. (2020). Improved formulation of the latent variable model inversion¿based optimization problem for quality by design applications. Journal of Chemometrics. 34(6):1-18. https://doi.org/10.1002/CEM.3230S118346FDA.Pharmaceutical CGMPs for the 21s Century—A Risk‐Based Approach; 2004.Liu, J. J., & MacGregor, J. F. (2005). Modeling and Optimization of Product Appearance:  Application to Injection-Molded Plastic Panels. Industrial & Engineering Chemistry Research, 44(13), 4687-4696. doi:10.1021/ie0492101Bonvin, D., Georgakis, C., Pantelides, C. C., Barolo, M., Grover, M. A., Rodrigues, D., … Dochain, D. (2016). Linking Models and Experiments. Industrial & Engineering Chemistry Research, 55(25), 6891-6903. doi:10.1021/acs.iecr.5b04801MontgomeryDC.Applied Statistics and Probability for Engineers Third Edition; 2003; Vol. 37.MacGregorJF.Empirical Models for Analyzing “Big” Data‐What´s the Difference. InSpring AIChE Conference; Orlando Florida USA 2018.Liu, Z., Bruwer, M.-J., MacGregor, J. F., Rathore, S. S. S., Reed, D. E., & Champagne, M. J. (2011). Modeling and Optimization of a Tablet Manufacturing Line. Journal of Pharmaceutical Innovation, 6(3), 170-180. doi:10.1007/s12247-011-9112-8MacGregor, J. F., Bruwer, M. J., Miletic, I., Cardin, M., & Liu, Z. (2015). Latent Variable Models and Big Data in the Process Industries. IFAC-PapersOnLine, 48(8), 520-524. doi:10.1016/j.ifacol.2015.09.020Jaeckle, C. M., & MacGregor, J. F. (2000). Industrial applications of product design through the inversion of latent variable models. Chemometrics and Intelligent Laboratory Systems, 50(2), 199-210. doi:10.1016/s0169-7439(99)00058-1García-Muñoz, S., Kourti, T., MacGregor, J. F., Apruzzese, F., & Champagne, M. (2006). Optimization of Batch Operating Policies. Part I. Handling Multiple Solutions#. Industrial & Engineering Chemistry Research, 45(23), 7856-7866. doi:10.1021/ie060314gTomba, E., Barolo, M., & García-Muñoz, S. (2012). General Framework for Latent Variable Model Inversion for the Design and Manufacturing of New Products. Industrial & Engineering Chemistry Research, 51(39), 12886-12900. doi:10.1021/ie301214cFacco, P., Dal Pastro, F., Meneghetti, N., Bezzo, F., & Barolo, M. (2015). Bracketing the Design Space within the Knowledge Space in Pharmaceutical Product Development. Industrial & Engineering Chemistry Research, 54(18), 5128-5138. doi:10.1021/acs.iecr.5b00863Bano, G., Facco, P., Bezzo, F., & Barolo, M. (2018). Probabilistic Design space determination in pharmaceutical product development: A Bayesian/latent variable approach. AIChE Journal, 64(7), 2438-2449. doi:10.1002/aic.16133Palací-López, D., Facco, P., Barolo, M., & Ferrer, A. (2019). New tools for the design and manufacturing of new products based on Latent Variable Model Inversion. Chemometrics and Intelligent Laboratory Systems, 194, 103848. doi:10.1016/j.chemolab.2019.103848MacGregor, J. F., & Bruwer, M.-J. (2008). A Framework for the Development of Design and Control Spaces. Journal of Pharmaceutical Innovation, 3(1), 15-22. doi:10.1007/s12247-008-9023-5Jaeckle, C., & Macgregor, J. (1996). Product design through multivariate statistical analysis of process data. Computers & Chemical Engineering, 20, S1047-S1052. doi:10.1016/0098-1354(96)00182-2Lakshminarayanan, S., Fujii, H., Grosman, B., Dassau, E., & Lewin, D. R. (2000). New product design via analysis of historical databases. Computers & Chemical Engineering, 24(2-7), 671-676. doi:10.1016/s0098-1354(00)00406-3García-Muñoz, S., MacGregor, J. F., Neogi, D., Latshaw, B. E., & Mehta, S. (2008). Optimization of Batch Operating Policies. Part II. Incorporating Process Constraints and Industrial Applications. Industrial & Engineering Chemistry Research, 47(12), 4202-4208. doi:10.1021/ie071437jWold, S., Sjöström, M., & Eriksson, L. (2001). PLS-regression: a basic tool of chemometrics. Chemometrics and Intelligent Laboratory Systems, 58(2), 109-130. doi:10.1016/s0169-7439(01)00155-1Ferrer, A. (2007). Multivariate Statistical Process Control Based on Principal Component Analysis (MSPC-PCA): Some Reflections and a Case Study in an Autobody Assembly Process. Quality Engineering, 19(4), 311-325. doi:10.1080/08982110701621304Feltens, J. (2008). Vector method to compute the Cartesian (X, Y, Z) to geodetic ( $${\phi}$$ , λ, h) transformation on a triaxial ellipsoid. Journal of Geodesy, 83(2), 129-137. doi:10.1007/s00190-008-0246-5Arteaga, F., & Ferrer, A. (2013). Building covariance matrices with the desired structure. Chemometrics and Intelligent Laboratory Systems, 127, 80-88. doi:10.1016/j.chemolab.2013.06.003Arteaga, F., & Ferrer, A. (2010). How to simulate normal data sets with the desired correlation structure. Chemometrics and Intelligent Laboratory Systems, 101(1), 38-42. doi:10.1016/j.chemolab.2009.12.00

Optimization of the Appearance Quality in CO2 Processed Ready-to-Eat Carrots through Image Analysis

A high-pressure CO2 process applied to ready-to-eat food products guarantees an increase of both their microbial safety and shelf-life. However, the treatment often produces unwanted changes in the visual appearance of products depending on the adopted process conditions. Accordingly, the alteration of the visual appearance influences consumers’ perception and acceptability. This study aims at identifying the optimal treatment conditions in terms of visual appearance by using an artificial vision system. The developed methodology was applied to fresh-cut carrots (Daucus carota) as the test product. The results showed that carrots packaged in 100% CO2 and subsequently treated at 6 MPa and 40 ◦C for 15 min maintained an appearance similar to the fresh product for up to 7 days of storage at 4 ◦C. Mild appearance changes were identified at 7 and 14 days of storage in the processed products. Microbiological analysis performed on the optimal treatment condition showed the microbiological stability of the samples up to 14 days of storage at 4 ◦C. The artificial vision system, successfully applied to the CO2 pasteurization process, can easily be applied to any food process involving changes in the appearance of any food product

Agricultural by-products with bioactive effects: A multivariate approach to evaluate microbial and physicochemical changes in a fresh pork sausage enriched with phenolic compounds from olive vegetation water

The use of phenolic compounds derived from agricultural by-products could be considered as an eco-friendly strategy for food preservation. In this study a purified phenol extract from olive vegetation water (PEOVW) was explored as a potential bioactive ingredient for meat products using Italian fresh sausage as food model. The research was developed in two steps: first, an in vitro delineation of the extract antimicrobial activities was performed, then, the PEOVW was tested in the food model to investigate the possible application in food manufacturing. The in vitro tests showed that PEOVW clearly inhibits the growth of food-borne pathogens such as Listeria monocytogenes and Staphylococcus aureus. The major part of Gram-positive strains was inhibited at the low concentrations (0.375–3 mg/mL). In the production of raw sausages, two concentrates of PEOVW (L1:0.075% and L2: 0.15%) were used taking into account both organoleptic traits and the bactericidal effects. A multivariate statistical approach allowed the definition of the microbial and physicochemical changes of sausages during the shelf life (14 days). In general, the inclusion of the L2 concentration reduced the growth of several microbial targets, especially Staphylococcus spp. and LABs (2 log10 CFU/g reduction),while the increasing the growth of yeasts was observed. The reduction of microbial growth could be involved in the reduced lipolysis of raw sausages supplemented with PEOVWas highlighted by the lower amount of diacylglycerols. Moisture and aw had a significant effect on the variability of microbiological features,while food matrix (the sausages' environment) can mask the effects of PEOVW on other targets (e.g. Pseudomonas). Moreover, the molecular identification of the main representative taxa collected during the experimentation allowed the evaluation of the effects of phenols on the selection of bacteria. Genetic data suggested a possible strain selection based on storage time and the addition of phenol compounds especially on LABs and Staphylococcus spp. The modulation effects on lipolysis and the reduction of several microbial targets in a naturally contaminated product indicates that PEOVW may be useful as an ingredient in fresh sausages for improving food safety and quality

DEVELOPMENT OF MULTIVARIATE STATISTICAL TECHNIQUES FOR QUALITY MONITORING IN THE BATCH MANUFACTURING OF HIGH VALUE ADDED PRODUCTS

Although batch processes are “simple” in terms of equipment and operation design, it is often difficult to ensure consistently high product quality. The aim of this PhD project is the development of multivariate statistical methodologies for the realtime monitoring of quality in batch processes for the production of high value added products. Two classes of products are considered: those whose quality is determined by chemical/physical characteristics, and those where surface properties define quality. In particular, the challenges related to the instantaneous estimation of the product quality and the realtime prediction of the time required to manufacture a product in batch processes are addressed using multivariate statistical techniques. Furthermore, novel techniques are proposed to characterize the surface quality of a product using multiresolution and multivariate image analysis. For the first class of products, multivariate statistical soft sensors are proposed for the real-time estimation of the product quality and for the online prediction of the length of batch processes. It is shown that, to the purpose of realtime quality estimation, the complex series of operating steps of a batch can be simplified to a sequence of estimation phases in which linear PLS models can be applied to regress the quality from the process data available online. The resulting estimation accuracy is satisfactory, but can be substantially improved if dynamic information is included into the models. Dynamic information is provided either by augmenting the process data matrix with lagged measurements, or by averaging the process measurements values on a moving window of fixed length. The process data progressively collected from the plant can be exploited also by designing time-evolving PLS models to predict the batch length. These monitoring strategies are tested in a real-world industrial batch polymerization process for the production of resins, and prototypes of the soft sensor are implemented online. For products where surface properties define the overall quality, novel multiresolution and multivariate techniques are proposed to characterize the surface of a product from image analysis. After analyzing an image of the product surface on different levels of resolutions via wavelet decomposition, the application of multivariate statistical monitoring tools allow the in-depth examination of the product features. A two-level “nested” principal component analysis (PCA) model is used for surface roughness monitoring, while a new strategy based on “spatial moving window” PCA is proposed to analyze the shape of the surface pattern. The proposed approach identifies the abnormalities on the surface and localizes defects in a sensitive fashion. Its effectiveness is tested in the case of scanning electron microscope images of semiconductor surfaces after the photolithography process in the production of integrated circuits.Nonostante i processi batch siano relativamente semplici da configurare e da gestire anche con un livello limitato di automazione e una conoscenza ridotta dei meccanismi che ne stanno alla base, spesso è difficile assicurare una qualità del prodotto finito riproducibile ed elevata. La strumentazione comunemente utilizzata nella pratica industriale riesce solo raramente a fornire misure in tempo reale della qualità di un prodotto. Inoltre, molte complicazioni nascono dalla natura multivariata della qualità, la quale dipende da una serie di parametri fisici, operativi o addirittura soggettivi. Sebbene le informazioni sulla qualità del prodotto non siano facilmente accessibili, esse sono racchiuse nelle variabili di processo abitualmente registrate dai calcolatori di processo e memorizzate in banche di dati storici. I metodi statistici multivariati permettono di ridurre la dimensione del problema proiettando le variabili di processo in uno spazio di dimensioni ridotte costituito di variabili fittizie che sono in grado di mantenere tutto il contenuto informativo sulla qualità, superando i problemi del rumore di misura delle variabili, della ridondanza e dell’elevato grado di correlazione. Inoltre, questi metodi sono in grado di trattare dati anomali o dati mancanti. Lo scopo di questa Tesi di Dottorato è di sviluppare dei sistemi innovativi per il monitoraggio della qualità di prodotti dall’alto valore aggiunto mediante tecniche statistiche multivariate. In particolare, i contributi scientifici di questo progetto di Dottorato sono: • l’elaborazione di tecniche per lo sviluppo di sensori virtuali per la stima in tempo reale della qualità del prodotto in sistemi produttivi di tipo batch; • l’applicazione non convenzionale di tecniche di proiezione su sottospazi latenti al fine di prevedere la durata di un batch o delle relative fasi operative; • lo sviluppo di metodiche innovative per il monitoraggio multirisoluzione e multivariato della qualità mediante l’analisi di immagini di un prodotto dall’alto valore aggiunto. Innanzi tutto, in questa Tesi vengono proposti sensori virtuali per la stima in linea della qualità del prodotto. Essi sono stati sviluppati e implementati prendendo in considerazione il caso di studio un processo industriale reale per la produzione di resine mediante polimerizzazione batch. I sensori virtuali proposti sono basati sulla tecnica statistica multivariate della proiezione su strutture latenti (PLS), che opera una regressione delle misure di processo usualmente disponibili in linea in tempo reale. Questo sistema riesce a garantire una accuratezza delle stime della qualità che è dello stesso ordine di grandezza delle misure di qualità fatte in laboratorio, col vantaggio che le stime in linea sono disponibili con altissima frequenza (sull’ordine di grandezza di s-1), cioè una frequenza centinaia di volte superiore delle misure che possono essere fatte in laboratorio (sull’ordine di grandezza di h-1). Inoltre, le stime sono accessibili in tempo reale e senza il ritardo che è tipico delle misure di laboratorio. Al fine di compensare le non linearità dei dati e i cambiamenti nella struttura di correlazione fra le variabili, la procedura adottata divide il batch in una sequenza di un numero limitato di fasi di stima, all’interno delle quali lo stimatore virtuale è in grado di dare stime molto accurate per mezzo di modelli PLS lineari. Il passaggio da una fase a quella successiva avviene in corrispondenza di alcuni “eventi” facilmente riconoscibili nelle stesse variabili di processo. La caratteristica principale del sensore virtuale proposto è che esso tiene conto di informazioni sulla dinamica del processo per mezzo di modelli a “variabili ritardate” (i quali aggiungono informazioni sulla dinamica del processo da valori passati delle variabili di processo) o modelli a media mobile. Il filtro a media mobile aggiunge una “memoria temporale” al sensore virtuale che migliora l’accuratezza di stima e, mediando le variabili di processo all’interno di una finestra temporale di dimensione fissata, riesce ad eliminare il rumore di misura, attenuare il rumore di processo, appiattire valori anomali e compensare l’effetto di temporanee mancanze di dati. L’ampiezza della finestra deve comunque essere scelta con cautela, dato che una finestra temporale troppo larga potrebbe ritardare gli allarmi sull’attendibilità della stima. Da un punto di vista operativo, il sistema proposto aiuta il personale che opera nell’impianto a rilevare delle derive sulla qualità del prodotto, suggerisce tempestivamente le correzioni da apportare alla ricetta del processo, e aiuta a minimizzare i fuori specifica del prodotto finale. Inoltre, il numero di campioni per la misura della qualità in laboratorio può essere ridotto drasticamente, la qual cosa determina un guadagno sia sul tempo totale del batch, sia sui costi relativi al laboratorio che alla manodopera e alla sua organizzazione. Anche una seconda tipologia di sensori virtuali è stata sviluppata per assistere il monitoraggio in linea della qualità del prodotto e per fornire informazioni utili per una programmazione efficace della produzione: un sensore virtuale per la previsione in tempo reale della durata del batch. Questa strategia di monitoraggio si basa su modelli PLS evolutivi che sfruttano le informazioni progressivamente raccolte nel tempo durante il batch per prevedere la durata del batch o di ciascuno dei relativi stadi operativi. Anche l’accuratezza ottenuta dalle previsioni ottenute con questo sensore virtuale è del tutto soddisfacente, dato che l’errore di previsione è molto inferiore sia alla variabilità delle durata del batch che alla durata dei turni di lavoro degli operatori. Inoltre, la parte iniziale del batch conferma di essere di importanza fondamentale per la durata, in quanto le condizioni iniziali delle attrezzature, lo stato delle materie prime, e la fase di riscaldamento iniziale del reattore esercitano una grandissima influenza sulle prestazioni del batch stesso. Le informazioni che si ricavano sulla durata con grande anticipo rispetto alla fine del batch permettono una migliore organizzazione degli interventi sull’impianto, degli operatori d’impianto e dell’utilizzazione delle apparecchiature. L’efficacia dei sensori per la stima della qualità e per la previsione della durata del batch è stata verificata applicandoli ed implementandoli in linea nel caso della produzione di resine mediante polimerizzazione batch. Infine, i metodi statistici multivariati sono stati utilizzati anche nel campo dell’analisi dell’immagine. Abitualmente, nella pratica industriale, le ispezioni di un prodotto mediante analisi dell’immagine vengono svolte con semplici misurazioni dei più importanti parametri fisici opportunamente messi in evidenza per mezzo di tecniche di filtrazione. Inoltre, queste misure vengono ottenute in modo non sistematico. Molte informazioni utili restano però “nascoste” nelle immagini. Queste permettono di identificare la natura complessa della qualità del prodotto finale. Per questo è stato sviluppato un sistema totalmente automatizzato per il monitoraggio in tempo reale da immagini di un manufatto dall’alto valore aggiunto. Questo sistema di monitoraggio basato su tecniche multirisoluzione e multivariate è stato applicato al caso della caratterizzazione della superficie di un semiconduttore dopo fotolitografia, un’operazione fra le più importanti nella fabbricazione di circuiti integrati. Tecniche avanzate di analisi multivariata dell’immagine estraggono le tracce che il processo lascia sul prodotto, aiutando sia il rilevamento di situazioni critiche nel processo che l’intervento con azioni correttive a neutralizzare eventuali problemi. L’approccio proposto in questa Tesi si basa su un filtraggio preliminare multirisoluzione dell’immagine mediante wavelet, seguito da uno schema di monitoraggio che conduce in parallelo un’analisi della rugosità superficiale e della forma della superficie di un prodotto. Ad esempio, la rugosità della superficie può essere esaminata con una analisi delle componenti principali “nidificata”. Questa è una strategia che si articola su due differenti livelli: il livello esterno che permette di discriminare parti differenti della superficie per mezzo di una analisi dei gruppi con PCA; il livello interno esegue il monitoraggio della rugosità superficiale con PCA. La forma della superficie viene analizzata per mezzo di un approccio PCA a “finestra mobile nello spazio”, il quale coglie l’informazione dell’immagine secondo il relativo ordine nello spazio e riesce anche a tener conto sia delle non linearità che delle differenze strutturali della superficie. Questo sistema è in grado di rilevare alcune delle caratteristiche qualitative del prodotto che abitualmente non sono accessibili senza richiedere l’intervento dell’uomo. Inoltre, il monitoraggio risulta essere veloce, attendibile e non ambiguo, ed esegue una scansione di un’immagine del prodotto localizzando in modo preciso difetti e anomalie e rilevando eventuali derive del processo. In conclusione, nonostante le metodologie proposte siano state testate su specifici casi di studio, esse hanno dimostrato di essere generali e vantano un grande potenziale. Per questo si ritiene sia possibile estenderle a differenti campi di ricerca e a diverse applicazioni industriali (ad esempio: ingegneria alimentare; industria farmaceutica; biotecnologie; etc…), nonché a differenti scale di indagine, dalla scala macroscopica alla microscopica o nanoscopica

Data Augmentation to Support Biopharmaceutical Process Development through Digital Models—A Proof of Concept

In recent years, monoclonal antibodies (mAbs) are gaining a wide market share as the most impactful bioproducts. The development of mAbs requires extensive experimental campaigns which may last several years and cost billions of dollars. Following the paradigm of Industry 4.0 digitalization, data-driven methodologies are now used to accelerate the development of new biopharmaceutical products. For instance, predictive models can be built to forecast the productivity of the cell lines in the culture in such a way as to anticipate the identification of the cell lines to be progressed in the scale-up exercise. However, the number of experiments that can be performed decreases dramatically as the process scale increases, due to the resources required for each experimental run. This limits the availability of experimental data and, accordingly, the applicability of data-driven methodologies to support the process development. To address this issue in this work we propose the use of digital models to generate in silico data and augment the amount of data available from real (i.e., in vivo) experimental runs, accordingly. In particular, we propose two strategies for in silico data generation to estimate the endpoint product titer in mAbs manufacturing: one based on a first principles model and one on a hybrid semi-parametric model. As a proof of concept, the effect of in silico data generation was investigated on a simulated biopharmaceutical process for the production of mAbs. We obtained very promising results: the digital model effectively supports the identification of high-productive cell lines (i.e., high mAb titer) even when a very low number of real experimental batches (two or three) is available

Nearest neighbor method for the automatic maintenance of multivariate statistical soft sensors in batch processing.

Soft sensors based on multivariate statistical models are used very frequently for the monitoring of batch processes. From the moment of model calibration onward, the model is usually assumed to be time-invariant. Unfortunately, batch process conditions are subject to several events that make the correlation structure between batches change with respect to that of the original model. This can determine a decay of the soft sensor performance, unless periodic maintenance (i.e., updating) of the model is carried out. This article proposes a methodology for the automatic maintenance of PLS soft sensors in batch processing. Whereas the adaptation scheme usually follows chronological order in classical recursive updating, the proposed strategy defines the reference data set for model recalibration as the set of batches (nearest neighbors) that are most similar to the currently running batch. The nearest neighbors to a running batch are identified during the initial evolution of the batch following a concept of proximity in the latent space of principal components. In this way, for any new batch to be run, a model can be tailored on the running batch itself. The effectiveness of the proposed updating methodology is evaluated in two case studies related to the development of adaptive soft sensors for real-time product quality monitoring: a simulated fed-batch process for the production of penicillin and an industrial batch polymerization process for the production of a resin

Artificial vision system for particle size characterization from bulk materials

This study shows how to develop a fast, reliable, and non-invasive artificial vision system to quantitatively estimate the particle size distribution of granular products. The system, based on multivariate and multiresolution texture analysis, uses digital images of the bulk material to extract quantitative information on the particle size ranges appearing in each image and on their weight proportion independently of the shape of the particle distribution (mono- or multi-modal). The method is applied to a wet-granulated product (namely, microcrystalline cellulose), and it is shown that the size distributions can be estimated accurately. The system performance is discussed in the light of an application in the automated monitoring of particle size distribution in industrial processe