Efficient hybrid modeling and sorption model discovery for non-linear advection-diffusion-sorption systems: A systematic scientific machine learning approach

This study presents a systematic machine learning approach for creating efficient hybrid models and discovering sorption uptake models in non-linear advection-diffusion-sorption systems. It demonstrates an effective method to train these complex systems using gradientbased optimizers, adjoint sensitivity analysis, and JIT-compiled vector Jacobian products, combined with spatial discretization and adaptive integrators. Sparse and symbolic regression were employed to identify missing functions in the artificial neural network. The robustness of the proposed method was tested on an in-silico data set of noisy breakthrough curve observations of fixed-bed adsorption, resulting in a well-fitted hybrid model. The study successfully reconstructed sorption uptake kinetics using sparse and symbolic regression, and accurately predicted breakthrough curves using identified polynomials, highlighting the potential of the proposed framework for discovering sorption kinetic law structures.Comment: Preprint paper to be submitted soon in Elsevier Journa

Advances in Model-based Downstream Process Development

This thesis consists of nine publications and manuscripts that focus on different aspects of chromatography modeling, model calibration and model-based process development. The first four manuscripts present results generated with novel computational methods, the following five are case studies of model-calibration and process optimization

Modeling the impact of amino acid substitution in a monoclonal antibody on cation exchange chromatography

A vital part of biopharmaceutical research is decision making around which lead candidate should be progressed in early-phase development. When multiple antibody candidates show similar biological activity, developability aspects are taken into account to ease the challenges of manufacturing the potential drug candidate. While current strategies for developability assessment mainly focus on drug product stability, only limited information is available on how antibody candidates with minimal differences in their primary structure behave during downstream processing. With increasing time-to-market pressure and an abundance of monoclonal antibodies (mAbs) in development pipelines, developability assessments should also consider the ability of mAbs to integrate into the downstream platform. This study investigates the influence of amino acid substitutions in the complementarity-determining region (CDR) of a full-length IgG1 mAb on the elution behavior in preparative cation exchange chromatography. Single amino acid substitutions within the investigated mAb resulted in an additional positive charge in the light chain (L) and heavy chain (H) CDR, respectively. The mAb variants showed an increased retention volume in linear gradient elution compared with the wild-type antibody. Furthermore, the substitution of tryptophan with lysine in the H-CDR3 increased charge heterogeneity of the product. A multiscale in silico analysis, consisting of homology modeling, protein surface analysis, and mechanistic chromatography modeling increased understanding of the adsorption mechanism. The results reveal the potential effects of lead optimization during antibody drug discovery on downstream processing

OPTIMAL CONTROL OF ION EXCHANGE PROCESS FOR CHROMATE REMOVAL AND PROTEIN A CHROMATOGRAPHY FOR ANTIBODY EXTRACTION

Ion exchange resins are widely used in the extraction of hazardous chemicals as well as the recovery of precious molecules. Therefore, an early breakthrough from the resin system can lead to toxic compounds affecting the drinking water quality or inefficient use of costly resins. Hence, accurate modeling of the ion exchange process and control strategy can enable decisions that assist in avoiding leakage when facing fluctuations in the inlet contaminant concentrations. In this work, the ion exchange process is modeled via the method of moments where the system uncertainties are captured via stochastic modeling using Ito processes. The flow rate is controlled to optimize the resin performance by maximizing its dynamic removal efficiency. The process runs more efficiently with a well-controlled varying flow rate rather than a constant flow, a standard industrial practice. The optimal control reveals that introducing the feed at a high flow rate followed by a decreasing flow can achieve significant removal of the target molecules and increase the efficiency of the purification process. This work has wide applicability ranging from chromate removal from water to extracting antibodies with a costly affinity chromatography resin

High-throughput and modeling technologies for process development in antibody purification

This cumulative thesis evaluates opportunities, to integrate high-throughput and model-based technologies in biopharmaceutical protein purification

Digitalization of industrial downstream processing : Mechanistic and structure-based modeling

Monoklonale Antikörper (mAbs) und andere biologische Therapien kommen Millionen von Patienten zugute, die unter schwerwiegenden Krankheiten leiden. Das Spektrum der therapeutischen Bereiche, in denen Biologika eingesetzt werden, umfasst die Onkologie, die Hämatologie, Entzündungskrankheiten und neuerdings auch Infektionskrankheiten wie die Coronavirus-Disease 2019 (COVID-19). Die Herstellung und Materialbereitstellung für präklinische und klinische Studien ist ein wichtiger Baustein in der Entwicklung eines therapeutischen Antikörpers. MAbs und komplexe Antikörperformate werden in Zellkulturprozessen, dem sogenannten Upstream Processing (USP), hergestellt. Das anschließende Downstream Processing (DSP) zielt darauf ab, das Zielprotein aus der heterogenen Zellkulturflüssigkeit abzutrennen und zu reinigen. Das DSP von mAbs basiert auf dem Plattformkonzept. Aufgrund der strukturellen Ähnlichkeiten der verschiedenen mAb-Produkte erfolgt deren Aufreinigung in einer standardisierten Abfolge von Prozessschritten mit antikörperspezifischer Anpassung von Prozessparametern. Hier wird häufig die Kationenaustauschchromatographie (CEX) als Polishing-Schritt eingesetzt, da sie in der Lage ist, produktbezogene Verunreinigungen, wie Größen- und Ladungsvarianten des mAb-Produkts, zu entfernen. Die Adsorption von Proteinen an chromatographischen Medien hängt von der Zusammensetzung der mobilen Phase, der Ligandenstruktur und der Struktur des Zielproteins ab. Während die präparative Chromatographie eine einzigartige Selektivität bei der Abreicherung von produkt- und prozessbedingten Verunreinigungen bietet, widerspricht die komplexe und zeitaufwändige Prozessentwicklung der ursprünglichen Idee des Plattformkonzepts. Das Streben nach einer standardisierten Aufreinigung verschiedener Antikörperprodukte wird zusätzlich durch bispezifische und multispezifische Antikörperformate erschwert, die die strukturelle Heterogenität der biopharmazeutischen Entwicklungspipelines erhöhen. Aufgrund der unbekannten Beziehungen zwischen Proteinstruktur und Adsorptionsverhalten stützen sich aktuelle Entwicklungsstrategien für die präparative Chromatographie auf Hochdurchsatz-Experimente (HTE) und statistische Versuchsplanung (DoE). Miniaturisierte HTE-Methoden ermöglichen die Untersuchung eines großen Parameterraums innerhalb eines kurzen Zeitrahmens, aber ihre Vergleichbarkeit mit dem Produktionsmaßstab ist begrenzt. In den frühen Phasen der DSP-Entwicklung schränkt der ständige Mangel an Zeit und Proteinmaterial den Einsatz experimenteller Methoden weiter ein. In vielen Fällen sind DoE-Studien in Verbindung mit empirischer Response-Surface-Modellierung nicht in der Lage, die hochgradig nichtlinearen Beziehungen in der präparativen Chromatographie zu erfassen. Aufgrund der Vielzahl von Parametern, die sich potenziell auf die Produktqualität auswirken können, werden die in DoE-Studien untersuchten Prozessparameter häufig auf der Grundlage von Expertenwissen und einer unzureichenden Datenmenge ausgewählt. Eine falsche Auswahl von Prozessparametern kann zu unnötigen Experimenten führen, die die Prozessentwicklung verzögern, oder schlimmer, zu einem schlecht kontrollierten Herstellungsprozess, der nicht in der Lage ist, eine konstante Produktqualität zu gewährleisten. Mit der Quality by Design (QbD) Initiative fordern die Zulassungsbehörden ein klares Verständnis der Zusammenhänge zwischen Prozessparametern und Produktqualität. Die U.S. Food and Drug Administration (FDA) und andere Aufsichtsbehörden unterstützen ausdrücklich die Verwendung mathematischer Modelle zur Entwicklung gut verstandener Herstellungsprozesse, die eine robuste Produktqualität und eine effiziente Marktversorgung ermöglichen. In den letzten Jahren wurden computergestützte Methoden auf der Grundlage von Homologiemodellierung, quantitativen Struktur-Eigenschafts-Beziehungen (QSPR), maschinellem Lernen und mechanistischer Chromatographiemodellierung entwickelt, um vielseitige Aufgaben in der biopharmazeutischen Forschung und Entwicklung zu unterstützen. Mechanistische Chromatographiemodelle sind in der Lage, nichtlineare Beziehungen zwischen Prozessparametern und kritischen Qualitätsattributen (CQAs) vorherzu-sagen. Die Proteinstruktur ist jedoch die eigentliche Ursache für die Funktionalität eines biologischen Arzneimittels. Diese Arbeit zielt darauf ab die Zusammenhänge zwischen der Proteinstruktur und dem makroskopischen Prozessverhalten zu verstehen, um die strukturbasierte Vorhersage von CQAs für eine verbesserte Herstellung von biologischen Arzneimitteln zu ermöglichen. Die vorliegende Arbeit besteht aus fünf Manuskripten, die sich mit der Erstellung von strukturbasierten und mechanistischen Modellen für die rationalisierte DSP Entwicklung von therapeutischen Antikörpern befassen. Dies erfordert ein verbessertes Verständnis der Beziehungen zwischen der Proteinstruktur und den makroskopischen Parametern der Adsorptionsisotherme. Lernalgorithmen sollen mit einem umfassenden Datensatz trainiert und validiert werden, der strukturelle Deskriptoren und Isothermenparameter von therapeutischen Antikörpern enthält, die für biopharmazeutische Entwicklungspipelines re-präsentativ sind. Es sollen effiziente Methoden zur Modellkalibrierung, -validierung und \textit{in silico} Prozesscharakterisierung entwickelt werden, die den QbD-Richtlinien gerecht werden. Die Kombination von Homologiemodellierung, QSPR-Modellierung und mechanistischer Chromatographiemodellierung in einem holistischen \textit{in silico}-Werkzeug soll den Weg von der Aminosäuresequenz des Antikörperkandidaten zu einem robusten Produktionsprozess weisen. Das erste Manuskript dieser Arbeit untersuchte den Einfluss von Aminosäuresubstitutionen in der Complementary Determining Region (CDR) eines IgG1 mAb auf sein Elutionsverhalten in der präparativen CEX Chromatographie. Die Aminosäuresubstitutionen wurden eingeführt, um die biophysikalischen Eigenschaften des mAb zu beeinflussen, indem oberflächenexponierte hydrophobe und geladene Bereiche verändert wurden. Zusätzliche positiv geladene Gruppen in den CDR der leichten Kette (L) und der schweren Kette (H) der mAb-Varianten führten zu einem erhöhten Retentionsvolumen bei der linearen Salzgradientenelution im Vergleich zum ursprünglichen Antikörper. Die Substitution von Tryptophan durch Lysin in der H-CDR3 erhöhte die Ladungsheterogenität des Produkts und führte zu einer signifikanten Erhöhung des Elutionspoolvolumens. Eine multiskalige \textit{in silico}-Analyse, bestehend aus Homologiemodellierung, Proteinoberflächenanalyse und mechanistischer Chromatographiemodellierung, entschlüsselte die qualitativen Zusammenhänge zwischen Struktureigenschaften und Parametern der Steric Mass Action Isotherme (SMA). Die gewonnenen Erkenntnisse über die Bindungsorientierung und die Proteinadsorption an starke CEX-Medien bilden das theoretische Fundament für QSPR-Modelle, die Isothermenparameter auf der Grundlage von Antikörperstrukturinformationen vorhersagen. Im zweiten Manuskript wurde eine QSPR Modellierungsmethode zur Vorhersage von Stoichiometric Displacement Model (SDM) Parametern von therapeutischen mAbs vorgestellt. Das Modell nutzt Proteindeskriptoren, die aus Homologiemodellen abgeleitet wurden und experimentelle Daten mehrerer Antikörperformate, einschließlich IgG1 mAbs, IgG4 mAbs, Fabs sowie bispezifische Antikörper, um Chromatogramme von zwei mAbs vorherzusagen, die aus dem Trainingsdatensatz entfernt wurden. Die Berücksichtigung von zwei diskreten Konformationen bei der Homologiemodellierung von IgG4 mAbs lieferte eine mögliche Erklärung für Split-Peak-Chromatogramme. Mit Hilfe der Gaußprozess-Regression wurde eine quantitative Beziehung zwischen den Proteindeskriptoren und den makroskopischen Parametern der SDM-Isotherme hergestellt. Durch rekursive Feature-Eliminierung wurden Proteindeskriptoren innerhalb der variablen Region von mAbs identifiziert, die für die Vorhersage der thermodynamischen Gleichgewichtskonstante relevant sind. Im Gegensatz dazu, war der charakteristische Ladungsparameter der SDM-Isotherme hauptsächlich von der Gesamtnettoladung der untersuchten Antikörper abhängig. Die ersten beiden Manuskripte zeigten, wie Homologiemodellierung, QSPRs und mechanistische Modellierung die Frühphasen-Entwicklung für ein neues Biopharmazeutikum unterstützen können, auch ohne anfängliches Prozesswissen und Proteinmaterial für Laborversuche. Die Manuskripte drei, vier und fünf bilden eine Publikationsreihe, die darauf abzielt, die Verwendung der mechanistischen Chromatographiemodellierung als QbD-Werkzeug in der Spätphasen-Entwicklung zu fördern. Daher werden in den folgenden Manuskripten optimierte Methoden zur Modellkalibrierung, -validierung und -anwendung vorgestellt. Im dritten Manuskript wurde eine Methode für die Kalibrierung von multikomponenten SMA Chromatographiemodellen entwickelt. Die mechanistische Modellierung ist eine vielversprechende Technologie für die digitale Bioprozessentwicklung, aber die komplexe und zeitaufwändige Modellkalibrierung hemmt noch immer ihre Anwendung in der biopharmazeutischen Industrie. Für die \textit{in silico}-Prozesscharakterisierung und andere komplexe DSP-Anwendungen müssen Kalibrierungs- und Validierungstechniken zu einer Modellsicherheit führen, die den Anforderungen des QbD-Konzepts gerecht wird. In dieser Studie wurde eine pH-abhängige, multikomponenten SMA-Isotherme verwendet, um einen CEX-Chromatographieprozess zu modellieren, der drei mAb-Ladungsvarianten sowie eine Aggregatspezies beinhaltet. Die Modellkalibrierungsmethode basierte auf der systematischen Reduktion unbekannter Modellparameter durch Anwendung grundlegender Kenntnisse über präparative Chromatographie in Kombination mit der inversen Schätzung von Modellparametern unter Verwendung repräsentativer Experimente. Die Parameter, die den linearen Bereich der SMA-Isotherme definieren, wurden anhand einer Reihe von linearen Gradientenelutionsversuchen ohne Fraktionssammlung bestimmt, was den analytischen Aufwand für die Quantifizierung der Ladungs- und Größenvarianten drastisch reduzierte. Außerdem konnten mit dieser Methode lokale Minima bei der heuristischen Schätzung der übrigen Modellparameter vermieden werden. Die Anreicherung der Aggregatspezies im Ausgangsmaterial reduzierte die Modellunsicherheit für diese niedrig konzentrierte Verunreinigung. Die Modellvalidierung wurde unter Prozessbedingungen durchgeführt, die außerhalb der vorgesehenen Parameterbereiche des CEX-Prozesses lagen. Mit dieser Arbeit wurde eine standardisierte Methode zur Kalibrierung von mechanistischen Chromatographiemodellen eingeführt, die in einem industriellen Umfeld eingesetzt werden kann. Als Alternative zu experimentellen Scale-Down Modellen (ScDM) wurde im vierten Manu-skript das zuvor vorgestellte mechanistische Chromatographiemodell als digitale Repräsentation des Prozesses im Produktionsmaßstab validiert. Experimentelle ScDMs von Chromatographieprozessen ermöglichen eine wirtschaftliche Prozesscharakterisierung und Ursachenforschung im Labormaßstab. Die Vergleichbarkeit zwischen ScDM Säulen und größeren Maßstäben hängt jedoch von systemspezifischen Dispersionseffekten, der Variabilität der Ligandendichte sowie der Variabilität in der Zusammensetzung des Feed-Materials und der Beladungsdichte ab. Darüber hinaus verlangen die Aufsichtsbehörden, dass mathematische Modelle die Auswirkungen der Prozessvariabilität erfassen, die bei der Herstellung im Großmaßstab zu erwarten sind, wenn das Modell zur Festlegung einer Kontrollstrategie für den kommerziellen Herstellungsprozess verwendet wird. Der Vergleich zwischen simulierten und gemessenen Chromatogrammen und Elutionspooldaten vom Labor- bis zum Produktionsmaßstab ermöglichte die frühzeitige Identifizierung von Unterschieden zwischen den Maßstäben, z.~B. Systemdispersionseffekte oder Variabilität der Ionenkapazität. Es wurde eine mehrstufige Modellvalidierungsmethode eingeführt, um die Modellqualität zu messen und die Grenzen des Modells in verschiedenen Maßstäben zu verstehen. Das experimentelle ScDM und das \textit{in silico}-Modell wurden mit Hilfe des identischen statistischen Äquivalenztestverfahrens als repräsentative Darstellung des Produktionsmaßstabs validiert. Das mechanistische Chromatographiemodell umging die Limitierungen des experimentellen ScDM, indem es die Auswirkungen von Betthöhe, Beladungsdichte, Feed-Zusammensetzung und Eigenschaften der mobilen Phase erfasste. Die Ergebnisse zeigen die Anwendbarkeit mechanistischer Chromatographiemodelle als mögliche Alternative zu konventionellen ScDM-Ansätzen und ermöglichen ihre Verwendung für komplexe Aufgaben in der Spätphasen-Entwicklung. Das fünfte und letzte Manuskript demonstriert die Anwendung des zuvor veröffentlichten mechanistischen Chromatographiemodells auf die Prozesscharakterisierung (PCS) eines Aufreinigungsschritts. Studien zur Prozesscharakterisierung stellen die umfangreichsten und zeitaufwändigsten Arbeitspakete während der DSP-Entwicklung eines mAbs dar. Im Allgemeinen besteht das Ziel der PCS in der Identifizierung von Korrelationen zwischen Prozessparametern und CQAs, was die Etablierung einer robusten Prozesskontrollstrategie ermöglichen soll. Aufgrund der Komplexität der präparativen Chromatographie und einer Vielzahl von potenziell kritischen Prozessparametern erfordert eine traditionelle PCS auf der Grundlage statistischer DoEs Dutzende von Laborexperimenten sowie zeitintensive Offline-Messungen. Die in dieser Arbeit vorgestellte Modellierungsmethode deckt die Hauptaufgaben traditioneller PCS-Studien nach den QbD-Prinzipien ab, einschließlich der Bewertung der Kritikalität von 11 Prozessparametern und der Festlegung ihrer Kontrollbereiche. Die Analyse der Auswirkungen eines multivariaten Samplings von Prozessparametern auf das Aufreinigungsergebnis ermöglichte die Identifizierung der Edge-of-Failure. Die experimentelle Validierung der \textit{in silico}-Ergebnisse erforderte etwa 75\% weniger Experimente im Vergleich zu einer rein auf Laborexperimenten basierenden PCS. Monte-Carlo-Simulationen wurden unter Berücksichtigung der gemessenen Varianzen der Prozessparameter und der Zusammensetzung des Feed-Materials im Produktionsmaßstab eingesetzt, um die Fähigkeit des Prozesses abzuschätzen, die Akzeptanzkriterien für CQAs und Prozessausbeute zu erfüllen. Der hier vorgestellte Arbeitsablauf ermöglicht die Implementierung digitaler Zwillinge als QbD-Werkzeug für eine verbesserte Entwicklung biopharmazeutischer Herstellungsprozesse. In der vorliegenden Arbeit wurden mehrere Hindernisse auf dem Weg von der Primärstruktur zur Etablierung eines robusten Downstream-Prozesses beseitigt. Die multiskalige Modellierung mehrerer Biologika in der CEX-Chromatographie führte zu einem tiefen Verständnis der zugrundeliegenden Adsorptionsmechanismen. Die vorgestellten QSPR-Modelle zur Vorhersage von SDM-Isothermen Parametern ermöglichten einen frühen Start der Prozessentwicklung, bevor Proteinmaterial für Laborexperimente zur Verfügung steht. Um die Lücke zwischen der Frühphasen- und Spätphasen-Entwicklung zu schließen, können erste Chromatographiemodelle, die auf Proteinstrukturinformationen aufbauen, mit Hilfe experimenteller Daten weiter verfeinert werden. Im Kontext der QbD-Richtlinien tragen standardisierte und wissenschaftlich fundierte Methoden zur Modellkalibrierung, Validierung und \textit{in silico}-Prozesscharakterisierung zu einer effizienteren und wirtschaftlicheren DSP-Entwicklung bei und erhöhen gleichzeitig die Prozessrobustheit und Produktqualität. Die in dieser Arbeit vorgestellten Werkzeuge haben das Potenzial, die Akzeptanz gegenüber der mechanistischen Modellierung in der Industrie und bei den Aufsichtsbehörden zu erhöhen

A Strategy for a Global Observing System for Verification of National Greenhouse Gas Emissions

Abstract and PDF report are also available on the MIT Joint Program on the Science and Policy of Global Change website (http://globalchange.mit.edu/).With the risks of climate change becoming increasingly evident, there is growing discussion regarding international treaties and national regulations to lower greenhouse gas (GHG) emissions. Enforcement of such agreements is likely to depend formally upon national and sectoral emission reporting procedures (sometimes referred to as “bottom-up” methods). However, for these procedures to be credible and effective, it is essential that these reports or claims be independently verified. In particular, any disagreements between these “bottom-up” emission estimates, and independent emission estimates inferred from global GHG measurements (so-called “top-down” methods) need to be resolved. Because emissions control legislation is national or regional in nature, not global, it is also essential that “top-down” emission estimates be determined at these same geographic scales. This report lays out a strategy for quantifying and reducing uncertainties in greenhouse gas emissions, based on a comprehensive synthesis of global observations of various types with models of the global cycles of carbon dioxide and other greenhouse gases that include both the natural and human influences on these cycles. The overall goal is to establish a global observing and estimation system that incorporates all relevant available knowledge (physical, biogeochemical, technological and economic) in order to verify greenhouse gas emissions, as a key component of any global GHG treaty.Lockheed Martin Corporation and the MIT Joint Program on the Science and Policy of Global Change, which is funded by a consortium of government, industry and foundation sponsors

Novel development tools for processing of recombinant virus-like particles

The focus of this thesis is laid on the implementation of integrated bioprocesses and the development of novel methods for recombinant protein-based virus-like particles (VLPs). Due to their pathogen-associated molecular patterns and the lack of viral nucleic acids, VLPs represent promising bionanoparticles for vaccine applications. This thesis aims to generate straightforward production, purification and analytical procedures for VLPs by advancing rational design tools for large biomolecules

Efficient simulation of chromatographic separation processes

This work presents the development and testing of an efficient, high resolution algorithm developed for the solution of equilibrium and non-equilibrium chromatographic problems as a means of simultaneously producing high fidelity predictions with a minimal increase in computational cost. The method involves the coupling of a high-order WENO scheme, adapted for use on non-uniform grids, with a piecewise adaptive grid (PAG) method to reduce runtime while accurately resolving the sharp gradients observed in the processes under investigation. Application of the method to a series of benchmark chromatographic test cases, within which an increasing number of components are included over short and long spatial domains and containing shocks, shows that the method is able to accurately resolve the discontinuities and that the use of the PAG method results in a reduction in the CPU runtime of up to 90%, without degradation of the solution, relative to an equivalent uniform grid