Open X-Embodiment:Robotic learning datasets and RT-X models

Large, high-capacity models trained on diverse datasets have shown remarkable successes on efficiently tackling downstream applications. In domains from NLP to Computer Vision, this has led to a consolidation of pretrained models, with general pretrained backbones serving as a starting point for many applications. Can such a consolidation happen in robotics? Conventionally, robotic learning methods train a separate model for every application, every robot, and even every environment. Can we instead train "generalist" X-robot policy that can be adapted efficiently to new robots, tasks, and environments? In this paper, we provide datasets in standardized data formats and models to make it possible to explore this possibility in the context of robotic manipulation, alongside experimental results that provide an example of effective X-robot policies. We assemble a dataset from 22 different robots collected through a collaboration between 21 institutions, demonstrating 527 skills (160266 tasks). We show that a high-capacity model trained on this data, which we call RT-X, exhibits positive transfer and improves the capabilities of multiple robots by leveraging experience from other platforms. The project website is robotics-transformer-x.github.io

Automatisierte Algorithmen zur Analyse der Migration und der strahleninduzierten DNA-Schäden Humaner Glioblastomzellen nach Kombinierter PI3K/mTOR/Hsp90-Inhibierung

Das hohe invasive Potential und die starke Resistenz gegen Radio-/Chemotherapie von Glioblastoma multiforme (GBM) Zellen machen sie zu dem tödlichsten Tumor ihrer Art. Es ist deshalb von großem Interesse die Grundlagen, welche der Migrationsfähigkeit und DNA Reparatur zu Grunde liegen, besser zu verstehen. Im ersten Teil dieser Arbeit wurden zwei Algorithmen zur automatischen Analyse der Migration in der Einzelzellverfolgung und im Wundheilungsassay modifiziert. Die Auswertung der Daten konnte automatisch und somit schnell, effektiv und mit geringerem Arbeitsaufwand durchgeführt werden. Mit Hilfe dieser automatischen Algorithmen wurde die Migrationsfähigkeit von zwei GBM-Zelllinien (DK-MG und SNB19) untersucht. Zusätzlich wurde die konfokale Laserscanning- sowie die hochauflösende dSTORM-Fluoreszenzmikroskopie verwendet um die, der Zellbewegung zu Grunde liegende, Struktur des F Aktin und der fokalen Adhäsionskinase (FAK) aufzulösen und darzustellen. Unter Anwendung dieser genannten Methoden sind die Effekte des dualen PI3K/mTOR Inhibitors PI-103 alleine und in Kombination mit dem Hsp90 Inhibitor NVP AUY922 mit und ohne Bestrahlung auf die Bewegung untersucht worden. Es konnte festgestellt werden, dass sich beide Zelllinien deutlich in ihrem migratorischem Potential in vitro unterscheiden und zudem auch markante Unterschiede in ihrer Morphologie aufweisen. Die weniger invasiven DK MG-Zellen besitzen eine polarisierte Zellstruktur, wohingegen SNB19-Zellen sich durch multipolare ungerichtete Bewegung auszeichneten. Zudem wurde die Migration, durch PI3K/mTOR Inhibition mit PI-103 bei den DK-MG-Zellen (p53 wt, PTEN wt), sehr effektiv unterdrückt. Wohingegen sich die SNB19-Zellen (p53 mut, PTEN mut) resistent gegen diesen Inhibitor zeigten. Hsp90 Inhibition offenbarte in beiden Zelllinien einen starken inhibitorischen Effekt auf die Migration der Zellen sowie die Reorganisierung des F Aktinskelettes. In der zweiten Hälfte dieser Arbeit wurde ein Augenmerk auf die DNA-DSB-Reparatur der GBM Zellen nach ionisierender Strahlung gelegt. Zunächst wurde eine automatische Analysesoftware „FocAn-3D“ entwickelt, mit dessen Hilfe die DNA Doppelstrangbruchreparaturkinetik untersucht werden sollte. Diese Software ermöglicht es die gesamten Zellkerne mit ihren γH2AX-Foci in 3D-cLSM-Aufnahmen zu untersuchen. Es konnte somit eine Verbesserung der Genauigkeit in der Auszählung der γH2AX-Foci erreicht werden, welche 2D beschränkter Software verwehrt bleibt. Mit FocAn-3D konnte der gesamte Verlauf der Induktions- und Abbauphase der γH2AX-Foci in DK MG- und SNB19-Zellen mit einem mathematischen Modell ausgewertet und dargestellt werden. Des Weiteren wurde die Nanometerstruktur von γH2AX- und pDNA-PKcs-Foci mittels hochauflösender dSTORM-Mikroskopie untersucht. Konventionelle Mikroskopiemethoden, begrenzt durch das Beugungslimit und einer Auflösung von ~200 nm, konnten die Nanometerstruktur (<100 nm) der Reparaturfoci bisher nicht darstellen. Mit Hilfe der beugungsunbegrenzten dSTORM-Mikroskopie war es möglich in DK MG- und SNB19-Zellen die Nanometerstruktur genannten Reparaturproteine in den Foci mit einer Auflösung von bis zu ~20 nm darzustellen. γH2AX-Foci zeigten sich als eine Verteilung aus einzelnen Untereinheiten („Nanofoci“) mit einem Durchmesser von ~45 nm. Dies lässt die Vermutung zu, dass es sich hier um die elementare Substruktur der Foci und somit der γH2AX enthaltenen Nukleosome handelt. DNA-PK-Foci wiesen hingegen eine diffusere Verteilung auf. Die in dieser Arbeit ermittelten Unterschiede im Migrationsverhalten der Zellen rechtfertigen eine weitere präklinische Untersuchung der verwendeten Inhibitoren als potentielle Zelltherapeutika für die Behandlung von GBM. Zudem konnte sich dSTORM als machtvolles Hilfsmittel, sowohl zur Analyse der Migration zugrundeliegenden Zytoskelettstruktur und der Effekte der Hsp90 Inhibierung, als auch, der Nanostruktur der DNA-DSB-Reparaturfoci herausstellen. Es ist anzunehmen, dass beugungsunbegrenzte Mikroskopiemethoden sich als bedeutende Werkzeuge in der medizinischen und biologischen Erforschung der DNA-Reparaturmechanismen herausstellen werden. Das in dieser Arbeit entwickelte ImageJ Plugin „FocAn-3D“ bewies sich ebenfalls als ein vielversprechendes Werkzeug für die Analyse der Reparaturkinetik. Mit Hilfe von „FocAn-3D“ sollte es somit möglich sein u.a. den Einfluss gezielter Inhibition auf den zeitlichen Verlauf der Induktion und des Abbaus der DNA-Reparaturmaschinerie genauer zu studieren

Automated algorithms for the analysis of cell migration and radiation induced DNA-damage in human glioblastoma cells after combined PI3K/mTOR/Hsp90 inhibition

Das hohe invasive Potential und die starke Resistenz gegen Radio-/Chemotherapie von Glioblastoma multiforme (GBM) Zellen machen sie zu dem tödlichsten Tumor ihrer Art. Es ist deshalb von großem Interesse die Grundlagen, welche der Migrationsfähigkeit und DNA Reparatur zu Grunde liegen, besser zu verstehen. Im ersten Teil dieser Arbeit wurden zwei Algorithmen zur automatischen Analyse der Migration in der Einzelzellverfolgung und im Wundheilungsassay modifiziert. Die Auswertung der Daten konnte automatisch und somit schnell, effektiv und mit geringerem Arbeitsaufwand durchgeführt werden. Mit Hilfe dieser automatischen Algorithmen wurde die Migrationsfähigkeit von zwei GBM-Zelllinien (DK-MG und SNB19) untersucht. Zusätzlich wurde die konfokale Laserscanning- sowie die hochauflösende dSTORM-Fluoreszenzmikroskopie verwendet um die, der Zellbewegung zu Grunde liegende, Struktur des F Aktin und der fokalen Adhäsionskinase (FAK) aufzulösen und darzustellen. Unter Anwendung dieser genannten Methoden sind die Effekte des dualen PI3K/mTOR Inhibitors PI-103 alleine und in Kombination mit dem Hsp90 Inhibitor NVP AUY922 mit und ohne Bestrahlung auf die Bewegung untersucht worden. Es konnte festgestellt werden, dass sich beide Zelllinien deutlich in ihrem migratorischem Potential in vitro unterscheiden und zudem auch markante Unterschiede in ihrer Morphologie aufweisen. Die weniger invasiven DK MG-Zellen besitzen eine polarisierte Zellstruktur, wohingegen SNB19-Zellen sich durch multipolare ungerichtete Bewegung auszeichneten. Zudem wurde die Migration, durch PI3K/mTOR Inhibition mit PI-103 bei den DK-MG-Zellen (p53 wt, PTEN wt), sehr effektiv unterdrückt. Wohingegen sich die SNB19-Zellen (p53 mut, PTEN mut) resistent gegen diesen Inhibitor zeigten. Hsp90 Inhibition offenbarte in beiden Zelllinien einen starken inhibitorischen Effekt auf die Migration der Zellen sowie die Reorganisierung des F Aktinskelettes. In der zweiten Hälfte dieser Arbeit wurde ein Augenmerk auf die DNA-DSB-Reparatur der GBM Zellen nach ionisierender Strahlung gelegt. Zunächst wurde eine automatische Analysesoftware „FocAn-3D“ entwickelt, mit dessen Hilfe die DNA Doppelstrangbruchreparaturkinetik untersucht werden sollte. Diese Software ermöglicht es die gesamten Zellkerne mit ihren γH2AX-Foci in 3D-cLSM-Aufnahmen zu untersuchen. Es konnte somit eine Verbesserung der Genauigkeit in der Auszählung der γH2AX-Foci erreicht werden, welche 2D beschränkter Software verwehrt bleibt. Mit FocAn-3D konnte der gesamte Verlauf der Induktions- und Abbauphase der γH2AX-Foci in DK MG- und SNB19-Zellen mit einem mathematischen Modell ausgewertet und dargestellt werden. Des Weiteren wurde die Nanometerstruktur von γH2AX- und pDNA-PKcs-Foci mittels hochauflösender dSTORM-Mikroskopie untersucht. Konventionelle Mikroskopiemethoden, begrenzt durch das Beugungslimit und einer Auflösung von ~200 nm, konnten die Nanometerstruktur (<100 nm) der Reparaturfoci bisher nicht darstellen. Mit Hilfe der beugungsunbegrenzten dSTORM-Mikroskopie war es möglich in DK MG- und SNB19-Zellen die Nanometerstruktur genannten Reparaturproteine in den Foci mit einer Auflösung von bis zu ~20 nm darzustellen. γH2AX-Foci zeigten sich als eine Verteilung aus einzelnen Untereinheiten („Nanofoci“) mit einem Durchmesser von ~45 nm. Dies lässt die Vermutung zu, dass es sich hier um die elementare Substruktur der Foci und somit der γH2AX enthaltenen Nukleosome handelt. DNA-PK-Foci wiesen hingegen eine diffusere Verteilung auf. Die in dieser Arbeit ermittelten Unterschiede im Migrationsverhalten der Zellen rechtfertigen eine weitere präklinische Untersuchung der verwendeten Inhibitoren als potentielle Zelltherapeutika für die Behandlung von GBM. Zudem konnte sich dSTORM als machtvolles Hilfsmittel, sowohl zur Analyse der Migration zugrundeliegenden Zytoskelettstruktur und der Effekte der Hsp90 Inhibierung, als auch, der Nanostruktur der DNA-DSB-Reparaturfoci herausstellen. Es ist anzunehmen, dass beugungsunbegrenzte Mikroskopiemethoden sich als bedeutende Werkzeuge in der medizinischen und biologischen Erforschung der DNA-Reparaturmechanismen herausstellen werden. Das in dieser Arbeit entwickelte ImageJ Plugin „FocAn-3D“ bewies sich ebenfalls als ein vielversprechendes Werkzeug für die Analyse der Reparaturkinetik. Mit Hilfe von „FocAn-3D“ sollte es somit möglich sein u.a. den Einfluss gezielter Inhibition auf den zeitlichen Verlauf der Induktion und des Abbaus der DNA-Reparaturmaschinerie genauer zu studieren.The high invasive Potential and increased resistance to radio- and chemotherapy of glioblastoma multiforme (GBM) tumor cells make it the most lethal of all primary brain tumors. It is therefore of great interest to gain a better understanding of the mechanisms facilitating the migration and DNA repair. In the first part of this study, two algorithms for single cell tracking and wound healing assays were modified to increase effectiveness and speed of the automatic data analysis. The migratory capacity of the two GBM cell lines, DK MG and SNB19, were analyzed using these automatic algorithms. In addition, employing confocal microscopy and high resolution dSTORM imaging, the underlying F actin/FAK structure was resolved and studied. Together, these automatic algorithms enabled me to elucidate the effects of the dual PI3K/mTOR inhibitor PI 103 alone and in combination with the Hsp90 inhibitor NVP-AUY922 and/or irradiation on the migration, focal adhesions and F-actin cytoskeleton of DK-MG and SNB19 cells. Both cell lines differ markedly in their migratory capacity in vitro and display distinctive differences in their morphology. The less invasive DK-MG cells retained their polarized structure, while SNB19 cells demonstrate multipolar morphology with random migration. The PI3K/mTOR Inhibition using PI-103 suppressed migration of the PTEN wt and p53 wt DK-MG cells but not of the PTEN mut and p53 mut SNB19 cells. In contrast, Hsp90 inhibition using NVP-AUY922 exerted a strong inhibitory effect on the migration in both cell lines as well as massive morphological changes and reorganization of the F-actin cytoskeleton. The second part of this study was designed to gain further insights in the DNA double strand break (DSB) repair of both GBM cell lines. The DNA DSB repair kinetics were analyzed using the novel software “FocAn-3D”. The software enables the 3D analysis of foci in entire nuclei using cLSM-imaging. This in turn results in increased accuracy of the foci counts, compared to approaches restricted to 2D. Using the new software approach, I was able to determine the whole γH2AX-foci induction and decay process and apply a well described mathematical model for the γH2AX-foci repair kinetics. Additionally, diffraction unlimited microscopy (dSTORM) was applied to resolve the nanometer scale of the foci forming repair proteins γH2AX and DNA-PK. Although conventional microscopy is able to reveal the repair foci as diffuse spots, the underlying protein distribution is well beyond the diffraction limit of ~200 nm. In this study, using the diffraction unlimited dSTORM microscopy with a lateral resolution of ~20 nm, it was possible to resolve the nanometer scale of both γH2AX and DNA-PK. γH2AX foci appeared not as diffuse spots, but rather as a distribution of distinct subunits (“nanofoci”). In contrast DNA-PK mostly showed a more diffuse distribution. The nanofoci diameter was about ~45 nm and it can be concluded that these clusters represent the elementary structural subunits of repair foci, the γH2AX-containing nucleosomes. Using the newly developed or modified algorithms for the analysis of cell migration, I was able to show a cell line specific response of the PI3K/mTOR inhibition on the cell migration. This warrants further preclinical trials for its potential as an anti-migratory agent in the treatment of GBM. In addition, dSTORM emerged as a powerful tool for the analysis of the cytoskeletal structure, underlying the cells migration capacity and the effects of Hsp90 inhibition. Also, dSTORM was able to unravel the elementary nanostructure of the DSB repair foci. This means diffraction unlimited single-molecule localization nanoscopy methods will likely emerge as powerful tools for the analysis of targeted inhibition on the DSB repair mechanisms. In addition, the newly developed software “FocAn-3D” showed promising results in the analysis of Foci kinetics. Consequently, it should enable the future study of targeted inhibition and its effects on foci induction and decay processes of the DNA repair

FocAn: automated 3D analysis of DNA repair foci in image stacks acquired by confocal fluorescence microscopy

Background Phosphorylated histone H2AX, also known as gamma H2AX, forms mu m-sized nuclear foci at the sites of DNA double-strand breaks (DSBs) induced by ionizing radiation and other agents. Due to their specificity and sensitivity, gamma H2AX immunoassays have become the gold standard for studying DSB induction and repair. One of these assays relies on the immunofluorescent staining of gamma H2AX followed by microscopic imaging and foci counting. During the last years, semi- and fully automated image analysis, capable of fast detection and quantification of gamma H2AX foci in large datasets of fluorescence images, are gradually replacing the traditional method of manual foci counting. A major drawback of the non-commercial software for foci counting (available so far) is that they are restricted to 2D-image data. In practice, these algorithms are useful for counting the foci located close to the midsection plane of the nucleus, while the out-of-plane foci are neglected. Results To overcome the limitations of 2D foci counting, we present a freely available ImageJ-based plugin (FocAn) for automated 3D analysis of gamma H2AX foci in z-image stacks acquired by confocal fluorescence microscopy. The image-stack processing algorithm implemented in FocAn is capable of automatic 3D recognition of individual cell nuclei and gamma H2AX foci, as well as evaluation of the total foci number per cell nucleus. The FocAn algorithm consists of two parts: nucleus identification and foci detection, each employing specific sequences of auto local thresholding in combination with watershed segmentation techniques. We validated the FocAn algorithm using fluorescence-labeled gamma H2AX in two glioblastoma cell lines, irradiated with 2 Gy and given up to 24 h post-irradiation for repair. We found that the data obtained with FocAn agreed well with those obtained with an already available software (FoCo) and manual counting. Moreover, FocAn was capable of identifying overlapping foci in 3D space, which ensured accurate foci counting even at high DSB density of up to similar to 200 DSB/nucleus. Conclusions FocAn is freely available an open-source 3D foci analyzer. The user-friendly algorithm FocAn requires little supervision and can automatically count the amount of DNA-DSBs, i.e. fluorescence-labeled gamma H2AX foci, in 3D image stacks acquired by laser-scanning microscopes without additional nuclei staining

Alloying and Structure of Ultrathin Gallium Films on the (111) and (110) Surfaces of Palladium

Growth, thermal stability, and structure of ultrathin gallium films on Pd(111) and Pd(110) are investigated by low-energy ion scattering and low-energy electron diffraction. Common to both surface orientations are growth of disordered Ga films at coverages of a few monolayers (<i>T</i> = 150 K), onset of alloy formation at low temperatures (<i>T</i> ≈ 200 K), and formation of a metastable, mostly disordered 1:1 surface alloy at temperatures around 400–500 K. At higher temperatures a Ga surface fraction of ∼0.3 is slightly stabilized on Pd(111), which we suggest to be related to the formation of Pd₂Ga bulk-like films. While on Pd(110) only a Pd-up/Ga-down buckled surface was observed, an inversion of buckling was observed on Pd(111) upon heating. Similarities and differences to the related Zn/Pd system are discussed

Differential effects of the Akt inhibitor MK-2206 on migration and radiation sensitivity of glioblastoma cells

Abstract Background Most tumor cells show aberrantly activated Akt which leads to increased cell survival and resistance to cancer radiotherapy. Therefore, targeting Akt can be a promising strategy for radiosensitization. Here, we explore the impact of the Akt inhibitor MK-2206 alone and in combination with the dual PI3K and mTOR inhibitor PI-103 on the radiation sensitivity of glioblastoma cells. In addition, we examine migration of drug-treated cells. Methods Using single-cell tracking and wound healing migration tests, colony-forming assay, Western blotting, flow cytometry and electrorotation we examined the effects of MK-2206 and PI-103 and/or irradiation on the migration, radiation sensitivity, expression of several marker proteins, DNA damage, cell cycle progression and the plasma membrane properties in two glioblastoma (DK-MG and SNB19) cell lines, previously shown to differ markedly in their migratory behavior and response to PI3K/mTOR inhibition. Results We found that MK-2206 strongly reduces the migration of DK-MG but only moderately reduces the migration of SNB19 cells. Surprisingly, MK-2206 did not cause radiosensitization, but even increased colony-forming ability after irradiation. Moreover, MK-2206 did not enhance the radiosensitizing effect of PI-103. The results appear to contradict the strong depletion of p-Akt in MK-2206-treated cells. Possible reasons for the radioresistance of MK-2206-treated cells could be unaltered or in case of SNB19 cells even increased levels of p-mTOR and p-S6, as compared to the reduced expression of these proteins in PI-103-treated samples. We also found that MK-2206 did not enhance IR-induced DNA damage, neither did it cause cell cycle distortion, nor apoptosis nor excessive autophagy. Conclusions Our study provides proof that MK-2206 can effectively inhibit the expression of Akt in two glioblastoma cell lines. However, due to an aberrant activation of mTOR in response to Akt inhibition in PTEN mutated cells, the therapeutic window needs to be carefully defined, or a combination of Akt and mTOR inhibitors should be considered

Cell Surface Area and Membrane Folding in Glioblastoma Cell Lines Differing in <i>PTEN</i> and <i>p53</i> Status

<div><p>Glioblastoma multiforme (GBM) is characterized by rapid growth, invasion and resistance to chemo−/radiotherapy. The complex cell surface morphology with abundant membrane folds, microvilli, filopodia and other membrane extensions is believed to contribute to the highly invasive behavior and therapy resistance of GBM cells. The present study addresses the mechanisms leading to the excessive cell membrane area in five GBM lines differing in mutational status for PTEN and p53. In addition to scanning electron microscopy (SEM), the membrane area and folding were quantified by dielectric measurements of membrane capacitance using the single-cell electrorotation (ROT) technique. The osmotic stability and volume regulation of GBM cells were analyzed by video microscopy. The expression of PTEN, p53, mTOR and several other marker proteins involved in cell growth and membrane synthesis were examined by Western blotting. The combined SEM, ROT and osmotic data provided independent lines of evidence for a large variability in membrane area and folding among tested GBM lines. Thus, DK-MG cells (wild type p53 and wild type PTEN) exhibited the lowest degree of membrane folding, probed by the area-specific capacitance <i>C</i>_m = 1.9 µF/cm². In contrast, cell lines carrying mutations in both p53 and PTEN (U373-MG and SNB19) showed the highest <i>C</i>_m values of 3.7–4.0 µF/cm², which corroborate well with their heavily villated cell surface revealed by SEM. Since PTEN and p53 are well-known inhibitors of mTOR, the increased membrane area/folding in mutant GBM lines may be related to the enhanced protein and lipid synthesis due to a deregulation of the mTOR-dependent downstream signaling pathway. Given that membrane folds and extensions are implicated in tumor cell motility and metastasis, the dielectric approach presented here provides a rapid and simple tool for screening the biophysical cell properties in studies on targeting chemo- or radiotherapeutically the migration and invasion of GBM and other tumor types.</p></div

In situ XPS study of methanol reforming on PdGa near-surface intermetallic phases

In situ X-ray photoelectron spectroscopy and low-energy ion scattering were used to study the preparation, (thermo)chemical and catalytic properties of 1:1 PdGa intermetallic near-surface phases. Deposition of several multilayers of Ga metal and subsequent annealing to 503-523 K led to the formation of a multi-layered 1:1 PdGa near-surface state without desorption of excess Ga to the gas phase. In general, the composition of the PdGa model system is much more variable than that of its PdZn counterpart, which results in gradual changes of the near-surface composition with increasing annealing or reaction temperature. In contrast to near-surface PdZn, in methanol steam reforming, no temperature region with pronounced CO2 selectivity was observed, which is due to the inability of purely intermetallic PdGa to efficiently activate water. This allows to pinpoint the water-activating role of the intermetallic/support interface and/or of the oxide support in the related supported PdxGa/Ga2O3 systems, which exhibit high CO2 selectivity in a broad temperature range. In contrast, corresponding experiments starting on the purely bimetallic model surface in oxidative methanol reforming yielded high CO2 selectivity already at low temperatures (similar to 460 K), which is due to efficient O-2 activation on PdGa. In situ detected partial and reversible oxidative Ga segregation on intermetallic PdGa is associated with total oxidation of intermediate C-1 oxygenates to CO2. (c) 2012 Elsevier Inc. All rights reserved

Subsurface-Controlled CO2 Selectivity of PdZn Near-Surface Alloys in H2 Generation by Methanol Steam Reforming

More than skin deep: In spite of their identical 1:1 surface composition, the geometric and electronic structures of a multilayer and monolayer PdZn surface alloy are different, as are their catalytic selectivities. The CO2 selective multilayer alloy features surface ensembles of PdZn exhibiting a Zn-up/Pd-down corrugation (see picture). These act as bifunctional active sites both for water activation and for the conversion of methanol into CO2. On the monolayer alloy CO and not CO2 is produced