Language-driven Object Fusion into Neural Radiance Fields with Pose-Conditioned Dataset Updates

Neural radiance field is an emerging rendering method that generates high-quality multi-view consistent images from a neural scene representation and volume rendering. Although neural radiance field-based techniques are robust for scene reconstruction, their ability to add or remove objects remains limited. This paper proposes a new language-driven approach for object manipulation with neural radiance fields through dataset updates. Specifically, to insert a new foreground object represented by a set of multi-view images into a background radiance field, we use a text-to-image diffusion model to learn and generate combined images that fuse the object of interest into the given background across views. These combined images are then used for refining the background radiance field so that we can render view-consistent images containing both the object and the background. To ensure view consistency, we propose a dataset updates strategy that prioritizes radiance field training with camera views close to the already-trained views prior to propagating the training to remaining views. We show that under the same dataset updates strategy, we can easily adapt our method for object insertion using data from text-to-3D models as well as object removal. Experimental results show that our method generates photorealistic images of the edited scenes, and outperforms state-of-the-art methods in 3D reconstruction and neural radiance field blending

Neural Scene Decoration from a Single Photograph

Furnishing and rendering indoor scenes has been a long-standing task for interior design, where artists create a conceptual design for the space, build a 3D model of the space, decorate, and then perform rendering. Although the task is important, it is tedious and requires tremendous effort. In this paper, we introduce a new problem of domain-specific indoor scene image synthesis, namely neural scene decoration. Given a photograph of an empty indoor space and a list of decorations with layout determined by user, we aim to synthesize a new image of the same space with desired furnishing and decorations. Neural scene decoration can be applied to create conceptual interior designs in a simple yet effective manner. Our attempt to this research problem is a novel scene generation architecture that transforms an empty scene and an object layout into a realistic furnished scene photograph. We demonstrate the performance of our proposed method by comparing it with conditional image synthesis baselines built upon prevailing image translation approaches both qualitatively and quantitatively. We conduct extensive experiments to further validate the plausibility and aesthetics of our generated scenes. Our implementation is available at \url{https://github.com/hkust-vgd/neural_scene_decoration}.Comment: ECCV 2022 paper. 14 pages of main content, 4 pages of references, and 11 pages of appendi

Association of gen polymorphism of the 5

Das Non-Hodgkin-Lymphom ist eine Erkrankung des Immunsystems und unterliegt komplexen biologischen Vorgängen, die durch eine Vielzahl von Zytokinen gesteuert werden. Die Expression und Ausschüttung des Zytokins IL-10 ist beim Non-Hodgkin-Lymphom dereguliert. Die Vorgänge der Deregulierung des Immunsystems bei Lymphomerkrankungen und deren Auswirkung auf den klinischen Verlauf sind noch ungenügend verstanden. In dieser Arbeit wurde untersucht, inwieweit Genvariationen im IL-10-Genlokus mit dem klinischen Verlauf des aggressiven NHL assoziiert sind. Im ersten Teil der vorliegenden Arbeit wurde gezeigt, dass mittels Multiplex-PCR und der sich anschließenden Fragmentlängenanalyse Genvariationen innerhalb der 5 flankierenden Region des IL-10-Gens an drei geographisch verschiedenen Kohorten nachgewiesen werden können. Im zweiten Teil wurden Proben einer Gruppe von 500 Patienten aus der NHL-B1/B2-Studie der DSHNHL aufbauend auf den Methoden aus dem ersten Teil der vorliegenden Arbeit genotypisiert und die Allelfrequenzen der IL-10-Promotor-Region analysiert und mit klinischen Daten verglichen. Die Patientengruppe wurde anschließend einer gesunden Kontrollgruppe gegenübergestellt. In der Patientengruppe hatten die Träger des Genotyps IL-10 -7400 DelDel und die Träger des Genotyps IL-10 -6752 TT ein signifikant kürzeres kumulatives Gesamtüberleben (OS). Es zeigte sich zudem in der Patientengruppe, dass die Träger des Genotyps IL-10 -3538 AA fast doppelt so häufig einen IPI > 2 haben als Träger anderer Genotypen. Die Analysen des SNP -1087 A/G im IL-10-Gen-Promotor mittels der TaqMan®-PCR haben gezeigt, dass die Frequenzen der IL-10 -1087 Allele und die entsprechenden Genotypen sich nicht signifikant unterscheiden, wenn man die Patienten-Kohorte mit der gesunden Kontrollgruppe vergleicht. Ein erhöhtes Vorkommen des IL-10 -1087 G-Allels konnte nicht beobachtet werden. Es zeigte sich kein Unterschied in OS oder EFS zwischen den Patienten mit dem IL-10 -1087 AA Genotyp und den anderen Genotypen. Die Ergebnisse der vorliegenden Arbeit unterstützen die Hypothese, dass genetische Polymorphismen innerhalb der 5 flankierenden Region des IL-10-Gens mit prognostischen Faktoren assoziiert sind sowie auf eine schlechte Prognose des aggressiven NHL hinweisen können

Creating and understanding 3D annotated scene meshes

Course presented at SA \u2719: SIGGRAPH Asia 2019.Deep learning requires availability of massive 3D data. How to acquire 3D scenes efficiently