Real-time High Resolution Fusion of Depth Maps on GPU

A system for live high quality surface reconstruction using a single moving depth camera on a commodity hardware is presented. High accuracy and real-time frame rate is achieved by utilizing graphics hardware computing capabilities via OpenCL and by using sparse data structure for volumetric surface representation. Depth sensor pose is estimated by combining serial texture registration algorithm with iterative closest points algorithm (ICP) aligning obtained depth map to the estimated scene model. Aligned surface is then fused into the scene. Kalman filter is used to improve fusion quality. Truncated signed distance function (TSDF) stored as block-based sparse buffer is used to represent surface. Use of sparse data structure greatly increases accuracy of scanned surfaces and maximum scanning area. Traditional GPU implementation of volumetric rendering and fusion algorithms were modified to exploit sparsity to achieve desired performance. Incorporation of texture registration for sensor pose estimation and Kalman filter for measurement integration improved accuracy and robustness of scanning process

Curve and Surface Smoothing Using a Modified Cahn-Hilliard Equation

We present a new method using the modified Cahn-Hilliard (CH) equation for smoothing piecewise linear shapes of two- and three-dimensional objects. The CH equation has good smoothing dynamics and it is coupled with a fidelity term which keeps the original given data; that is, it does not produce significant shrinkage. The modified CH equation is discretized using a linearly stable splitting scheme in time and the resulting scheme is solved by using a Fourier spectral method. We present computational results for both curve and surface smoothing problems. The computational results demonstrate that the proposed algorithm is fast and efficient

Procedural function-based spatial microstructures

We propose a new approach to modelling heterogeneous objects containing internal spatial geometric structures with size of details orders of magnitude smaller than the overall size of the object. The proposed function-based procedural representation provides a compact, precise, and arbitrarily parameterized model allowing for modelling coherent microstructures, which can undergo blending, offsetting, deformations, and other geometric operations, and can be directly rendered and fabricated without generating any auxiliary representations. In particular, modelling of regular lattices and porous media is discussed and illustrated. Examples of microstructure models rendering and fabrication using a variety of digital fabrication machines and materials are presented

Solid modelling for manufacturing: from Voelcker's boundary evaluation to discrete paradigms

Herb Voelcker and his research team laid the foundations of Solid Modelling, on which Computer-Aided Design is based. He founded the ambitious Production Automation Project, that included Constructive Solid Geometry (CSG) as the basic 3D geometric representation. CSG trees were compact and robust, saving a memory space that was scarce in those times. But the main computational problem was Boundary Evaluation: the process of converting CSG trees to Boundary Representations (BReps) with explicit faces, edges and vertices for manufacturing and visualization purposes. This paper presents some glimpses of the history and evolution of some ideas that started with Herb Voelcker. We briefly describe the path from “localization and boundary evaluation” to “localization and printing”, with many intermediate steps driven by hardware, software and new mathematical tools: voxel and volume representations, triangle meshes, and many others, observing also that in some applications, voxel models no longer require Boundary Evaluation. In this last case, we consider the current research challenges and discuss several avenues for further research.Project TIN2017-88515-C2-1-R funded by MCIN/AEI/10.13039/501100011033/FEDER‘‘A way to make Europe’’Peer ReviewedPostprint (published version

On Volumetric Shape Reconstruction from Implicit Forms

International audienceIn this paper we report on the evaluation of volumetric shape reconstruction methods that consider as input implicit forms in 3D. Many visual applications build implicit representations of shapes that are converted into explicit shape representations using geometric tools such as the Marching Cubes algorithm. This is the case with image based reconstructions that produce point clouds from which implicit functions are computed, with for instance a Poisson reconstruction approach. While the Marching Cubes method is a versatile solution with proven efficiency, alternative solutions exist with different and complementary properties that are of interest for shape modeling. In this paper, we propose a novel strategy that builds on Centroidal Voronoi Tessellations (CVTs). These tessellations provide volumetric and surface representations with strong regularities in addition to provably more accurate approximations of the implicit forms considered. In order to compare the existing strategies, we present an extensive evaluation that analyzes various properties of the main strategies for implicit to explicit volumetric conversions: Marching cubes, Delaunay refinement and CVTs, including accuracy and shape quality of the resulting shape mesh

Trimming implicit surfaces

ABSTRACT Algorithms of trimming implicit surfaces yielding surface sheets and stripes are presented. These twodimensional manifolds with boundaries result from set-theoretic operations on an implicit surface and a solid or another implicit surface. The algorithms generate adaptive polygonal approximation of the trimmed surfaces by extending our original implicit surface polygonization algorithm. The presented applications include modeling several spiral shaped surface sheets and stripes (after M. Escher's art works) and extraction of ridges on implicit surfaces. Another promising application of the presented algorithms is modeling heterogeneous objects as implicit complexes

Procedural function-based modelling of volumetric microstructures

We propose a new approach to modelling heterogeneous objects containing internal volumetric structures with size of details orders of magnitude smaller than the overall size of the object. The proposed function-based procedural representation provides compact, precise, and arbitrarily parameterised models of coherent microstructures, which can undergo blending, deformations, and other geometric operations, and can be directly rendered and fabricated without generating any auxiliary representations (such as polygonal meshes and voxel arrays). In particular, modelling of regular lattices and cellular microstructures as well as irregular porous media is discussed and illustrated. We also present a method to estimate parameters of the given model by fitting it to microstructure data obtained with magnetic resonance imaging and other measurements of natural and artificial objects. Examples of rendering and digital fabrication of microstructure models are presented

Mra görüntülerinden damar ayrıştırılması ve damar yüzeyinin oluşturulması

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Bilişim Ensititüsü, 2012Thesis (M.Sc.) -- İstanbul Technical University, Institute of Informatics, 2012Kalp-damar hastalıklarının özellikle batılı ülkelerde ölüm sebeplerinin başında gelmesi, damar yapısının 3 boyutlu olarak oluşturulmasını çok önemli kılmaktadır. Hastaya özel oluşturulan damar yüzeyi, görselleştirilerek teşhis veya cerrahi planlama amaçlı kullanılabilir. Bunun yanında, oluşturulan yüzey temel alınarak yapılacak olan hesaplamalı sıvı dinamiği(HSD) simülasyonları ile hastalık oluşma riski yüksek olan bölgeler tespit edilebilir ve böylece gelecekte bazı hastalıkların herhangi bir belirti göstermeden önce engellenmesi mümkün olabilir. Hastaya özel HSD simülasyonlarının çok önemli iki uygulaması ateroskleroz ve serebral anevrizma yırtılması riskinin belirlenmesidir. Aterosklerotik plakların, kan akışının düzgün olmadığı ve damar duvarı üzerindeki kayma gerilmesinin düşük olduğu bölgelerde oluşma riskinin daha fazla olduğu bilinmektedir. Anevrizma yırtılması riski için de benzer hemodinamik etkiler rol oynamaktadır. Kan akışının hastanın içinde ölçülmesi güvenilir veya rahat bir işlem olmadığından, akışın hastaya özel damar yapısı üzerinde HSD simülasyonu yapılarak ölçülmesi gerekmektedir. Damar yapısının 3 boyutlu olarak oluşturulması problemi iki ana adımdan oluşur. İlk önce, hacim verisindeki bütün vokseller damara ait veya değil olarak etiketlenir. Bu adıma damar ayrıştırılması adı verilir. Daha sonra, bu ayrıştırılmış veri kullanılarak damar yapısı poligonal meş şeklinde 3 boyutlu olarak oluşturulur. Eğer meş sadece görselleştirme amaçlı değil, ayrıca simülasyonlar için de kullanılacaksa meşin yüksek kalitede olması gerekir. Yani, meşi oluşturan çokgenlerin açı ve büyüklükleri nümerik simülasyona uygun olmalıdır. Ne yazık ki, 3 boyutlu verilerden damar ayrıştırılmasının manuel olarak yapılması uzun ve zahmetli bir işlemdir. Ayrıca, ayrıştırılmış veriden yüksek kaliteli meş oluşturmak da kolay değildir. Bu nedenle, hem otomatik ve yarı-otomatik damar ayrıştırılması, hem de ayrıştırılmış veriden poligonal meş şeklinde yüzey oluşturulması sorunları bilimsel yazında çokça incelenmiştir ve birçok farklı yaklaşım bulunmaktadır. Bu iki adım için ayrı ayrı yapılan çalışmaların sayısına kıyasla, iki adımı birleştirmek ile ilgili fazla çalışma bulunmamaktadır ve mevcut çalışmalar genelde tek bir anatomik bölgeye odaklıdır. Biz bu çalışmada MRA verisinden damar ayrıştırılması ve damar yüzeyinin oluşturulmasına odaklanarak, bütün anatomik bölgelerde çalışan, kalın, dar, sağlıklı ve hastalıklı her türlü damarı ayrıştırabilen ve mümkün olduğunca az kullanıcı müdahalesine gerek duyan birleşik bir model tasarlamayı hedefliyoruz. MRA verisini seçmemizin nedeni MRA'nın, CTA ve DSA gibi anjiyografi tekniklerine kıyasla hasta için daha az risk taşıması ve görüntüdeki en parlak yapıların damar olduğu varsayımının genelde geçerli olmasıdır. Bu varsayım, damar ayrıştırılması adımını kolaylaştıracaktır. Damar ayrıştırılması adımında yerel geometri bilgisini kullanarak evrimleşen bir level-set yaklaşımı kullanılmıştır. Daha açık olarak söylersek, damar yüzeyi, 3 boyutlu bir hiperyüzeyin sıfır level-seti olarak ifade edilmiş ve yerel multi-scale Hessian ve ortalama eğrilik bilgisinden türetilen bir evrim fonksiyonun rehberliği ile evrimleştirilmiştir. Hessian bilgisi ve damarların görüntüdeki en parlak yapı olduğu varsayımı kullanılarak, parlak ve boruya benzeyen bir yapı içerisinde bulunan noktalar tespit edilebilir. Ortalama eğrilik de eğriliği fazla olan damarlarda ayrıştırmanın devam etmesi için itici bir rol oynar çünkü bu gibi kıvrımlı damarlarda boruya benzerlik düşük olduğundan Hessian bilgisi yetersiz kalabilmektedir. Evrim fonksiyonu, Hessian bilgisinden türetilen bir ölçü ile ortalama eğriliği, kullanıcı tarafından belirleyen katsayılar yardımıyla dengeler. Evrim süreci, bir kısmi türevli diferansiyel denklem için başlangıç değer probleminin çözümü olarak modellenmiştir. Başlangıç yüzeyi, damar içerisinde olduğu bilinen noktaların etrafında küreler oluşturulmak suretiyle seçilebilir. Noktaların otomatik seçimi için de evrim fonksiyonunda kullandığımız Hessian ölçüsü kullanılabilir. Bu ölçünün en yüksek olduğu noktaların bir damar içerisinde olma olasılığı çok yüksektir. Tabii ki, bazı görüntülerdeki sorunlar, bu otomatik seçilimi etkileyebilmektedir ve böyle durumlarda kullanıcı müdahalesi gerekmektedir. Başlangıç yüzeyi belirlendikten sonra yüzey, evrim fonksiyonu rehberliği altında, yakınsama sağlanıncaya kadar evrimleşir. Damar ayrıştırılma adımının sonuçları, gerçek MRA verileri üzerinde görsel olarak ve sentetik olarak oluşturulmuş ve gürültü eklenmiş veriler üzerinde sayısal olarak değerlendirilmiştir. Sonuçlara bakıldığında Hessian bilgisinin, ortalama eğriliğe baskınlığı artırıldığında ayrıştırılan bölgenin damar olma olasılığının daha yüksek olduğu ancak özellikle yüksek eğrilikli damarların ayrıştırılmadığı görülmüştür. Tersine olarak, ortalama eğriliğin baskınlığı artırıldığında daha fazla damar ayrıştırılmakta ancak aşırı ayrıştırma durumunun ortaya çıkma şansı da artmaktadır. Ortalama eğrilik, noktanın damar içinde olup olmadığı ile ilgili bir bilgi taşımadığından bu beklenen bir durumdur. Diğer bir önemli gözlem de kullanıcı tarafından belirlenen katsayıların seçiminin ayrıştırılmaya etkisinin, gerçek görüntülerde sentetik görüntülere kıyasla çok daha yüksek olduğudur. Bunun iki nedeni vardır: Birincisi, sentetik görüntülerdeki tek bozulma Gaussian gürültü iken gerçek görüntülerde birçok farklı sorun olabilmesidir. İkinci neden, sentetik görüntülerde eğriliği yüksek olan damar olmamasıdır. Daha önce de bahsettiğimiz gibi, damarın eğriliği yüksek olduğunda Hessian ölçüsü yüksek değerler vermemekte ve ayrıştırmanın devam etmesi için eğrilikten destek gelmesi gerekmektedir. Böylece, önerdiğimiz metodun en önemli sorunu, kullanıcı tarafından belirlenen katsayıların doğru seçilimidir. Üzerinde çalıştığımız veriler için iyi sonuçlar veren katsayılar önermiş olsak da bu katsayıların genelleştirilebilir olduğunu söyleyemeyiz. Tıbbi görüntülerde birçok farklı artifact olması ve damarların çok farklı geometrik şekillerde bulunabilmesi, her görüntü için kullanıcı müdahalesi olmadan iyi sonuç verecek bir metod bulmayı çok zor hale getirmektedir. Çalışmamızın ikinci kısmı, birinci kısmın sonucunu, yani damar yüzeyini kapalı olarak ifade eden 3 boyutlu bir hacmin ayrık örneklemesini, kullanarak yüzeyi çokgenler yardımıyla ifade etmektir. Kapalı ifade edilmiş yüzeyleri çokgenleştirmek için kullanılan standart yöntem üçgenler kullanarak bu işlemi yapan Marching Cubes'dur. Bu yöntem çok hızlı ve isabetli olmakla beraber düşük kaliteli üçgenlerden (çok dar açılı veya çok küçük) oluşan oldukça çıkıntılı yüzeyler oluşturmaktadır. Bu nedenle, sonuçta elde ettiğimiz yüzeyi nümerik simülasyonlarda kullanmak istiyorsak, Marching Cubes uygun bir yöntem değildir. Dolayısıyla, yüksek kaliteli üçgenlerden oluşan daha pürüzsüz yüzeyler oluşturduğu bilinen bir advancing front metodunu tercih ettik. Advancing front metodlarının temel dezavantajı yavaş olmalarıdır ancak nümerik simülasyonlar için kullanılacak yüzeylerin oluşturulma aşamasının gerçek zamanlı olması gerekmediğinden bu soruna tahammül edilebilir. Yöntemde, yüzeyin pürüzsüzlüğü ile verilen veriye bağlılığını dengeleyen, kullanıcı tarafından tanımlanan katsayılar bulunmaktadır. Bu katsayılar, oluşturulan yüzeyin nasıl bir uygulamada kullanılacağına ve girdi olarak alınan verinin ne kadar gürültülü olduğu gözönünde bulundurularak seçilmelidir. Ayrıca, yüzey girdi verisine ne kadar bağlı olursa yöntemin çalışma süresinin de o kadar uzayacağı hesaba katılmalıdır. Son olarak, yüzeyin daha da pürüzsüzleştirilmesi için Taubin pürüzsüzleştirmesi kullanılmıştır. Bu yöntem, Laplacian veya Gaussian gibi klasik pürüzsüzleştirme yöntemlerinin aksine, doğru kullanıldığında, yüzeyde daralma oluşturmamaktadır. Sonuçlar, Marching Cubes yöntemiyle elde edilen sonuçlarla görsel olarak karşılaştırılmış ve önerilen yöntemin Marching Cubes'a kıyasla çok daha yüksek kalitede yüzeyler oluşturduğu ve kıyaslanabilir isabette olduğu görülmüştür. Çalışmamızın bütünü gözönüne alındığında üzerinde durulması gereken en önemli nokta, her adımda istenilen bazı özelliklerin elde edilmesi için istenen başka özelliklerden vazgeçilmesi gerektiğidir. Damar ayrıştırılması kısmında isabetlilik ile kullanıcı müdahalesine gereksinim, hesaplama pahası (computation cost) ve genellik, damar yüzeyi oluşturulması kısmında ise isabetlilik ile pürüzsüzlük ve hesaplama pahası dengelenmelidir. Bu dengeleme işlemini yaparken, elde edilecek olan yüzeyin kullanılacağı özel tıbbi uygulamanın gereksinimleri dikkate alınmalıdır. Birkaç örnek vermek gerekirse, tehşis için yeterli olan bir isabet oranı, beyin ameliyatı planlaması için yeterli olmayabilir. Damar yüzeyinin pürüzsüz olması nümerik simülasyonlar için gerekli olmakla beraber tehşis veya ameliyat planlaması için istenmeyen bir durum olabilir. Sonuç yüzeyindeki çokgen sayısı ameliyat planlaması veya tehşis için bir sorun oluşturmayacak ancak nümerik simülasyonun hızını ciddi şekilde etkileyecektir. İdeal olarak gelecekte ulaşılmak istenilen nokta, verilen herhangi bir tıbbi süreç için herhangi bir tıbbi görüntüyü hiçbir kullanıcı müdahalesi veya düzeltmesine gerek olmaksızın anlamlı şekilde işleyecek bir programa sahip olunmasıdır. Ancak şu an bu noktadan uzak olunduğundan, bir algoritmanın her durumda işe yaramasını beklememek gerekir. Dolayısıyla, tıbbi uygulamalar üzerinde çalışan bilgisayar bilimcilerin, hekimlerle yakın bir işbirliği içerisinde çalışmaları ve böylece geliştirdikleri yöntemin kullanılacağı tıbbi uygulamanın gereksinimlerinden haberdar olmaları büyük önem arz etmektedir.3D surface reconstruction of vascular structures plays a very important role in the medical field as vascular problems can be lethal and are in fact among the leading causes of death. The reconstructed patient specific vessel structure can be visualized and used for diagnostic and surgical planing purposes. Furthermore, analysing the vascular structure and detecting risk areas using CFD simulations can help in making therapeutic decisions and might, in the future, make it possible to prevent some diseases before they show any symptoms. Two very important applications of patient specific CFD simulations are the evaluation of the risk of atherosclerosis and cerebral aneurysm rupture. Atherosclerotic plagues are known to occur more frequently in regions where the flow is not laminar and wall sheer stress is low. Hemodynamic factors are also thought to play a role in the risk of aneurysm rupture. As measuring blood flow in vivo is not reliable or convenient, the only way to assess the risk is by numerical simulation on patient specific 3D vessel structure. The vessel surface reconstruction problem consists of two main steps. First, all the voxels in the volume data are labeled as vessel or non-vessel. This step is called vessel segmentation. Then, using the segmentation, the vessel surface is reconstructed as a polygonal mesh. If the mesh is to be used for numerical simulations instead of only visualization, then the mesh should be high quality which means that it should contain polygons of similar sizes and angles. Regrettably, manual segmentation of 3D data is a lengthy and cumbersome process and reconstruction of a high quality surface from the segmented data is not trivial. Therefore, both the problem of automatic or semi-automatic vessel segmentation from medical images and the problem of reconstructing a high quality surface from segmented volume data have been extensively studied in literature and there are many different types of approaches. Compared to the amount of research that study vessel segmentation and surface reconstruction seperately, the number of studies that aim to combine these methods for the purpose of patient specific numerical simulations is relatively low and they generally consider only a specific anatomical region. In this work, we focus on vessel segmentation and reconstruction from MRA data and we aim to design a unified model that works on all anatomical regions, can detect both large and small vessels and uses minimal user interaction. For the segmentation step, a level-set evolution scheme based on local geometric information is used. More specifically, the vessel surface is represented as the zero level-set of a 3D hypersurface and the hypersurface is evolved under guidance of an evolution function derived from multi-scale Hessian analysis and mean curvature. The evolution is modeled as an initial value problem resulting from a PDE. The surface can be initialized automatically using the Hessian analysis to detect bright tubular structures. The results are analysed visually on real MRA data and quantitatively on a synthetically created dataset deformed with various noise intensities. It is seen from the results that the proposed method is promising. The second step of our work is to construct a polygonal representation of the vessel surface using the result of the first part which is an implicit representation of the vessel surface as a discrete sampling of a 3D volume. The standart classical method for polygonizing implicit surfaces is Marching Cubes which constructs a surface with triangles. Although Marching Cubes is fast and guaranteed to be accurate, it generates a very rough surface and can contain low quality triangles(highly acute-angled triangles). Thus, it is not suitable if we want to run numerical simulations using the resulting surface. Therefore, we use an advancing front method which is known to generate smoother surfaces with better triangle quality. Advancing front methods have the downside of being slow but this is not such a big issue when the surface reconstruction is done offline. Finally, Taubin smoothing is used to further smooth the surface. Compared to simpler smoothing methods like Laplacian and Gaussian smoothing which produce shrinkage, Taubin smoothing does not change the topology of the vessel structure if used correctly. The results obtained from using an advancing front method and Taubin smoothing are compared to the classical Marching Cubes results visually to show that much higher triangle quality is achieved while maintaining acceptable accuracy.Yüksek LisansM.Sc

Automated Extraction of Flow Features

Computational Fluid Dynamics (CFD) simulations are routinely performed as part of the design process of most fluid handling devices. In order to efficiently and effectively use the results of a CFD simulation, visualization tools are often used. These tools are used in all stages of the CFD simulation including pre-processing, interim-processing, and post-processing, to interpret the results. Each of these stages requires visualization tools that allow one to examine the geometry of the device, as well as the partial or final results of the simulation. An engineer will typically generate a series of contour and vector plots to better understand the physics of how the fluid is interacting with the physical device. Of particular interest are detecting features such as shocks, re-circulation zones, and vortices (which will highlight areas of stress and loss). As the demand for CFD analyses continues to increase the need for automated feature extraction capabilities has become vital. In the past, feature extraction and identification were interesting concepts, but not required in understanding the physics of a steady flow field. This is because the results of the more traditional tools like; isc-surface, cuts and streamlines, were more interactive and easily abstracted so they could be represented to the investigator. These tools worked and properly conveyed the collected information at the expense of a great deal of interaction. For unsteady flow-fields, the investigator does not have the luxury of spending time scanning only one "snapshot" of the simulation. Automated assistance is required in pointing out areas of potential interest contained within the flow. This must not require a heavy compute burden (the visualization should not significantly slow down the solution procedure for co-processing environments). Methods must be developed to abstract the feature of interest and display it in a manner that physically makes sense