A Review on Automatic Analysis of Human Embryo Microscope Images

Over the last 30 years the process of in vitro fertilisation (IVF) has evolved considerably, yet the efficiency of this treatment remains relatively poor. The principal challenge faced by doctors and embryologists is the identification of the embryo with the greatest potential for producing a child. Current methods of embryo viability assessment provide only a rough guide to potential. In order to improve the odds of a successful pregnancy it is typical to transfer more than one embryo to the uterus. However, this often results in multiple pregnancies (twins, triplets, etc), which are associated with significantly elevated risks of serious complications. If embryo viability could be assessed more accurately, it would be possible to transfer fewer embryos without negatively impacting IVF pregnancy rates. In order to assist with the identification of viable embryos, several scoring systems based on morphological criteria have been developed. However, these mostly rely on a subjective visual analysis. Automated assessment of morphological features offers the possibility of more accurate quantification of key embryo characteristics and elimination of inter- and intra-observer variation. In this paper, we describe the main embryo scoring systems currently in use and review related works on embryo image analysis that could lead to an automatic and precise grading of embryo quality. We summarise achievements, discuss challenges ahead, and point to some possible future directions in this research field

Automating assessment of human embryo images and time-lapse sequences for IVF treatment

As the number of couples using In Vitro Fertilization (IVF) treatment to give birth increases, so too does the need for robust tools to assist embryologists in selecting the highest quality embryos for implantation. Quality scores assigned to embryonic structures are critical markers for predicting implantation potential of human blastocyst-stage embryos. Timing at which embryos reach certain cell and development stages in vitro also provides valuable information about their development progress and potential to become a positive pregnancy. The current workflow of grading blastocysts by visual assessment is susceptible to subjectivity between embryologists. Visually verifying when embryo cell stage increases is tedious and confirming onset of later development stages is also prone to subjective assessment. This thesis proposes methods to automate embryo image and time-lapse sequence assessment to provide objective evaluation of blastocyst structure quality, cell counting, and timing of development stages

Seleção de embriões pela análise de imagens: uma abordagem Deep Learning

Infertility affects about 186 million people worldwide and 9-10% of couples in Portugal, causing financial, social and medical problems. Evaluation of embryo quality based morphological features is the standard in vitro fertilization (IVF) clinics around the world. This process is subjective and time-consuming, and results in discrepant classifications among embryologists and clinics, leading to fail in predict accurately embryo implantation and live birth potential. Although assisted reproductive technologies (ART) such as IVF coupled with time lapse elimination of periodic transfer to microscopy assessment and stable embryo culture conditions for embryos development, has alleviated the infertility problem, there are significant limitations even considering morphokinetic analysis. Likewise, many patients require multiple IVF cycles to achieve pregnancy, making the selection of single embryo for transfer a critical challenge. Here, we demonstrate the reliability of machine learning, especially deep learning based on TensorFlow open source and Keras libraries for embryo raw TLI images features extraction and classification in clinical practice. Equally, we present a follow up pipeline for clinicians and researchers, with no expertise in machine learning, to easily, rapid and accurately utilize deep learning as a clinical decision support tool in embryos viability studies, as well in other medical field where the analysis of images is preeminentA infertilidade afeta cerca de 186 milhões de pessoas em todo o mundo e 9-10% dos casais em Portugal, causando problemas financeiros, sociais e de saúde. Constitui procedimento padrão a avaliação da qualidade dos embriões baseadas em características morfológicas. No entanto, tais avaliações são subjetivas e demoradas e resultam em classificações discrepantes entre embriologistas e clínicas causando problemas na avaliação do potencial do embrião. Embora as tecnologias de reprodução medicamente assistida, como a fertilização in vitro, acoplada à tecnologia time-lapse, tenham diminuído o problema da infertilidade, existem limitações significativas, mesmo considerando a análise morfocinética. Outrossim, muitas pacientes necessitam de múltiplos ciclos de fertilização para alcançar a gravidez, tornando a seleção do embrião com maior potencial de implantação e geração de nados vivos um desafio crítico. No presente projeto demonstramos a prova do conceito da confiabilidade de Machine Learning (aprendizagem automática), especialmente Deep Learning baseado em TensorFlow e Keras, para extrair e discriminar caraterísticas associadas ao potencial embrionário, em imagens time-lapse. Igualmente, apresentamos um pipeline para que clínicos e investigadores, sem experiência em Machine Learning, possam utilizar com facilidade, rapidez e precisão Deep Learning como ferramenta de apoio à decisão clínica em estudos de viabilidade de embriões, bem como noutras áreas médicas onde a análise de imagens seja proeminenteMestrado em Biologia Molecular e Celula

Microfluidics and Bio-MEMS for Next Generation Healthcare.

Ph.D. Thesis. University of Hawaiʻi at Mānoa 2018

Computational phase imaging for biomedical applications

When a sample is illuminated by an imaging field, its fingerprints are left on the amplitude and the phase of the emerging wave. Capturing the information of the wavefront grants us a deeper understanding of the optical properties of the sample, and of the light-matter interaction. While the amplitude information has been intensively studied, the use of the phase information has been less common. Because all detectors are sensitive to intensity, not phase, wavefront measurements are significantly more challenging. Deploying optical interferometry to measure phase through phase-intensity conversion, quantitative phase imaging (QPI) has recently gained tremendous success in material and life sciences. The first topic of this dissertation describes our effort to develop a new QPI setup, named transmission Spatial Light Interference Microscopy (tSLIM), that uses the twisted nematic liquid-crystal (TNLC) modulators. Compared to the established SLIM technique, tSLIM is much less expensive to build than its predecessor (SLIM) while maintaining significant performance. The tSLIM system uses parallel aligned liquid-crystal (PANLC) modulators, has a slightly smaller signal-to-noise Ratio (SNR), and a more complicated model for the image formation. However, such complexity is well addressed by computing. Most importantly, tSLIM uses TNLC modulators that are popular in display LCDs. Therefore, the total cost of the system is significantly reduced. Alongside developing new imaging modalities, we also improved current QPI imaging systems. In practice, an incident field to the sample is rarely perfectly spatially coherent, i.e., plane wave. It is generally partially coherent; i.e., it comprises of many incoherent plane waves coming from multiple directions. This illumination yields artifacts in the phase measurement results, e.g., halo and phase-underestimation. One solution is using a very bright source, e.g., a laser, which can be spatially filtered very well. However, the laser comes at the expense of speckles, which degrades image quality. Therefore, solutions purely based on physical modeling and computations to remove these artifacts, using white-light illumination, are highly desirable. Here, using physical optics, we develop a theoretical model that accurately explains the effects of partial coherence on image information and phase information. The model is further combined with numerical processing to suppress the artifacts, and recover the correct phase information. The third topic is devoted to applying QPI to clinical applications. Traditionally, stained tissues are used in prostate cancer diagnosis instead. The reason is that tissue samples used in diagnosis are nearly transparent under bright field inspection if unstained. Contrast-enhanced microscopy techniques, e.g., phase contrast microscopy (PC) and differential interference contrast microscopy (DIC), can render visibility of the untagged samples with high throughput. However, since these methods are intensity-based, the contrast of acquired images varies significantly from one imaging facility to another, preventing them from being used in diagnosis. Inheriting the merits of PC, SLIM produces phase maps, which measure the refractive index of label-free samples. However, the maps measured by SLIM are not affected by variation in imaging conditions, e.g., illumination, magnification, etc., allowing consistent imaging results when using SLIM across different clinical institutions. Here, we combine SLIM images with machine learning for automatic diagnosis results for prostate cancer. We focus on two diagnosis problems of automatic Gleason grading and cancer vs. non-cancer diagnosis. Finally, we introduce a new imaging modality, named Gradient Light Interference Microscopy (GLIM), which is able to image through optically thick samples using low spatial coherence illumination. The key benefit of GLIM comes from a large numerical aperture of the condenser, which is 0.55 NA, about five times higher than that in SLIM. GLIM has an excellent depth sectioning when recording three-dimensional information of the susceptibility of the sample. We also introduce a model for the image formation of GLIM with an implication that a simple filtering step in the transverse dimension can dramatically improve the sectioning in the axial dimension. With GLIM, one can measure accurately the surface area, volume, and dry mass of a variety of biological samples, ranging from cells that are about tens of microns thick to bovine embryos that are hundreds of microns thick

Automatic Blastomere Recognition from a Single Embryo Image

The number of blastomeres of human day 3 embryos is one of the most important criteria for evaluating embryo viability. However, due to the transparency and overlap of blastomeres, it is a challenge to recognize blastomeres automatically using a single embryo image. This study proposes an approach based on least square curve fitting (LSCF) for automatic blastomere recognition from a single image. First, combining edge detection, deletion of multiple connected points, and dilation and erosion, an effective preprocessing method was designed to obtain part of blastomere edges that were singly connected. Next, an automatic recognition method for blastomeres was proposed using least square circle fitting. This algorithm was tested on 381 embryo microscopic images obtained from the eight-cell period, and the results were compared with those provided by experts. Embryos were recognized with a 0 error rate occupancy of 21.59%, and the ratio of embryos in which the false recognition number was less than or equal to 2 was 83.16%. This experiment demonstrated that our method could efficiently and rapidly recognize the number of blastomeres from a single embryo image without the need to reconstruct the three-dimensional model of the blastomeres first; this method is simple and efficient

Computer vision for sequential non-invasive microscopy imaging cytometry with applications in embryology

Many in vitro cytometric methods requires the sample to be destroyed in the process. Using image analysis of non-invasive microscopy techniques it is possible to monitor samples undisturbed in their natural environment, providing new insights into cell development, morphology and health. As the effect on the sample is minimized, imaging can be sustained for long un-interrupted periods of time, making it possible to study temporal events as well as individual cells over time. These methods are applicable in a number of fields, and are of particular importance in embryological studies, where no sample interference is acceptable. Using long term image capture and digital image cytometry of growing embryos it is possible to perform morphokinetic screening, automated analysis and annotation using proper software tools. By literature reference, one such framework is suggested and the required methods are developed and evaluated. Results are shown in tracking embryos, embryo cell segmentation, analysis of internal cell structures and profiling of cell growth and activity. Two related extensions of the framework into three dimensional embryo analysis and adherent cell monitoring are described

Sorting Of Biological Cells In A Microfluidic Channel Using Holographic Optical Tweezers Combined With Raman Spectroscopy

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017Thesis (Ph.D.) -- İstanbul Technical University, Institute of Science and Technology, 2017Tek hücrelerin araştırılması hayati önem taşır çünkü nüfustan gelen ölçüm, nüfusta her bireyi temsil etmeyen ortalama bir değer verir. Ayrıca, arzu edilen hücre tipinin sıralanması ve bazen sayılması, o hücrenin derişiminin bir ölçüsüdür. Bu tür mikro ölçekli ölçümler bazen, örneğin hücre döngüsü, hücre sinyalleşme süreçlerini izlemek için gereklidir. Bu sebeple, önce bir holografik optik cımbızlama seti (HOT) kurulumu yapılmıştır. Bu kurulum, İstanbul Teknik Üniversitesi Lazer Spektroskopi Laboratuvarı'nda mevcut optik cımbızlama setinin genişletilmesi ile kurulmuş ve ilerleyen ölçümler için İstanbul Üniversitesi Lazer Spektroskopi Laboratuvarı'nda yeniden bir set kurularak ölçümler alınmıştır. Araştırma projesi kapsamında (İTÜ BAP – proje no 37851) satın alınan Holoeye Pluto BB marka SLM, bir çift yarık girişimi interferometrik düzeneği kullanılarak kalibre edildi. SLM ekranının bir tarafı siyah tutulup, diğer tarafında grilik seviyeleri 0-255 arasındaki değerlerle değiştirilerek faz ölçümleri yapıldı. Üretilen faz farkı – grilik seviyesi eğrisi lineer olana kadar gerilim seviyeleri değiştirildi. Son olarak gama düzeltmesi yapılarak kalibrasyon tamamlandı. Kalibre edilmiş SLM, daha sonra HOT sistemine yerleştirilerek 4-f düzeneği kuruldu. HOT ve spektroskopi ile ilgili tüm görevleri gerçekleştirmek üzere bir Graphical User Interface (GUI) MATLAB'da tasarlanmış ve programlanmıştır. Hologramlar, Gratings and Lenses algoritması kullanılarak, HOT programı yardımı ile hesaplandı. HOT programı, girdi olarak örnek düzlemindeki parçacıkların olması istenen konumunu alır. Deney düzeneğimizde kullanılan kamera doğrudan yazılım ile ilişki kuramadığından, yazılım üzerinde kamera ile aynı çözünürlükte oluşturulan ekran ile kameradaki hareketler eşlenerek uzamsal kalibrasyon yapıldı. Bu sayede yazılım üzerindeki çerçeve üzerinden örnek düzlemindeki konumlar elde edilebildi. HOT deneylerinde kullanılan algoritmalar polistiren (PS) test parçacıkları ile test edildi. HOT yazılımı tarafından oluşturulan dört adet spot örnek düzleminde test parçacıklarının tuzaklanması için kullanıldı. Dört tuzaktan oluşan bu PS parçacığı dizisi, yazılım tarafından Raman spektrum ölçüm bölgesine yönlendirildi. Yazılım, spektrometre ile iletişim kurduktan sonra bir saniye süre ile tek bir spektrum alır. Bu spektrum, CCD pikselleri y-ekseninde bölünerek her bir dilimden gelen sinyal ayrı ayrı ele alınacak şekilde işlendiği için (multi-track), her parçacığın bireysel Raman spektrumlarını elde bir seferde elde etmiş olur. Bu spektrumlar, PS parçacıkları ve maya hücreleri kullanılarak hazırlanmış olan veri kümesiyle karşılaştırılır. Bu karşılaştırmada kıstas ölçüm ile veri kümesi arasındaki korelasyon katsayısıdır. Önceden belirlenen eşik değerlere göre korelasyon katsayısının değeri sınıflandırma için gereken ölçütü belirler. Bu ölçüt kullanılarak parçacıklar her bir sınıf için atanan bölgelere doğru yazılım tarafından ilerletilir. Başlangıç, ölçüm ve sınıflandırma sonrası son konumlar daha önceden belirlenmiş değerler olup, program bu değerleri kullanarak parçacıkları konumlandırır. Gidilecek konumlar daha önceden belirli olduğundan anlık hologram hesaplama yerine, önceden hesaplanmış hologramların kullanılması da tuzaklama ve ayrıştırma verimini oldukça artırmıştır. Maya hücreleri ve E.coli hücreleri kullanılarak biyolojik hücrelerin test Raman ölçümleri düşük pozlama sürelerinde sinyal seviyelerini araştırmak için yapılmıştır. Örnek E.coli ve pozlama süresi bir saniye olduğunda parçacıkların sınıflandırılması için ölçüm sistemimizin yeterli sinyali vermediği görüldü. E.coli hücreleri ile sinyal elde edilebilmesi için eşik pozlama süresi değeri 30 saniye yeterli oldu. Bununla birlikte, maya hücreleri kısa pozlama sürelerinde daha iyi yanıt verdi. Maya hücreleri ile bir saniyelik ölçümlerde önemli bantları ortaya çıkmıştır. Korelasyon katsayının eşik değerinin ayarlanması ile mayalar için bir saniyelik ölçümler için ayrıştırma deneyinin mümkün olduğu görülmüştür. Bu göz önüne alındığında, sınıflandırma testi deneyleri maya hücreleri ve PS parçacıklar kullanılarak yapılmıştır. PS parçacıkları ile maya hücrelerinden oluşan karışık bir çözeltide, sekizli spot dizisi dördü Raman spektrumları ölçüm bölgesinde, dördü de yazılım ekranın sol kenarında daha sonra ölçülmek üzere bekleyen tuzaklardır. İşlemin başlamasıyla birlikte ölçüm bölgesindeki tuzaklardan sinyal alınır. Ölçüm ve sonrasında yapılan sınıflandırmaya göre, parçacıklar ölçüm hücresinde daha önce tanımlanan konumlara yönlendirilir. Bu yönlendirme sırasında iki türlü parçacık iki farklı köşeye gider. İlk grup hareketini tamamladıktan sonra, ikinci grubun hareketine başlamasıyla birlikte ekranın sol tarafında bekleyen dörtlü grup ölçüm bölgesine doğru hareket eder. Bu döngü kullanıcı durdurana kadar devam eder. Bu deneylerde, sınıflandırma başarı ile yapıldı. Raman spektroskopisi ile embriyo kalitesinin belirlenmesine yönelik bir çalışma İstanbul Üniversitesi Tıp Fakültesi'nden Dr. Ercan Baştu ile işbirliği içinde yapılmıştır. Bu çalışmada, embriyo canlılığını değerlendirmek için objektif bir yöntem bulunması amaçlanmıştır. Değerlendirme embriyoların yetiştiği atık kültür sıvılarından yapılmıştır. Hipotez, atık sıvısında en çok besin tüketen embriyonun en iyi gelişim göstereceği idi. Bu amaçla gönüllü kişilerden alınan örnekler ortalama 30 µL'lik hacimlerle İTÜ Lazer Spektroskopi laboratuvarına sıvı azot tankı içerisinde getirildi. Örnek hacmi küçük olduğundan, Raman hacmini büyütmek ve ölçümlerden en iyi sinyali alabilmek için disk şeklinde bir ölçüm hücresi üretildi. 16'sı hamilelik aşamasına geçemeyen, 15'i hamilelik aşamasına geçebilen 31 embriyo atık sıvısı örneğinden, 30 saniye pozlama zamanı ile arka arkaya 20 ölçüm, bu ölçüm hücresi içinde alınmıştır. Her atık sıvı ölçümünden önce saf su ölçümü ve sonrasında tolüen ölçümü alınmıştır. Tolüen ölçümü kalibrasyon aşamasında kullanılırken, saf su ölçümü, arka plan düzeltilmesi için kullanılmıştır. Ölçümler normalize edilmiş ve taban çizgileri üçüncü derece bir polinom taban profiline uydurularak çıkarılmıştır. Önişlem yapılmış spektrumlara bant bileşen analizi uygulanmış ve bu yöntem ile elde edilen bant alanlarına ve tüm bant oranlarına bir Mann-Whitney U testi uygulanmıştır. En önemlisi 903/942 cm-1 bant alanı oranı olarak bulunmuştur. Bu oranlara K-ortalama kümeleme analizi uygulanarak sınıflandırması yapılmıştır. Bu sınıflandırma sonucu, bu ölçümlerin duyarlılığı ve özgünlüğünün sırasıyla,% 93 ve% 77 olduğunu göstermiştir. Bu çalışma içerisinde ayrıca fenilalanin, valin, glutamin, alanin, arjinin, tirozin, triptofan, glisin, prolin, serin, histidin, prolin, glutamat, ve sistein amino asitlerinin sulu çözeltilerinin Raman spektrumları ölçülmüştür. Bu ölçümler incelendiğinde, glutamin, glisin ve prolin'in 903 cm-1 civarında ve valin'in 942 cm-1 civarında kendine ait en şiddetli bantlarının bulunduğu tespit edildi. Bunlar arasında, glutamin ve glisin literatüre göre embriyo gelişimine en çok katkı yapan amino asitlerdir. Bu sonuç en önemli bant oranının 903/942 cm-1 olduğu sonucumuzla uyum içerisindedir.Investigation of single cells is crucial, since the measurement from population gives an average value that does not necessarily represent every individual in the population. Besides, sorting and sometimes counting the desired kind of cell is a measure of how the concentration of that cell. These types of micro-scale measurements are sometimes necessary, for example, to monitor the cell cycle, cell-signaling processes. Serving to these purposes, first a holographic optical tweezers (HOT) setup was constructed. This setup was built by improving the current optical tweezers setup in the Laser Spectroscopy Laboratory in Istanbul Technical University. A brand new Holoeye Spatial Light Modulator (SLM) was installed in the system after it was calibrated using an interferometric setup. The holograms were calculated using a Gratings and Lenses algorithm written in MATLAB and implemented by the homemade GUI that manages all the tasks needed for trapping and spectroscopy. The test particles to characterize the HOT setup were polystyrene (PS) particles. An array of four trapped PS particles was manipulated to the Raman spectrum measurement region by the software. The software communicates with the spectrometer and obtains multi-track spectra from the array that gives individual Raman spectra of each particle. These spectra identified by the software using the correlation coefficient of this measurement with the dataset that has already been prepared using PS particles and yeast cells. The test Raman measurements of biological cells using yeast cells and E.coli cells were made to investigate the signal level in low exposure times. The measurement showed that, our system would not respond enough signal to classify particles when the sample is E.coli and the exposure time is one second. However, the yeast cells responded better in short exposure time. Considering these, the sorting test experiments were made using yeast cells and PS particles. In a mixed solution of PS particles and yeast cells, an array of four particles whose members are randomly chosen was moved to the measurement region. According to the measurement and the following classification, the particles are targeted to the previously defined positions in the measurement cell. In these experiments, classifications were made with success. A study to determine the embryo quality by Raman spectroscopy was made in collaboration with Istanbul University Medical School. In this study, it was aimed to find an objective method to assess embryo viability. The preliminary results showed that the sensitivity and specificity of these measurements are %93 and %77, respectively. A Mann-Whitney U test was applied on the band areas and all band area ratios obtained by band component analysis. The most significant one was found to be the band area ratio of 903/942 cm-1. Comparing the measurements of amino acids samples, it was determined that glutamine, glycine, proline, and valine has the most intense bands in the region that includes these significant bands. Among these, glutamine and glycine are the amino acids that contribute to embryo development most, according to the literature.DoktoraPh.D