Image processing and machine learning in the morphological analysis of blood cells

Introduction: This review focuses on how image processing and machine learning can be useful for the morphological characterization and automatic recognition of cell images captured from peripheral blood smears. Methods: The basics of the 3 core elements (segmentation, quantitative features, and classification) are outlined, and recent literature is discussed. Although red blood cells are a significant part of this context, this study focuses on malignant lymphoid cells and blast cells. Results: There is no doubt that these technologies may help the cytologist to perform efficient, objective, and fast morphological analysis of blood cells. They may also help in the interpretation of some morphological features and may serve as learning and survey tools. Conclusion: Although research is still needed, it is important to define screening strategies to exploit the potential of image-based automatic recognition systems integrated in the daily routine of laboratories along with other analysis methodologies.Peer ReviewedPostprint (published version

Methodology for automatic classification of atypical lymphoid cells from peripheral blood cell images

Morphological analysis is the starting point for the diagnostic approach of more than 80% of the hematological diseases. However, the morphological differentiation among different types of abnormal lymphoid cells in peripheral blood is a difficult task, which requires high experience and skill. Objective values do not exist to define cytological variables, which sometimes results in doubts on the correct cell classification in the daily hospital routine. Automated systems exist which are able to get an automatic preclassification of the normal blood cells, but fail in the automatic recognition of the abnormal lymphoid cells. The general objective of this thesis is to develop a complete methodology to automatically recognize images of normal and reactive lymphocytes, and several types of neoplastic lymphoid cells circulating in peripheral blood in some mature B-cell neoplasms using digital image processing methods. This objective follows two directions: (1) with engineering and mathematical background, transversal methodologies and software tools are developed; and (2) with a view towards the clinical laboratory diagnosis, a system prototype is built and validated, whose input is a set of pathological cell images from individual patients, and whose output is the automatic classification in one of the groups of the different pathologies included in the system. This thesis is the evolution of various works, starting with a discrimination between normal lymphocytes and two types of neoplastic lymphoid cells, and ending with the design of a system for the automatic recognition of normal lymphocytes and five types of neoplastic lymphoid cells. All this work involves the development of a robust segmentation methodology using color clustering, which is able to separate three regions of interest: cell, nucleus and peripheral zone around the cell. A complete lymphoid cell description is developed by extracting features related to size, shape, texture and color. To reduce the complexity of the process, a feature selection is performed using information theory. Then, several classifiers are implemented to automatically recognize different types of lymphoid cells. The best classification results are achieved using support vector machines with radial basis function kernel. The methodology developed, which combines medical, engineering and mathematical backgrounds, is the first step to design a practical hematological diagnosis support tool in the near future.Los análisis morfológicos son el punto de partida para la orientación diagnóstica en más del 80% de las enfermedades hematológicas. Sin embargo, la clasificación morfológica entre diferentes tipos de células linfoides anormales en la sangre es una tarea difícil que requiere gran experiencia y habilidad. No existen valores objetivos para definir variables citológicas, lo que en ocasiones genera dudas en la correcta clasificación de las células en la práctica diaria en un laboratorio clínico. Existen sistemas automáticos que realizan una preclasificación automática de las células sanguíneas, pero no son capaces de diferenciar automáticamente las células linfoides anormales. El objetivo general de esta tesis es el desarrollo de una metodología completa para el reconocimiento automático de imágenes de linfocitos normales y reactivos, y de varios tipos de células linfoides neoplásicas circulantes en sangre periférica en algunos tipos de neoplasias linfoides B maduras, usando métodos de procesamiento digital de imágenes. Este objetivo sigue dos direcciones: (1) con una orientación propia de la ingeniería y la matemática de soporte, se desarrollan las metodologías transversales y las herramientas de software para su implementación; y (2) con un enfoque orientado al diagnóstico desde el laboratorio clínico, se construye y se valida un prototipo de un sistema cuya entrada es un conjunto de imágenes de células patológicas de pacientes analizados de forma individual, obtenidas mediante microscopía y cámara digital, y cuya salida es la clasificación automática en uno de los grupos de las distintas patologías incluidas en el sistema. Esta tesis es el resultado de la evolución de varios trabajos, comenzando con una discriminación entre linfocitos normales y dos tipos de células linfoides neoplásicas, y terminando con el diseño de un sistema para el reconocimiento automático de linfocitos normales y reactivos, y cinco tipos de células linfoides neoplásicas. Todo este trabajo involucra el desarrollo de una metodología de segmentación robusta usando agrupamiento por color, la cual es capaz de separar tres regiones de interés: la célula, el núcleo y la zona externa alrededor de la célula. Se desarrolla una descripción completa de la célula linfoide mediante la extracción de descriptores relacionados con el tamaño, la forma, la textura y el color. Para reducir la complejidad del proceso, se realiza una selección de descriptores usando teoría de la información. Posteriormente, se implementan varios clasificadores para reconocer automáticamente diferentes tipos de células linfoides. Los mejores resultados de clasificación se logran utilizando máquinas de soporte vectorial con núcleo de base radial. La metodología desarrollada, que combina conocimientos médicos, matemáticos y de ingeniería, es el primer paso para el diseño de una herramienta práctica de soporte al diagnóstico hematológico en un futuro cercano

Caracterització morfològica de cèl·lules limfoides normals, reactives, anormals i blàstiques de sang perifèrica mitjançant processament digital d'imatges

Aplicat embargament des de la data de defensa fins a l'abril de 2020The main objective of the present Doctoral Thesis is to obtain new quantitative features by means of digital image processing and machine learning for the differentiation of normal, reactive and malignant lymphoid cells of peripheral blood, contributing to an objective morphologic assessment.The research addresses the following two issues:(1)Using machine learning, geometric, color and texture descriptors are searched which have an explicit quantitative formulation and a reasonable qualitative interpretation in visual morphologic terms.(2)Considering cellular abnormalities established a priori, associated with specific diseases, the aim is to identify specific quantitative descriptors of morphological characteristics that cytologists recognize visually and usually express subjectively.More than 200 patients and 16 different lymphoid cell groups have been included in the research. Using the CellaVision DM96, 12,000 images have been acquired and using the microscope Olympus BX43, 9,000. Almost 2,700 features including geometric, color and texture (first and second-order statistics, granulometric, Wavelet and Gabor) have been analyzed for lymphoid cell differentiation. Six color spaces have been considered: RGB, CMYK, HSV, XYZ, Lab and Luv.The 20 most efficient features for the differentiation between reactive lymphoid cells (infections) and neoplastic cells (abnormal lymphocytes in lymphoma or lymphoid blasts in acute leukemia) have been analyzed. The three most relevant descriptors for the recognition of the 12 lymphoid cell groups considered are geometric: 1) nucleus/cytoplasm ratio, 2) nuclear perimeter and 3) cell diameter. Most of the 20 descriptors show significant differences between pairs of abnormal lymphocytes which are difficult to recognize by morphology. Five color and texture features are significant to discriminate reactive lymphocytes from abnormal lymphoid cells.Quantitative descriptors have been identified for the detection of specific cell morphologic abnormalities of certain lymphoid neoplasms, which have shown good specificity and sensitivity using the two different image acquisition systems. Regarding nuclear abnormalities, the detection of the mature and condensed chromatin seen in chronic lymphatic leukemia cells has been achieved by the correlation of the cyan of the nucleus, and the cerebriform chromatin characteristic of Sézary cells, by means of the standard deviation of the granulometric curve of the cyan component of the nucleus.Regarding the cytoplasm, hairiness descriptor has been able to detect cytoplasmic villi present in villous lymphocytes in hairy cell leukemia and splenic marginal zone lymphoma. The skewness of the histogram of the u component of the cytoplasm has shown to be useful for detecting azurophilic cytoplasmic granules seen in abnormal lymphocytes in T-cell large granular lymphocytic leukemia.The results of this Doctoral Thesis provide objectivity in the morphologic assessment of normal, reactive and neoplastic lymphoid cells. Obtaining quantitative descriptors for abnormal lymphoid cells, which are specific to certain lymphoid neoplasms with peripheral blood expression, could facilitate their detection. Hematological analyzers based on digital image analysis could benefit from the use of quantitative descriptors, such as those described herein, in order to discriminate between reactive and neoplastic lymphoid cells.L'objectiu general de la present Tesi és obtenir nous descriptors quantitatius mitjançant processament digital d’imatges i aprenentatge automàtic per a la diferenciació de cèl·lules limfoides normals, reactives i malignes de sang perifèrica, contribuint a una anàlisi objectiva de la citologia sanguínia. La recerca s'ha enfocat des de dues perspectives: (1) Partint de l'aprenentatge automàtic, s'han buscat descriptors geomètrics, de color i de textura que tinguin una formulació quantitativa explícita i una interpretació qualitativa raonable en termes morfològics visuals. (2) Partint d'anormalitats cel·lulars establertes a priori, associades a malalties específiques, l'objectiu és identificar descriptors quantitatius específics de característiques morfològiques que els citòlegs reconeixen de forma visual i expressen habitualment amb conceptes subjectius. S'han inclòs més de 200 pacients i 16 grups cel·lulars limfoides. Amb el sistema CellaVision DM96 s'han adquirit 12.000 imatges i amb el microscopi Olympus BX43, 9.000. Per a la diferenciació cel·lular s’han analitzat 2.700 descriptors geomètrics, de color i de textura (estadístics de primer i segon ordre, granulomètrics, Wavelet i Gabor). S'han considerat sis espais de color (RGB, CMGN, HSV, XYZ, Lab i Luv). S'han analitzat els 20 descriptors geomètrics, de color i de textura més eficients per a la diferenciació entre cèl·lules limfoides reactives (infeccions) i neoplàsiques (anormals als limfomes o blasts limfoides a les leucèmies agudes). Els descriptors més rellevants per al reconeixement dels 12 grups cel·lulars limfoides són geomètrics: 1) relació nucli/citoplasma, 2) perímetre del nucli i 3) diàmetre de la cèl·lula. La majoria dels 20 descriptors mostren diferències significatives entre parelles de limfòcits anormals de difícil reconeixement per morfologia. Cinc descriptors de color i textura són significatius per discriminar els limfòcits reactius dels anormals. S'han identificat descriptors quantitatius per a la detecció d'anomalies morfològiques específiques de cèl·lules de determinades neoplàsies limfoides, que han mostrat una bona especificitat i sensibilitat amb els dos sistemes diferents d’adquisició d’imatges. En relació a anormalitats nuclears, la detecció de la cromatina madura i condensada de les cèl·lules de la leucèmia limfàtica crònica ha estat possible mitjançant la correlació del cian del nucli, i de la cromatina cerebriforme característica de les cèl·lules de Sézary mitjançant la desviació estàndard de la corba granulomètrica del component cian del nucli. Pel que fa al citoplasma, s'han detectat les prolongacions citoplasmàtiques dels limfòcits de la tricoleucèmia i del limfoma de la zona marginal esplènic mitjançant el descriptor hairiness. L'asimetria de l'histograma del component u del citoplasma ha demostrat ser útil per detectar els grànuls azuròfils dels limfòcits grans granulars. Els resultats de la present Tesi proporcionen objectivitat en l'avaluació morfològica de cèl·lules limfoides normals, reactives i neoplàsiques. L'obtenció de descriptors quantitatius per cèl·lules limfoides anormals específiques de determinades neoplàsies limfoides amb expressió a sang perifèrica podria facilitar la seva detecció. Els analitzadors hematològics basats en l'anàlisi digital d'imatges es podrien beneficiar de l'ús de descriptors quantitatius, com els descrits, per tal de discriminar entre cèl·lules limfoides reactives i neoplàsiques.Postprint (published version

Caracterització morfològica de cèl·lules limfoides normals, reactives, anormals i blàstiques de sang perifèrica mitjançant processament digital d'imatges

The main objective of the present Doctoral Thesis is to obtain new quantitative features by means of digital image processing and machine learning for the differentiation of normal, reactive and malignant lymphoid cells of peripheral blood, contributing to an objective morphologic assessment.The research addresses the following two issues:(1)Using machine learning, geometric, color and texture descriptors are searched which have an explicit quantitative formulation and a reasonable qualitative interpretation in visual morphologic terms.(2)Considering cellular abnormalities established a priori, associated with specific diseases, the aim is to identify specific quantitative descriptors of morphological characteristics that cytologists recognize visually and usually express subjectively.More than 200 patients and 16 different lymphoid cell groups have been included in the research. Using the CellaVision DM96, 12,000 images have been acquired and using the microscope Olympus BX43, 9,000. Almost 2,700 features including geometric, color and texture (first and second-order statistics, granulometric, Wavelet and Gabor) have been analyzed for lymphoid cell differentiation. Six color spaces have been considered: RGB, CMYK, HSV, XYZ, Lab and Luv.The 20 most efficient features for the differentiation between reactive lymphoid cells (infections) and neoplastic cells (abnormal lymphocytes in lymphoma or lymphoid blasts in acute leukemia) have been analyzed. The three most relevant descriptors for the recognition of the 12 lymphoid cell groups considered are geometric: 1) nucleus/cytoplasm ratio, 2) nuclear perimeter and 3) cell diameter. Most of the 20 descriptors show significant differences between pairs of abnormal lymphocytes which are difficult to recognize by morphology. Five color and texture features are significant to discriminate reactive lymphocytes from abnormal lymphoid cells.Quantitative descriptors have been identified for the detection of specific cell morphologic abnormalities of certain lymphoid neoplasms, which have shown good specificity and sensitivity using the two different image acquisition systems. Regarding nuclear abnormalities, the detection of the mature and condensed chromatin seen in chronic lymphatic leukemia cells has been achieved by the correlation of the cyan of the nucleus, and the cerebriform chromatin characteristic of Sézary cells, by means of the standard deviation of the granulometric curve of the cyan component of the nucleus.Regarding the cytoplasm, hairiness descriptor has been able to detect cytoplasmic villi present in villous lymphocytes in hairy cell leukemia and splenic marginal zone lymphoma. The skewness of the histogram of the u component of the cytoplasm has shown to be useful for detecting azurophilic cytoplasmic granules seen in abnormal lymphocytes in T-cell large granular lymphocytic leukemia.The results of this Doctoral Thesis provide objectivity in the morphologic assessment of normal, reactive and neoplastic lymphoid cells. Obtaining quantitative descriptors for abnormal lymphoid cells, which are specific to certain lymphoid neoplasms with peripheral blood expression, could facilitate their detection. Hematological analyzers based on digital image analysis could benefit from the use of quantitative descriptors, such as those described herein, in order to discriminate between reactive and neoplastic lymphoid cells.L'objectiu general de la present Tesi és obtenir nous descriptors quantitatius mitjançant processament digital d’imatges i aprenentatge automàtic per a la diferenciació de cèl·lules limfoides normals, reactives i malignes de sang perifèrica, contribuint a una anàlisi objectiva de la citologia sanguínia. La recerca s'ha enfocat des de dues perspectives: (1) Partint de l'aprenentatge automàtic, s'han buscat descriptors geomètrics, de color i de textura que tinguin una formulació quantitativa explícita i una interpretació qualitativa raonable en termes morfològics visuals. (2) Partint d'anormalitats cel·lulars establertes a priori, associades a malalties específiques, l'objectiu és identificar descriptors quantitatius específics de característiques morfològiques que els citòlegs reconeixen de forma visual i expressen habitualment amb conceptes subjectius. S'han inclòs més de 200 pacients i 16 grups cel·lulars limfoides. Amb el sistema CellaVision DM96 s'han adquirit 12.000 imatges i amb el microscopi Olympus BX43, 9.000. Per a la diferenciació cel·lular s’han analitzat 2.700 descriptors geomètrics, de color i de textura (estadístics de primer i segon ordre, granulomètrics, Wavelet i Gabor). S'han considerat sis espais de color (RGB, CMGN, HSV, XYZ, Lab i Luv). S'han analitzat els 20 descriptors geomètrics, de color i de textura més eficients per a la diferenciació entre cèl·lules limfoides reactives (infeccions) i neoplàsiques (anormals als limfomes o blasts limfoides a les leucèmies agudes). Els descriptors més rellevants per al reconeixement dels 12 grups cel·lulars limfoides són geomètrics: 1) relació nucli/citoplasma, 2) perímetre del nucli i 3) diàmetre de la cèl·lula. La majoria dels 20 descriptors mostren diferències significatives entre parelles de limfòcits anormals de difícil reconeixement per morfologia. Cinc descriptors de color i textura són significatius per discriminar els limfòcits reactius dels anormals. S'han identificat descriptors quantitatius per a la detecció d'anomalies morfològiques específiques de cèl·lules de determinades neoplàsies limfoides, que han mostrat una bona especificitat i sensibilitat amb els dos sistemes diferents d’adquisició d’imatges. En relació a anormalitats nuclears, la detecció de la cromatina madura i condensada de les cèl·lules de la leucèmia limfàtica crònica ha estat possible mitjançant la correlació del cian del nucli, i de la cromatina cerebriforme característica de les cèl·lules de Sézary mitjançant la desviació estàndard de la corba granulomètrica del component cian del nucli. Pel que fa al citoplasma, s'han detectat les prolongacions citoplasmàtiques dels limfòcits de la tricoleucèmia i del limfoma de la zona marginal esplènic mitjançant el descriptor hairiness. L'asimetria de l'histograma del component u del citoplasma ha demostrat ser útil per detectar els grànuls azuròfils dels limfòcits grans granulars. Els resultats de la present Tesi proporcionen objectivitat en l'avaluació morfològica de cèl·lules limfoides normals, reactives i neoplàsiques. L'obtenció de descriptors quantitatius per cèl·lules limfoides anormals específiques de determinades neoplàsies limfoides amb expressió a sang perifèrica podria facilitar la seva detecció. Els analitzadors hematològics basats en l'anàlisi digital d'imatges es podrien beneficiar de l'ús de descriptors quantitatius, com els descrits, per tal de discriminar entre cèl·lules limfoides reactives i neoplàsiques