Image Retrieval in Digital Libraries - A Large Scale Multicollection Experimentation of Machine Learning techniques

International audienceWhile historically digital heritage libraries were first powered in image mode, they quickly took advantage of OCR technology to index printed collections and consequently improve the scope and performance of the information retrieval services offered to users. But the access to iconographic resources has not progressed in the same way, and the latter remain in the shadows: manual incomplete and heterogeneous indexation, data silos by iconographic genre. Today, however, it would be possible to make better use of these resources, especially by exploiting the enormous volumes of OCR produced during the last two decades, and thus valorize these engravings, drawings, photographs, maps, etc. for their own value but also as an attractive entry point into the collections, supporting discovery and serenpidity from document to document and collection to collection. This article presents an ETL (extract-transform-load) approach to this need, that aims to: Identify andextract iconography wherever it may be found, in image collections but also in printed materials (dailies, magazines, monographies); Transform, harmonize and enrich the image descriptive metadata (in particular with machine learning classification tools); Load it all into a web app dedicated to image retrieval. The approach is pragmatically dual, since it involves leveraging existing digital resources and (virtually) on-the-shelf technologies.Si historiquement, les bibliothèques numériques patrimoniales furent d’abord alimentées par des images, elles profitèrent rapidement de la technologie OCR pour indexer les collections imprimées afin d’améliorer périmètre et performance du service de recherche d’information offert aux utilisateurs. Mais l’accès aux ressources iconographiques n’a pas connu les mêmes progrès et ces dernières demeurent dans l’ombre : indexation manuelle lacunaire, hétérogène et non viable à grande échelle ; silos documentaires par genre iconographique ; recherche par le contenu (CBIR, content-based image retrieval) encore peu opérationnelle sur les collections patrimoniales. Aujourd’hui, il serait pourtant possible de mieux valoriser ces ressources, en particulier en exploitant les énormes volumes d’OCR produits durant les deux dernières décennies (tant comme descripteur textuel que pour l’identification automatique des illustrations imprimées). Et ainsi mettre en valeur ces gravures, dessins, photographies, cartes, etc. pour leur valeur propre mais aussi comme point d’entrée dans les collections, en favorisant découverte et rebond de document en document, de collection à collection. Cet article décrit une approche ETL (extract-transform-load) appliquée aux images d’une bibliothèque numérique à vocation encyclopédique : identifier et extraire l’iconographie partout où elle se trouve (dans les collections image mais aussi dans les imprimés : presse, revue, monographie) ; transformer, harmoniser et enrichir ses métadonnées descriptives grâce à des techniques d’apprentissage machine – machine learning – pour la classification et l’indexation automatiques ; charger ces données dans une application web dédiée à la recherche iconographique (ou dans d’autres services de la bibliothèque). Approche qualifiée de pragmatique à double titre, puisqu’il s’agit de valoriser des ressources numériques existantes et de mettre à profit des technologies (quasiment) mâtures

Système complet d’acquisition vidéo, de suivi de trajectoires et de modélisation comportementale pour des environnements 3D naturellement encombrés : application à la surveillance apicole

This manuscript provides the basis for a complete chain of videosurveillence for naturally cluttered environments. In the latter, we identify and solve the wide spectrum of methodological and technological barriers inherent to : 1) the acquisition of video sequences in natural conditions, 2) the image processing problems, 3) the multi-target tracking ambiguities, 4) the discovery and the modeling of recurring behavioral patterns, and 5) the data fusion. The application context of our work is the monitoring of honeybees, and in particular the study of the trajectories bees in flight in front of their hive. In fact, this thesis is part a feasibility and prototyping study carried by the two interdisciplinary projects EPERAS and RISQAPI (projects undertaken in collaboration with INRA institute and the French National Museum of Natural History). It is for us, computer scientists, and for biologists who accompanied us, a completely new area of investigation for which the scientific knowledge, usually essential for such applications, are still in their infancy. Unlike existing approaches for monitoring insects, we propose to tackle the problem in the three-dimensional space through the use of a high frequency stereo camera. In this context, we detail our new target detection method which we called HIDS segmentation. Concerning the computation of trajectories, we explored several tracking approaches, relying on more or less a priori, which are able to deal with the extreme conditions of the application (e.g. many targets, small in size, following chaotic movements). Once the trajectories are collected, we organize them according to a given hierarchical data structure and apply a Bayesian nonparametric approach for discovering emergent behaviors within the colony of insects. The exploratory analysis of the trajectories generated by the crowded scene is performed following an unsupervised classification method simultaneously over different levels of semantic, and where the number of clusters for each level is not defined a priori, but rather estimated from the data only. This approach is has been validated thanks to a ground truth generated by a Multi-Agent System. Then we tested it in the context of real data.Ce manuscrit propose une approche méthodologique pour la constitution d’une chaîne complète de vidéosurveillance pour des environnements naturellement encombrés. Nous identifions et levons un certain nombre de verrous méthodologiques et technologiques inhérents : 1) à l’acquisition de séquences vidéo en milieu naturel, 2) au traitement d’images, 3) au suivi multi-cibles, 4) à la découverte et la modélisation de motifs comportementaux récurrents, et 5) à la fusion de données. Le contexte applicatif de nos travaux est la surveillance apicole, et en particulier, l’étude des trajectoires des abeilles en vol devant la ruche. De ce fait, cette thèse se présente également comme une étude de faisabilité et de prototypage dans le cadre des deux projets interdisciplinaires EPERAS et RISQAPI (projets menées en collaboration avec l’INRA Magneraud et le Muséum National d’Histoire Naturelle). Il s’agit pour nous informaticiens et pour les biologistes qui nous ont accompagnés, d’un domaine d’investigation totalement nouveau, pour lequel les connaissances métiers, généralement essentielles à ce genre d’applications, restent encore à définir. Contrairement aux approches existantes de suivi d’insectes, nous proposons de nous attaquer au problème dans l’espace à trois dimensions grâce à l’utilisation d’une caméra stéréovision haute fréquence. Dans ce contexte, nous détaillons notre nouvelle méthode de détection de cibles appelée segmentation HIDS. Concernant le calcul des trajectoires, nous explorons plusieurs approches de suivi de cibles, s’appuyant sur plus ou moins d’a priori, susceptibles de supporter les conditions extrêmes de l’application (e.g. cibles nombreuses, de petite taille, présentant un mouvement chaotique). Une fois les trajectoires collectées, nous les organisons selon une structure de données hiérarchique et mettons en œuvre une approche Bayésienne non-paramétrique pour la découverte de comportements émergents au sein de la colonie d’insectes. L’analyse exploratoire des trajectoires issues de la scène encombrée s’effectue par classification non supervisée, simultanément sur des niveaux sémantiques différents, et où le nombre de clusters pour chaque niveau n’est pas défini a priori mais est estimé à partir des données. Cette approche est dans un premier temps validée à l’aide d’une pseudo-vérité terrain générée par un Système Multi-Agents, puis dans un deuxième temps appliquée sur des données réelles

Image Retrieval in Digital Libraries: A Large Scale Multicollection Experimentation of Machine Learning techniques

While historically digital heritage libraries were first powered in image mode, they quickly took advantage of OCR technology to index printed collections and consequently improve the scope and performance of the information retrieval services offered to users. But the access to iconographic resources has not progressed in the same way, and the latter remain in the shadows: manual incomplete and heterogeneous indexation, data silos by iconographic genre. Today, however, it would be possible to make better use of these resources, especially by exploiting the enormous volumes of OCR produced during the last two decades, and thus valorize these engravings, drawings, photographs, maps, etc. for their own value but also as an attractive entry point into the collections, supporting discovery and serenpidity from document to document and collection to collection. This article presents an ETL (extract-transform-load) approach to this need, that aims to: Identify and extract iconography wherever it may be found, in image collections but also in printed materials (dailies, magazines, monographies); Transform, harmonize and enrich the image descriptive metadata (in particular with machine learning classification tools); Load it all into a web app dedicated to image retrieval. The approach is pragmatically dual, since it involves leveraging existing digital resources and (virtually) on-the-shelf technologies.Si historiquement, les bibliothèques numériques patrimoniales furent d’abord alimentées par des images, elles profitèrent rapidement de la technologie OCR pour indexer les collections imprimées afin d’améliorer périmètre et performance du service de recherche d’information offert aux utilisateurs. Mais l’accès aux ressources iconographiques n’a pas connu les mêmes progrès et ces dernières demeurent dans l’ombre : indexation manuelle lacunaire, hétérogène et non viable à grande échelle ; silos documentaires par genre iconographique ; recherche par le contenu (CBIR, content-based image retrieval) encore peu opérationnelle sur les collections patrimoniales. Aujourd’hui, il serait pourtant possible de mieux valoriser ces ressources, en particulier en exploitant les énormes volumes d’OCR produits durant les deux dernières décennies (tant comme descripteur textuel que pour l’identification automatique des illustrations imprimées). Et ainsi mettre en valeur ces gravures, dessins, photographies, cartes, etc. pour leur valeur propre mais aussi comme point d’entrée dans les collections, en favorisant découverte et rebond de document en document, de collection à collection. Cet article décrit une approche ETL (extract-transform-load) appliquée aux images d’une bibliothèque numérique à vocation encyclopédique : identifier et extraire l’iconographie partout où elle se trouve (dans les collections image mais aussi dans les imprimés : presse, revue, monographie) ; transformer, harmoniser et enrichir ses métadonnées descriptives grâce à des techniques d’apprentissage machine – machine learning – pour la classification et l’indexation automatiques ; charger ces données dans une application web dédiée à la recherche iconographique (ou dans d’autres services de la bibliothèque). Approche qualifiée de pragmatique à double titre, puisqu’il s’agit de valoriser des ressources numériques existantes et de mettre à profit des technologies (quasiment) mâtures

Constraint satisfaction problem based on flow graph to study the resilience of inland navigation networks in a climate change context

The T-Ten European program aims at optimizing the transport logistics in Europe by promoting alternative transport modes. Navigation transport offers a competitive and environmentally friendly alternative. Hence, it is foresaw an increase of the navigation transport demand that it will be necessary to accommodate. This will be very challenging particularly in a global change context where less available water resource is expected. A constraint satisfaction problem based on flow graph is proposed in this paper to study the resilience of inland navigation networks against increase of the navigation demand and extreme events. Drought and flood scenarios are simulated considering an network composed of five interconnected navigation reaches. The results show that the designed tools are adapted to the resilience study of inland navigation networks

Intratumoral injection of holmium-166 microspheres as neoadjuvant therapy of soft tissue sarcomas in dogs

Introduction: Minimally invasive microbrachytherapy is in development to treat solid tumors by intratumoral injection of (radioactive) holmium-166 (166Ho) microspheres (MS). A high local dose can be administered with minimal damage to surrounding tissue because of the short soft tissue penetration depth of 166Ho beta radiation. We aimed to prospectively evaluate the safety and efficacy of 166Ho microbrachytherapy in client-owned canine patients with soft tissue sarcomas (STS). Methods: We included seven dogs with STS not suitable for local excision due to tumor size and/or location. 166HoMS were suspended in a carrier fluid and multiple needle-injections were performed in predetermined tumor segments to maximize tumor coverage. Tumor response was evaluated using 3D caliper and CT measurements. Follow-up further included monitoring for potential side effects and registration of subsequent treatments and survival, until at least two years after treatment. Results: Delivered radioactive doses ranged from 70 to 969 Gy resulting in a mean tumor volume reduction of 49.0 ± 21.3% after 33 ± 25 days. Treatment-related side effects consisted of local necrosis (n = 1) and ulceration of the skin covering the tumor (n = 1), which resolved with basic wound care, and surgical excision of residual tumor, respectively. Residual tumor was surgically resected in six patients after 22-93 days. After a mean follow-up of 1,005 days, four patients were alive, two patients were euthanized because of unrelated causes, and one patient was euthanized because of disease progression after the owner(s) declined subsequent surgical treatment. Conclusion: 166Ho microbrachytherapy was a safe and effective neoadjuvant treatment option for canine patients with STS

Neurosmart, une histoire de cerveau et de passionné·e·s de science

We propose a participatory science outreach approach allowing us to co-construct with our audiences resources aimed at understanding and demystifying the most disruptive results obtained regarding human brain by the conjunction of computer science, applied mathematics and neuroscience (computational neuroscience). The context is that of science and technology with a heavy societal impact, for which there is a strong need to allow everyone to build models of representation of these results and to forge an enlightened citizen's vision on these subjects.We rely here on our experience in sharing scientific culture on these subjects and our ability to create large diffusion content and resources, easy to appropriate and to operate.We propose to discover the models of the cerebral functions at the origin of our sensorimotor and vital cognitive behaviors (instinctive and motivated behavior, selection of embodied action, emotional decision-making or not, sites of self-awareness, etc. ) through :- a course of evolving content each time giving minimal key ideas on these subjects, also showing the simple use of mathematical concepts,- a Web-application (3D visualization of the brain in synergy with multi-media content and explanatory texts) with the possibility of interacting with the content. e.g., quizzes.The implementation is a free and open code, easily reusable by anyone with basic computing skills.This is also in itself a tool for learning the code, in addition to the acquisition of skills in integrative neuroscience, and it is a lever for co-creation.On propose la mise en place d’une démarche de médiation scientifique participative pour permettre de co-construire avec nos publics des ressources visant à comprendre et démystifier les résultats les plus disruptifs concernant le cerveau humain obtenus par la conjonction de l’informatique, mathématiques appliquées et des neurosciences (neurosciences computationnelles).Le contexte est celui de sciences et technologies à lourd impact sociétal avec un besoin fort de permettre à chacune et chacun de se construire des modèles de représentation de ces résultats et de se forger une vision citoyenne éclairée sur ces sujets. On s’appuie ici sur notre expérience en matière de partage de culture scientifique sur ces sujets et notre capacité à créer des contenus et des ressources, à forte diffusion, faciles à s’approprier et à faire fonctionner.On propose de découvrir les modèles des fonctions cérébrales à l’origine de nos comportements sensori-moteurs et cognitifs vitaux (comportement instinctif et motivé, sélection de l’action incarnée, prise de décision émotionnelle ou non, siège de la conscience de soi, …) à travers :- un parcours de contenus évolutifs donnant à chaque fois des idées clés minimales sur ces sujets, en montrant aussi l’utilisation simple de notions mathématiques, - une Web-application (visualisation 3D du cerveau en synergie avec des contenus multi-médias et des textes explicatifs) avec la possibilité d’interagir avec les contenus, par exemple un quiz.L’implémentation est un code libre et ouvert, facilement réutilisable par toute personne initiée à l’informatique.Cela constitue aussi en soi un outil d’apprentissage du code, en plus de l’acquisition de compétences en neuroscience intégrative, et c’est un levier de co-création

Full process of acquisition, multi-target tracking, behavioral modeling for naturally crowded environments : application to beehives monitoring

Ce manuscrit propose une approche méthodologique pour la constitution d’une chaîne complète de vidéosurveillance pour des environnements naturellement encombrés. Nous identifions et levons un certain nombre de verrous méthodologiques et technologiques inhérents : 1) à l’acquisition de séquences vidéo en milieu naturel, 2) au traitement d’images, 3) au suivi multi-cibles, 4) à la découverte et la modélisation de motifs comportementaux récurrents, et 5) à la fusion de données. Le contexte applicatif de nos travaux est la surveillance apicole, et en particulier, l’étude des trajectoires des abeilles en vol devant la ruche. De ce fait, cette thèse se présente également comme une étude de faisabilité et de prototypage dans le cadre des deux projets interdisciplinaires EPERAS et RISQAPI (projets menées en collaboration avec l’INRA Magneraud et le Muséum National d’Histoire Naturelle). Il s’agit pour nous informaticiens et pour les biologistes qui nous ont accompagnés, d’un domaine d’investigation totalement nouveau, pour lequel les connaissances métiers, généralement essentielles à ce genre d’applications, restent encore à définir. Contrairement aux approches existantes de suivi d’insectes, nous proposons de nous attaquer au problème dans l’espace à trois dimensions grâce à l’utilisation d’une caméra stéréovision haute fréquence. Dans ce contexte, nous détaillons notre nouvelle méthode de détection de cibles appelée segmentation HIDS. Concernant le calcul des trajectoires, nous explorons plusieurs approches de suivi de cibles, s’appuyant sur plus ou moins d’a priori, susceptibles de supporter les conditions extrêmes de l’application (e.g. cibles nombreuses, de petite taille, présentant un mouvement chaotique). Une fois les trajectoires collectées, nous les organisons selon une structure de données hiérarchique et mettons en œuvre une approche Bayésienne non-paramétrique pour la découverte de comportements émergents au sein de la colonie d’insectes. L’analyse exploratoire des trajectoires issues de la scène encombrée s’effectue par classification non supervisée, simultanément sur des niveaux sémantiques différents, et où le nombre de clusters pour chaque niveau n’est pas défini a priori mais est estimé à partir des données. Cette approche est dans un premier temps validée à l’aide d’une pseudo-vérité terrain générée par un Système Multi-Agents, puis dans un deuxième temps appliquée sur des données réelles.This manuscript provides the basis for a complete chain of videosurveillence for naturally cluttered environments. In the latter, we identify and solve the wide spectrum of methodological and technological barriers inherent to : 1) the acquisition of video sequences in natural conditions, 2) the image processing problems, 3) the multi-target tracking ambiguities, 4) the discovery and the modeling of recurring behavioral patterns, and 5) the data fusion. The application context of our work is the monitoring of honeybees, and in particular the study of the trajectories bees in flight in front of their hive. In fact, this thesis is part a feasibility and prototyping study carried by the two interdisciplinary projects EPERAS and RISQAPI (projects undertaken in collaboration with INRA institute and the French National Museum of Natural History). It is for us, computer scientists, and for biologists who accompanied us, a completely new area of investigation for which the scientific knowledge, usually essential for such applications, are still in their infancy. Unlike existing approaches for monitoring insects, we propose to tackle the problem in the three-dimensional space through the use of a high frequency stereo camera. In this context, we detail our new target detection method which we called HIDS segmentation. Concerning the computation of trajectories, we explored several tracking approaches, relying on more or less a priori, which are able to deal with the extreme conditions of the application (e.g. many targets, small in size, following chaotic movements). Once the trajectories are collected, we organize them according to a given hierarchical data structure and apply a Bayesian nonparametric approach for discovering emergent behaviors within the colony of insects. The exploratory analysis of the trajectories generated by the crowded scene is performed following an unsupervised classification method simultaneously over different levels of semantic, and where the number of clusters for each level is not defined a priori, but rather estimated from the data only. This approach is has been validated thanks to a ground truth generated by a Multi-Agent System. Then we tested it in the context of real data

La personnalité morale des sociétés depuis le XIXe siècle en France, en Allemagne et en Angleterre

Since the 19th Century in France, Germany and England the concept of a 'legal entity' has given rise to a polemic and dynamic discussion. Born in Germany, this discussion has subsequently been exported, firstly to France and then to England. There are companies and partnerships in France, Germany and England. Using comparative corporate law presentation for those three countries is still very interesting. In fact, each country uses different criteria in order to distinguish between a legal entity and a partnership. The dynamic of the effects of separate corporate personality in those three countries complicates the matter. Such a dynamic does not help to give a clear distinction between a corporate body and other bodies. However, the three Company Laws of France, Germany and England give two main ideas when we observe them for a long time. Firstly, the Statutes, the Case Law and the doctrine tried to have a clue for that distinction. Secondly, we may recognise a new type of entities named 'quasilegal entities' and knowed by third parties. The thesis divides in two main titles. The first title focuses on the constitution and the effects of a separate corporate personality in France, Germany and England. The second title concentrates on the limits between companies and partnerships in those countries.Depuis le XIXe siècle, la personnalité morale des sociétés en France, en Allemagne et en Angleterre est un thème polémique et dynamique. La polémique née en Allemagne a reçu des échos en France et en Angleterre. Il existe sur ces territoires des sociétés sans personnalité morale et d’autres dotées de celle-ci. Aujourd’hui, les droits français, allemand et anglais des sociétés nécessitent toujours d’être comparés entre eux. Toutefois, les différents droits n'utilisent pas les mêmes critères pour déterminer si une société doit bénéficier ou non de la personnalité morale. La dynamique exprimée dans l'existence des personnes morales sur ces territoires rend d’autant plus difficile aujourd'hui la détermination du critère adéquat. Simplement, en mettant en parallèle sur une longue période les trois droits, il semble qu’au moins deux tendances principales se dessinent en droit positif. D’une part, un dialogue permanent existe entre le législateur, la jurisprudence et la doctrine sur cette question. D’autre part, un nouveau type de sociétés révélé aux tiers appelé les « quasi-personnes morales » peut être mis en évidence. La thèse se découpe alors en deux grands titres. Il est étudié dans le premier titre la création et la vie de la personnalité morale des sociétés en France, en Allemagne et en Angleterre, puis, en second titre, les limites de la personnalité morale des sociétés dans ces mêmes territoires

Image Retrieval in Digital Libraries: A Large Scale Multicollection Experimentation of Machine Learning techniques

While historically digital heritage libraries were first powered in image mode, they quickly took advantage of OCR technology to index printed collections and consequently improve the scope and performance of the information retrieval services offered to users. But the access to iconographic resources has not progressed in the same way, and the latter remain in the shadows: manual incomplete and heterogeneous indexation, data silos by iconographic genre. Today, however, it would be possible to make better use of these resources, especially by exploiting the enormous volumes of OCR produced during the last two decades, and thus valorize these engravings, drawings, photographs, maps, etc. for their own value but also as an attractive entry point into the collections, supporting discovery and serenpidity from document to document and collection to collection. This article presents an ETL (extract-transform-load) approach to this need, that aims to: Identify and extract iconography wherever it may be found, in image collections but also in printed materials (dailies, magazines, monographies); Transform, harmonize and enrich the image descriptive metadata (in particular with machine learning classification tools); Load it all into a web app dedicated to image retrieval. The approach is pragmatically dual, since it involves leveraging existing digital resources and (virtually) on-the-shelf technologies.Si historiquement, les bibliothèques numériques patrimoniales furent d’abord alimentées par des images, elles profitèrent rapidement de la technologie OCR pour indexer les collections imprimées afin d’améliorer périmètre et performance du service de recherche d’information offert aux utilisateurs. Mais l’accès aux ressources iconographiques n’a pas connu les mêmes progrès et ces dernières demeurent dans l’ombre : indexation manuelle lacunaire, hétérogène et non viable à grande échelle ; silos documentaires par genre iconographique ; recherche par le contenu (CBIR, content-based image retrieval) encore peu opérationnelle sur les collections patrimoniales. Aujourd’hui, il serait pourtant possible de mieux valoriser ces ressources, en particulier en exploitant les énormes volumes d’OCR produits durant les deux dernières décennies (tant comme descripteur textuel que pour l’identification automatique des illustrations imprimées). Et ainsi mettre en valeur ces gravures, dessins, photographies, cartes, etc. pour leur valeur propre mais aussi comme point d’entrée dans les collections, en favorisant découverte et rebond de document en document, de collection à collection. Cet article décrit une approche ETL (extract-transform-load) appliquée aux images d’une bibliothèque numérique à vocation encyclopédique : identifier et extraire l’iconographie partout où elle se trouve (dans les collections image mais aussi dans les imprimés : presse, revue, monographie) ; transformer, harmoniser et enrichir ses métadonnées descriptives grâce à des techniques d’apprentissage machine – machine learning – pour la classification et l’indexation automatiques ; charger ces données dans une application web dédiée à la recherche iconographique (ou dans d’autres services de la bibliothèque). Approche qualifiée de pragmatique à double titre, puisqu’il s’agit de valoriser des ressources numériques existantes et de mettre à profit des technologies (quasiment) mâtures