African marine invertebrate data analysis and imaging: a dataset and digital platform for research, education and outreach

Tese de mestrado, Bioinformática e Biologia Computacional, Universidade de Lisboa, Faculdade de Ciências, 2019As espécies costeiras e marinhas e os seus respetivos habitats estão a ser adversamente perdidos ou danificados, reduzindo significativamente a biodiversidade marinha. Os invertebrados marinhos, incluindo crustáceos decápodes, constituem importantes fontes de alimento para as populações locais, especialmente para pessoas mais pobres, que dependem destes recursos para sustento e alimentação. Moçambique e São Tomé e Príncipe abrigam um grande número de espécies decápodes indígenas, que são usadas pelas populações locais para a sua subsistência e segurança alimentar. Existe uma grande quantidade de dados valiosos sobre a biodiversidade do mundo, armazenados em Coleções de História Natural, repositórios digitais, programas de vigilância climática, projetos de investigação e outros, que estão disponíveis para pesquisa. Em particular, as Coleções de História Natural albergam informação muito relevante para estudos de biodiversidade, incluindo séries espaciais e temporais, na medida em que são desenvolvidas desde o século XIX, e têm sido usadas em numerosos estudos, desde taxonómicos e sistemáticos até distribuição espacial e temporal e composição populacional. A quantidade de dados acessíveis online cresce diariamente e desta forma, métodos e técnicas das ciências da computação são essenciais para a gestão e análise dos mesmos. Os repositórios online são instrumentos úteis na pesquisa sobre biodiversidade, pois fornecem acesso rápido aos dados de enumeras coleções. Vários museus, organizações e universidades processam informações das suas coleções em diversas bases de dados digitais que disponibilizam em repositórios na internet. Um desses repositórios de dados e o Global Information Facility for Biodiversity (GBIF). O modelo de metadados Darwin Core (DwC), e usado pelo GBIF com o intuito de partilhar informação padronizada sobre biodiversidade, e desempenha um papel fundamental na interoperabilidade e integração destes dados. Esta dissertação faz parte do projeto COBIO-NET – Coastal biodiversity and food security in peri-urban Sub-Saharan Africa: assessment, capacity building and regional networking in contrasting Indian and Atlantic Ocean, financiado pela fundação FCT/AGA KHAN. O objetivo desta secção do projeto COBIO-NET é compilar conjuntos de dados de crustáceos decápodes, e informação associada, de Moçambique e São Tomé e Príncipe por meio da catalogação em um conjunto de dados e base de dados organizados em DwC, e torná-los acessíveis através de repositórios e de mapas interativos online. Neste contexto, o principal objetivo da dissertação foi a construção de um conjunto de dados e o uso de ferramentas digitais para compilar informações a fim de criar um conjunto de dados abrangente sobre crustáceos decápodes e respetivos habitats nas zonas costeiras de Moçambique e São Tomé e Príncipe. O trabalho foi repartido em 4 partes: 1) recolha de dados mundiais sobre biodiversidade em repositórios digitais globais relacionados com Coleções de História Natural, outros dados de biodiversidade e literatura científica para a construção de um conjunto de dados; 2) gestão e processamento de dados sobre biodiversidade a partir da compilação de estudos biológicos por meio de um sistema de gestão de bases de dados relacional (SGBDR) de código aberto; 3) armazenamento e representação de eventos e distribuição de dados geográficos na ferramenta de um sistema de informação geográfica de código aberto; 4) disseminação de dados online através da criação de um web map interativo usando uma biblioteca JavaScript de web mapping de código aberto. Nesta dissertação, a estrutura dos metadados e a base do projeto COBIO-NET, que será usada para armazenar os dados de invertebrados marinhos obtidos durante o projeto. O conjunto de dados piloto desenvolvido durante esta dissertação, apresenta um layout com 26 campos Darwin Core, e contém um conjunto de dados referente a 7486 ocorrências de crustáceos decápodes em mangais, pradarias marinhas, corais e outras áreas costeiras de Moçambique e São Tomé e Príncipe. Este modelo de metadados é adequado para a recolha de informação pré-estruturada de acordo com o formato de dados usado pelo GBIF. Ferramentas digitais tais como o software Open Refine e a linguagem de programação Python foram usadas para criar um conjunto de dados, através da compilação e limpeza de dados de ocorrências de biodiversidade obtidos a partir de repositórios digitais, dados obtidos diretamente de outras fontes e literatura científica, agregados em um conjunto de dados detalhado. De forma a poder realizar uma análise geográfica, é necessário que os dados incluam os locais de recolha na forma de coordenadas espaciais. Nos casos em que os registos obtidos não incluíam esta informação, a georreferenciação foi feita utilizando o software GEOLocate. A base de dados PostgreSQL construída durante este estudo e o suporte digital usado para gerir e processar informações sobre crustáceos decápodes de Moçambique e São Tomé e Príncipe. Os dados da base de dados podem ser filtrados por meio de consultas e a base de dados pode ser atualizada pelos investigadores do COBIO-NET com mais dados referentes a outros grupos taxonómicos de invertebrados marinhos. O QGIS foi o sistema de informação geográfica de código aberto utilizado para visualizar, processar e avaliar os dados e informações geográficas recolhidas. A avaliação geográfica, usando o QGIS, envolveu vários passos, como processamento de informações geográficas, mapeamento de diferentes habitats, combinação de camadas de informação e personalização da simbologia existente. O design do mapa QGIS foi projetado especificamente para o projeto COBIO-NET, oferecendo uma base para analisar informações sobre incidência e alocação de espécies. O projeto de mapeamento em QGIS permite a sua aplicação a outros conjuntos de dados mais amplos, incluindo informação sobre outros invertebrados marinhos. O plugin qgis2web para o QGIS foi utilizado para produzir um mapa interativo em JavaScript, tornado público na internet, personalizado através da biblioteca Leaflet que permite visualizar as ocorrências das espécies de crustáceos decápodes. O mapa fornece vários filtros para manipular os dados, permitindo a visualização de ocorrências de acordo com critérios específicos. Este mapa inclui 18 camadas que podem ser escolhidas ou não para filtrar as informações visualizadas, e são categorizadas em (1) ocorrência de espécies, (2) habitat, (3) áreas dos países e (4) zonas costeiras globais. Ao longo desta dissertação, foram usadas várias ferramentas e técnicas, que apresentaram vários desafios. A limpeza e validação de nomes científicos no conjunto de dados de biodiversidade foi um deles. O campo da taxonomia está em constante mudança, dificultando a compreensão de quais termos descritos correspondem ao nosso conhecimento contemporâneo de uma espécie em particular. As limitações também se estendem aos shapefiles de habitat usados neste estudo. A maioria dos conjuntos de dados possui cobertura global e foi compilada a partir de várias fontes de dados de qualidade e a escalas variadas para as quais a interpretação da imagem foi realizada. Outra limitação foi o mapa em JavaScript gerado com o plugin qgis2web no QGIS. Embora o plugin possa simular muitos elementos do QGIS, incluindo símbolos e estilos de camada, não consegue replicar aspetos mais complexos. Os dados recolhidos no conjunto de dados podem ser partilhados através de repositórios online, a fim de serem usados, por exemplo, em estudos de distribuição de espécies e avaliar a composição de comunidades ecológicas distintas, para estimar a probabilidade de extinção e preservação da biodiversidade. Outra aplicação deste trabalho é permitir a criação de uma coleção de dados de referência alargada a outros invertebrados marinhos de Moçambique e São Tomé e Príncipe, que seja disponibilizada a comunidade cientifica e ao público em geral de forma a dar a conhecer a biodiversidade e história natural destes países africanos. Uma das ideias do projeto COBIO-NET é gerir e centralizar todos os conjuntos de dados de biodiversidade produzidos durante o projeto e a documentação associada com recursos a ferramentas multimédia, num repositório digital. Este repositório será usado para disseminar as informações e dados reunidos para a comunidade científica e o público em geral. Portanto, o conjunto de dados, mapas QGIS e mapas interativos produzidos durante esta dissertação serão incluídos no repositório digital COBIONET para maior disseminação da informação a investigadores e sociedade em geral. Além disso, as características do conjunto de dados desenvolvido, que integra um conjunto de dados de biodiversidade de invertebrados marinhos estruturado em DwC, a base de dados, os mapas e o mapa online serão publicados em artigos científicos, data papers e repositórios digitais (GBIF e COBIO-NET) no âmbito do COBIO-NET, em colaboração com outros investigadores do projeto. Adicionalmente, ao serem disponibilizados ao público, estes dados e ferramentas digitais podem ser usados por outros utilizadores como ferramentas de ensino ou divulgação, para escrever livros, artigos científicos, folhetos de divulgação, etc. Os crustáceos decápodes são elementos relevantes da dieta e meios de subsistência das populações locais de Moçambique e São Tomé e Príncipe. Neste contexto, os resultados obtidos nesta dissertação são relevantes na medida em que podem ser usados para ligar o conhecimento destes recursos naturais ao seu valor gastronómico nestes dois países, bem como aos Objetivos de Desenvolvimento Sustentável (ODS) das Nações Unidas, a saber, o ODS #2 (Erradicar a fome), que visa acabar com a fome, alcançar a segurança a alimentar e melhorar a nutrição; e o ODS #14 (Proteger a vida marinha), que se refere a biodiversidade marinha e costeira, sua conservação e uso sustentável para um desenvolvimento sustentável da sociedade humana.The quantity of biological data accessible in online repositories is exponentially growing, thus computer science methods are required for its management and analysis. Online, digital repositories are useful instruments for biodiversity research, as they provide fast access to data from different sources. Among these, large contributors are museums that hold a vast quantity of specimens in their collections. This dissertation was developed as part of the COBIO-NET project, funded by FCT/AGA KHAN Foundation, and its goals were to create a comprehensive dataset on the marine coastal biodiversity of decapod crustaceans through different habitats in Mozambique and Sao Tome and Principe, and to use digital tools to disseminate the compiled information online, so that its available to the scientific community and the general public. These digital tools have been used to aggregate, georeference and clean up global biodiversity data retrieved from online digital repositories, biodiversity data and scientific literature into a detailed dataset; to manage and structure biodiversity data for the compilation of biological studies through a relational database management system; to manage and process data through, also to show the acquired spatial data in the geographic information system QGIS and an interactive web map. In this dissertation, a metadata structure was defined, which will be further used to store data collected during the COBIO-NET project. This metadata structure includes 26 fields defined by the Darwin Core metadata standard. A pilot dataset, based on this metadata structure was compiled, including 7486 decapod crustaceans occurrences records in Mozambique and Sao Tome and Principe. The database PostgreSQL constructed during this study is the digital support to manage and process information on decapod crustaceans from Mozambique and Sao Tome and Principe. The data from the database can be filtered through queries, and this database is ready to be updated by researchers enrolled in COBIO-NET with more data from different marine invertebrate taxonomic groups. The QGIS map design provides maps to visualize decapod crustacean occurrences, offering the foundation for the analysis of species incidence and allocation information. The map project is prepared in a way that it can be used to display information on larger datasets, including information on other marine taxonomic groups added during the COBIO-NET project. A web map was constructed using Leaflet and is an interactive digital platform, that allows the visualization of decapod crustacean occurrences through mangroves, seagrasses, corals and other coastal areas of Mozambique and Sao Tome and Principe. The web map provides distinct filters concentrations to manipulate the data, allowing visualization of occurrences events according with specific demands. A dataset of biodiversity data, representing occurrence records, was compiled and the digital tools developed during this study will be published and disseminated through online digital repositories, that can be used in future studies to model crustacean species allocation studies. To evaluate species communities in an effort to estimate their probability of extinction and to preserve biodiversity. These data as well as the digital tools, and their following publication further adds and promotes our current knowledge on biodiversity of marine crustaceans in mangroves, seagrasses, corals and other coastal areas of Mozambique and Sao Tome and Principe

Building Better Interfaces for Remote Autonomous Systems

This 'Open Access' SpringerBrief provides foundational knowledge for designing autonomous, asynchronous systems and explains aspects of users relevant to designing for these systems, introduces principles for user-centered design, and prepares readers for more advanced and specific readings. It provides context and the implications for design choices made during the design and development of the complex systems that are part of operation centers. As such, each chapter includes principles to summarize the design implication that engineers can use to inform their own design of interfaces for operation centers and similar systems. It includes example materials for the design of a fictitious system, which are referenced in the book and can be duplicated and extended for real systems. The design materials include a system overview, the system architecture, an example scenario, a stakeholder analysis, a task analysis, a description of the system and interface technology, and contextualized design guidelines. The guidelines can be specified because the user, the task, and the technology are well specified as an example. Building Better Interfaces for Remote Autonomous Systems is for working system engineers who are designing interfaces used in high throughput, high stake, operation centers (op centers) or control rooms, such as network operation centers (NOCs). Intended users will have a technical undergraduate degree (e.g., computer science) with little or no training in design, human sciences, or with human-centered iterative design methods and practices. Background research for the book was supplemented by interaction with the intended audience through a related project with L3Harris Technologies (formerly Harris Corporation)

Building Better Interfaces for Remote Autonomous Systems

This 'Open Access' SpringerBrief provides foundational knowledge for designing autonomous, asynchronous systems and explains aspects of users relevant to designing for these systems, introduces principles for user-centered design, and prepares readers for more advanced and specific readings. It provides context and the implications for design choices made during the design and development of the complex systems that are part of operation centers. As such, each chapter includes principles to summarize the design implication that engineers can use to inform their own design of interfaces for operation centers and similar systems. It includes example materials for the design of a fictitious system, which are referenced in the book and can be duplicated and extended for real systems. The design materials include a system overview, the system architecture, an example scenario, a stakeholder analysis, a task analysis, a description of the system and interface technology, and contextualized design guidelines. The guidelines can be specified because the user, the task, and the technology are well specified as an example. Building Better Interfaces for Remote Autonomous Systems is for working system engineers who are designing interfaces used in high throughput, high stake, operation centers (op centers) or control rooms, such as network operation centers (NOCs). Intended users will have a technical undergraduate degree (e.g., computer science) with little or no training in design, human sciences, or with human-centered iterative design methods and practices. Background research for the book was supplemented by interaction with the intended audience through a related project with L3Harris Technologies (formerly Harris Corporation)

Metafore mobilnih komunikacija ; Метафоры мобильной связи.

Mobilne komunikacije su polje informacione i komunikacione tehnologije koje karakteriše brzi razvoj i u kome se istraživanjem u analitičkim okvirima kognitivne lingvistike, zasnovanom na uzorku od 1005 odrednica, otkriva izrazito prisustvo metafore, metonimije, analogije i pojmovnog objedinjavanja. Analiza uzorka reči i izraza iz oblasti mobilnih medija, mobilnih operativnih sistema, dizajna korisničkih interfejsa, terminologije mobilnih mreža, kao i slenga i tekstizama koje upotrebljavaju korisnici mobilnih naprava ukazuje da pomenuti kognitivni mehanizmi imaju ključnu ulogu u olakšavanju interakcije između ljudi i širokog spektra mobilnih uređaja sa računarskim sposobnostima, od prenosivih računara i ličnih digitalnih asistenata (PDA), do mobilnih telefona, tableta i sprava koje se nose na telu. Ti mehanizmi predstavljaju temelj razumevanja i nalaze se u osnovi principa funkcionisanja grafičkih korisničkih interfejsa i direktne manipulacije u računarskim okruženjima. Takođe je analiziran i poseban uzorak od 660 emotikona i emođija koji pokazuju potencijal za proširenje značenja, imajući u vidu značaj piktograma za tekstualnu komunikaciju u vidu SMS poruka i razmenu tekstualnih sadržaja na društvenim mrežama kojima se redovno pristupa putem mobilnih uređaja...Mobile communications are a fast-developing field of information and communication technology whose exploration within the analytical framework of cognitive linguistics, based on a sample of 1005 entries, reveals the pervasive presence of metaphor, metonymy analogy and conceptual integration. The analysis of the sample consisting of words and phrases related to mobile media, mobile operating systems and interface design, the terminology of mobile networking, as well as the slang and textisms employed by mobile gadget users shows that the above cognitive mechanisms play a key role in facilitating interaction between people and a wide range of mobile computing devices from laptops and PDAs to mobile phones, tablets and wearables. They are the cornerstones of comprehension that are behind the principles of functioning of graphical user interfaces and direct manipulation in computing environments. A separate sample, featuring a selection of 660 emoticons and emoji, exhibiting the potential for semantic expansion was also analyzed, in view of the significance of pictograms for text-based communication in the form of text messages or exchanges on social media sites regularly accessed via mobile devices..

AdVersarial: Perceptual Ad Blocking meets Adversarial Machine Learning

Perceptual ad-blocking is a novel approach that detects online advertisements based on their visual content. Compared to traditional filter lists, the use of perceptual signals is believed to be less prone to an arms race with web publishers and ad networks. We demonstrate that this may not be the case. We describe attacks on multiple perceptual ad-blocking techniques, and unveil a new arms race that likely disfavors ad-blockers. Unexpectedly, perceptual ad-blocking can also introduce new vulnerabilities that let an attacker bypass web security boundaries and mount DDoS attacks. We first analyze the design space of perceptual ad-blockers and present a unified architecture that incorporates prior academic and commercial work. We then explore a variety of attacks on the ad-blocker's detection pipeline, that enable publishers or ad networks to evade or detect ad-blocking, and at times even abuse its high privilege level to bypass web security boundaries. On the one hand, we show that perceptual ad-blocking must visually classify rendered web content to escape an arms race centered on obfuscation of page markup. On the other, we present a concrete set of attacks on visual ad-blockers by constructing adversarial examples in a real web page context. For seven ad-detectors, we create perturbed ads, ad-disclosure logos, and native web content that misleads perceptual ad-blocking with 100% success rates. In one of our attacks, we demonstrate how a malicious user can upload adversarial content, such as a perturbed image in a Facebook post, that fools the ad-blocker into removing another users' non-ad content. Moving beyond the Web and visual domain, we also build adversarial examples for AdblockRadio, an open source radio client that uses machine learning to detects ads in raw audio streams

Mathematical Expression Recognition based on Probabilistic Grammars

[EN] Mathematical notation is well-known and used all over the world. Humankind has evolved from simple methods representing countings to current well-defined math notation able to account for complex problems. Furthermore, mathematical expressions constitute a universal language in scientific fields, and many information resources containing mathematics have been created during the last decades. However, in order to efficiently access all that information, scientific documents have to be digitized or produced directly in electronic formats. Although most people is able to understand and produce mathematical information, introducing math expressions into electronic devices requires learning specific notations or using editors. Automatic recognition of mathematical expressions aims at filling this gap between the knowledge of a person and the input accepted by computers. This way, printed documents containing math expressions could be automatically digitized, and handwriting could be used for direct input of math notation into electronic devices. This thesis is devoted to develop an approach for mathematical expression recognition. In this document we propose an approach for recognizing any type of mathematical expression (printed or handwritten) based on probabilistic grammars. In order to do so, we develop the formal statistical framework such that derives several probability distributions. Along the document, we deal with the definition and estimation of all these probabilistic sources of information. Finally, we define the parsing algorithm that globally computes the most probable mathematical expression for a given input according to the statistical framework. An important point in this study is to provide objective performance evaluation and report results using public data and standard metrics. We inspected the problems of automatic evaluation in this field and looked for the best solutions. We also report several experiments using public databases and we participated in several international competitions. Furthermore, we have released most of the software developed in this thesis as open source. We also explore some of the applications of mathematical expression recognition. In addition to the direct applications of transcription and digitization, we report two important proposals. First, we developed mucaptcha, a method to tell humans and computers apart by means of math handwriting input, which represents a novel application of math expression recognition. Second, we tackled the problem of layout analysis of structured documents using the statistical framework developed in this thesis, because both are two-dimensional problems that can be modeled with probabilistic grammars. The approach developed in this thesis for mathematical expression recognition has obtained good results at different levels. It has produced several scientific publications in international conferences and journals, and has been awarded in international competitions.[ES] La notación matemática es bien conocida y se utiliza en todo el mundo. La humanidad ha evolucionado desde simples métodos para representar cuentas hasta la notación formal actual capaz de modelar problemas complejos. Además, las expresiones matemáticas constituyen un idioma universal en el mundo científico, y se han creado muchos recursos que contienen matemáticas durante las últimas décadas. Sin embargo, para acceder de forma eficiente a toda esa información, los documentos científicos han de ser digitalizados o producidos directamente en formatos electrónicos. Aunque la mayoría de personas es capaz de entender y producir información matemática, introducir expresiones matemáticas en dispositivos electrónicos requiere aprender notaciones especiales o usar editores. El reconocimiento automático de expresiones matemáticas tiene como objetivo llenar ese espacio existente entre el conocimiento de una persona y la entrada que aceptan los ordenadores. De este modo, documentos impresos que contienen fórmulas podrían digitalizarse automáticamente, y la escritura se podría utilizar para introducir directamente notación matemática en dispositivos electrónicos. Esta tesis está centrada en desarrollar un método para reconocer expresiones matemáticas. En este documento proponemos un método para reconocer cualquier tipo de fórmula (impresa o manuscrita) basado en gramáticas probabilísticas. Para ello, desarrollamos el marco estadístico formal que deriva varias distribuciones de probabilidad. A lo largo del documento, abordamos la definición y estimación de todas estas fuentes de información probabilística. Finalmente, definimos el algoritmo que, dada cierta entrada, calcula globalmente la expresión matemática más probable de acuerdo al marco estadístico. Un aspecto importante de este trabajo es proporcionar una evaluación objetiva de los resultados y presentarlos usando datos públicos y medidas estándar. Por ello, estudiamos los problemas de la evaluación automática en este campo y buscamos las mejores soluciones. Asimismo, presentamos diversos experimentos usando bases de datos públicas y hemos participado en varias competiciones internacionales. Además, hemos publicado como código abierto la mayoría del software desarrollado en esta tesis. También hemos explorado algunas de las aplicaciones del reconocimiento de expresiones matemáticas. Además de las aplicaciones directas de transcripción y digitalización, presentamos dos propuestas importantes. En primer lugar, desarrollamos mucaptcha, un método para discriminar entre humanos y ordenadores mediante la escritura de expresiones matemáticas, el cual representa una novedosa aplicación del reconocimiento de fórmulas. En segundo lugar, abordamos el problema de detectar y segmentar la estructura de documentos utilizando el marco estadístico formal desarrollado en esta tesis, dado que ambos son problemas bidimensionales que pueden modelarse con gramáticas probabilísticas. El método desarrollado en esta tesis para reconocer expresiones matemáticas ha obtenido buenos resultados a diferentes niveles. Este trabajo ha producido varias publicaciones en conferencias internacionales y revistas, y ha sido premiado en competiciones internacionales.[CA] La notació matemàtica és ben coneguda i s'utilitza a tot el món. La humanitat ha evolucionat des de simples mètodes per representar comptes fins a la notació formal actual capaç de modelar problemes complexos. A més, les expressions matemàtiques constitueixen un idioma universal al món científic, i s'han creat molts recursos que contenen matemàtiques durant les últimes dècades. No obstant això, per accedir de forma eficient a tota aquesta informació, els documents científics han de ser digitalitzats o produïts directament en formats electrònics. Encara que la majoria de persones és capaç d'entendre i produir informació matemàtica, introduir expressions matemàtiques en dispositius electrònics requereix aprendre notacions especials o usar editors. El reconeixement automàtic d'expressions matemàtiques té per objectiu omplir aquest espai existent entre el coneixement d'una persona i l'entrada que accepten els ordinadors. D'aquesta manera, documents impresos que contenen fórmules podrien digitalitzar-se automàticament, i l'escriptura es podria utilitzar per introduir directament notació matemàtica en dispositius electrònics. Aquesta tesi està centrada en desenvolupar un mètode per reconèixer expressions matemàtiques. En aquest document proposem un mètode per reconèixer qualsevol tipus de fórmula (impresa o manuscrita) basat en gramàtiques probabilístiques. Amb aquesta finalitat, desenvolupem el marc estadístic formal que deriva diverses distribucions de probabilitat. Al llarg del document, abordem la definició i estimació de totes aquestes fonts d'informació probabilística. Finalment, definim l'algorisme que, donada certa entrada, calcula globalment l'expressió matemàtica més probable d'acord al marc estadístic. Un aspecte important d'aquest treball és proporcionar una avaluació objectiva dels resultats i presentar-los usant dades públiques i mesures estàndard. Per això, estudiem els problemes de l'avaluació automàtica en aquest camp i busquem les millors solucions. Així mateix, presentem diversos experiments usant bases de dades públiques i hem participat en diverses competicions internacionals. A més, hem publicat com a codi obert la majoria del software desenvolupat en aquesta tesi. També hem explorat algunes de les aplicacions del reconeixement d'expressions matemàtiques. A més de les aplicacions directes de transcripció i digitalització, presentem dues propostes importants. En primer lloc, desenvolupem mucaptcha, un mètode per discriminar entre humans i ordinadors mitjançant l'escriptura d'expressions matemàtiques, el qual representa una nova aplicació del reconeixement de fórmules. En segon lloc, abordem el problema de detectar i segmentar l'estructura de documents utilitzant el marc estadístic formal desenvolupat en aquesta tesi, donat que ambdós són problemes bidimensionals que poden modelar-se amb gramàtiques probabilístiques. El mètode desenvolupat en aquesta tesi per reconèixer expressions matemàtiques ha obtingut bons resultats a diferents nivells. Aquest treball ha produït diverses publicacions en conferències internacionals i revistes, i ha sigut premiat en competicions internacionals.Álvaro Muñoz, F. (2015). Mathematical Expression Recognition based on Probabilistic Grammars [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/51665TESI

Design and Development of Sensor Integrated Robotic Hand

Most of the automated systems using robots as agents do use few sensors according to the need. However, there are situations where the tasks carried out by the end-effector, or for that matter by the robot hand needs multiple sensors. The hand, to make the best use of these sensors, and behave autonomously, requires a set of appropriate types of sensors which could be integrated in proper manners. The present research work aims at developing a sensor integrated robot hand that can collect information related to the assigned tasks, assimilate there correctly and then do task action as appropriate. The process of development involves selection of sensors of right types and of right specification, locating then at proper places in the hand, checking their functionality individually and calibrating them for the envisaged process. Since the sensors need to be integrated so that they perform in the desired manner collectively, an integration platform is created using NI PXIe-1082. A set of algorithm is developed for achieving the integrated model. The entire process is first modelled and simulated off line for possible modification in order to ensure that all the sensors do contribute towards the autonomy of the hand for desired activity. This work also involves design of a two-fingered gripper. The design is made in such a way that it is capable of carrying out the desired tasks and can accommodate all the sensors within its fold. The developed sensor integrated hand has been put to work and its performance test has been carried out. This hand can be very useful for part assembly work in industries for any shape of part with a limit on the size of the part in mind. The broad aim is to design, model simulate and develop an advanced robotic hand. Sensors for pick up contacts pressure, force, torque, position, surface profile shape using suitable sensing elements in a robot hand are to be introduced. The hand is a complex structure with large number of degrees of freedom and has multiple sensing capabilities apart from the associated sensing assistance from other organs. The present work is envisaged to add multiple sensors to a two-fingered robotic hand having motion capabilities and constraints similar to the human hand. There has been a good amount of research and development in this field during the last two decades a lot remains to be explored and achieved. The objective of the proposed work is to design, simulate and develop a sensor integrated robotic hand. Its potential applications can be proposed for industrial environments and in healthcare field. The industrial applications include electronic assembly tasks, lighter inspection tasks, etc. Application in healthcare could be in the areas of rehabilitation and assistive techniques. The work also aims to establish the requirement of the robotic hand for the target application areas, to identify the suitable kinds and model of sensors that can be integrated on hand control system. Functioning of motors in the robotic hand and integration of appropriate sensors for the desired motion is explained for the control of the various elements of the hand. Additional sensors, capable of collecting external information and information about the object for manipulation is explored. Processes are designed using various software and hardware tools such as mathematical computation MATLAB, OpenCV library and LabVIEW 2013 DAQ system as applicable, validated theoretically and finally implemented to develop an intelligent robotic hand. The multiple smart sensors are installed on a standard six degree-of-freedom industrial robot KAWASAKI RS06L articulated manipulator, with the two-finger pneumatic SHUNK robotic hand or designed prototype and robot control programs are integrated in such a manner that allows easy application of grasping in an industrial pick-and-place operation where the characteristics of the object can vary or are unknown. The effectiveness of the actual recommended structure is usually proven simply by experiments using calibration involving sensors and manipulator. The dissertation concludes with a summary of the contribution and the scope of further work