African marine invertebrate data analysis and imaging: a dataset and digital platform for research, education and outreach

Tese de mestrado, Bioinformática e Biologia Computacional, Universidade de Lisboa, Faculdade de Ciências, 2019As espécies costeiras e marinhas e os seus respetivos habitats estão a ser adversamente perdidos ou danificados, reduzindo significativamente a biodiversidade marinha. Os invertebrados marinhos, incluindo crustáceos decápodes, constituem importantes fontes de alimento para as populações locais, especialmente para pessoas mais pobres, que dependem destes recursos para sustento e alimentação. Moçambique e São Tomé e Príncipe abrigam um grande número de espécies decápodes indígenas, que são usadas pelas populações locais para a sua subsistência e segurança alimentar. Existe uma grande quantidade de dados valiosos sobre a biodiversidade do mundo, armazenados em Coleções de História Natural, repositórios digitais, programas de vigilância climática, projetos de investigação e outros, que estão disponíveis para pesquisa. Em particular, as Coleções de História Natural albergam informação muito relevante para estudos de biodiversidade, incluindo séries espaciais e temporais, na medida em que são desenvolvidas desde o século XIX, e têm sido usadas em numerosos estudos, desde taxonómicos e sistemáticos até distribuição espacial e temporal e composição populacional. A quantidade de dados acessíveis online cresce diariamente e desta forma, métodos e técnicas das ciências da computação são essenciais para a gestão e análise dos mesmos. Os repositórios online são instrumentos úteis na pesquisa sobre biodiversidade, pois fornecem acesso rápido aos dados de enumeras coleções. Vários museus, organizações e universidades processam informações das suas coleções em diversas bases de dados digitais que disponibilizam em repositórios na internet. Um desses repositórios de dados e o Global Information Facility for Biodiversity (GBIF). O modelo de metadados Darwin Core (DwC), e usado pelo GBIF com o intuito de partilhar informação padronizada sobre biodiversidade, e desempenha um papel fundamental na interoperabilidade e integração destes dados. Esta dissertação faz parte do projeto COBIO-NET – Coastal biodiversity and food security in peri-urban Sub-Saharan Africa: assessment, capacity building and regional networking in contrasting Indian and Atlantic Ocean, financiado pela fundação FCT/AGA KHAN. O objetivo desta secção do projeto COBIO-NET é compilar conjuntos de dados de crustáceos decápodes, e informação associada, de Moçambique e São Tomé e Príncipe por meio da catalogação em um conjunto de dados e base de dados organizados em DwC, e torná-los acessíveis através de repositórios e de mapas interativos online. Neste contexto, o principal objetivo da dissertação foi a construção de um conjunto de dados e o uso de ferramentas digitais para compilar informações a fim de criar um conjunto de dados abrangente sobre crustáceos decápodes e respetivos habitats nas zonas costeiras de Moçambique e São Tomé e Príncipe. O trabalho foi repartido em 4 partes: 1) recolha de dados mundiais sobre biodiversidade em repositórios digitais globais relacionados com Coleções de História Natural, outros dados de biodiversidade e literatura científica para a construção de um conjunto de dados; 2) gestão e processamento de dados sobre biodiversidade a partir da compilação de estudos biológicos por meio de um sistema de gestão de bases de dados relacional (SGBDR) de código aberto; 3) armazenamento e representação de eventos e distribuição de dados geográficos na ferramenta de um sistema de informação geográfica de código aberto; 4) disseminação de dados online através da criação de um web map interativo usando uma biblioteca JavaScript de web mapping de código aberto. Nesta dissertação, a estrutura dos metadados e a base do projeto COBIO-NET, que será usada para armazenar os dados de invertebrados marinhos obtidos durante o projeto. O conjunto de dados piloto desenvolvido durante esta dissertação, apresenta um layout com 26 campos Darwin Core, e contém um conjunto de dados referente a 7486 ocorrências de crustáceos decápodes em mangais, pradarias marinhas, corais e outras áreas costeiras de Moçambique e São Tomé e Príncipe. Este modelo de metadados é adequado para a recolha de informação pré-estruturada de acordo com o formato de dados usado pelo GBIF. Ferramentas digitais tais como o software Open Refine e a linguagem de programação Python foram usadas para criar um conjunto de dados, através da compilação e limpeza de dados de ocorrências de biodiversidade obtidos a partir de repositórios digitais, dados obtidos diretamente de outras fontes e literatura científica, agregados em um conjunto de dados detalhado. De forma a poder realizar uma análise geográfica, é necessário que os dados incluam os locais de recolha na forma de coordenadas espaciais. Nos casos em que os registos obtidos não incluíam esta informação, a georreferenciação foi feita utilizando o software GEOLocate. A base de dados PostgreSQL construída durante este estudo e o suporte digital usado para gerir e processar informações sobre crustáceos decápodes de Moçambique e São Tomé e Príncipe. Os dados da base de dados podem ser filtrados por meio de consultas e a base de dados pode ser atualizada pelos investigadores do COBIO-NET com mais dados referentes a outros grupos taxonómicos de invertebrados marinhos. O QGIS foi o sistema de informação geográfica de código aberto utilizado para visualizar, processar e avaliar os dados e informações geográficas recolhidas. A avaliação geográfica, usando o QGIS, envolveu vários passos, como processamento de informações geográficas, mapeamento de diferentes habitats, combinação de camadas de informação e personalização da simbologia existente. O design do mapa QGIS foi projetado especificamente para o projeto COBIO-NET, oferecendo uma base para analisar informações sobre incidência e alocação de espécies. O projeto de mapeamento em QGIS permite a sua aplicação a outros conjuntos de dados mais amplos, incluindo informação sobre outros invertebrados marinhos. O plugin qgis2web para o QGIS foi utilizado para produzir um mapa interativo em JavaScript, tornado público na internet, personalizado através da biblioteca Leaflet que permite visualizar as ocorrências das espécies de crustáceos decápodes. O mapa fornece vários filtros para manipular os dados, permitindo a visualização de ocorrências de acordo com critérios específicos. Este mapa inclui 18 camadas que podem ser escolhidas ou não para filtrar as informações visualizadas, e são categorizadas em (1) ocorrência de espécies, (2) habitat, (3) áreas dos países e (4) zonas costeiras globais. Ao longo desta dissertação, foram usadas várias ferramentas e técnicas, que apresentaram vários desafios. A limpeza e validação de nomes científicos no conjunto de dados de biodiversidade foi um deles. O campo da taxonomia está em constante mudança, dificultando a compreensão de quais termos descritos correspondem ao nosso conhecimento contemporâneo de uma espécie em particular. As limitações também se estendem aos shapefiles de habitat usados neste estudo. A maioria dos conjuntos de dados possui cobertura global e foi compilada a partir de várias fontes de dados de qualidade e a escalas variadas para as quais a interpretação da imagem foi realizada. Outra limitação foi o mapa em JavaScript gerado com o plugin qgis2web no QGIS. Embora o plugin possa simular muitos elementos do QGIS, incluindo símbolos e estilos de camada, não consegue replicar aspetos mais complexos. Os dados recolhidos no conjunto de dados podem ser partilhados através de repositórios online, a fim de serem usados, por exemplo, em estudos de distribuição de espécies e avaliar a composição de comunidades ecológicas distintas, para estimar a probabilidade de extinção e preservação da biodiversidade. Outra aplicação deste trabalho é permitir a criação de uma coleção de dados de referência alargada a outros invertebrados marinhos de Moçambique e São Tomé e Príncipe, que seja disponibilizada a comunidade cientifica e ao público em geral de forma a dar a conhecer a biodiversidade e história natural destes países africanos. Uma das ideias do projeto COBIO-NET é gerir e centralizar todos os conjuntos de dados de biodiversidade produzidos durante o projeto e a documentação associada com recursos a ferramentas multimédia, num repositório digital. Este repositório será usado para disseminar as informações e dados reunidos para a comunidade científica e o público em geral. Portanto, o conjunto de dados, mapas QGIS e mapas interativos produzidos durante esta dissertação serão incluídos no repositório digital COBIONET para maior disseminação da informação a investigadores e sociedade em geral. Além disso, as características do conjunto de dados desenvolvido, que integra um conjunto de dados de biodiversidade de invertebrados marinhos estruturado em DwC, a base de dados, os mapas e o mapa online serão publicados em artigos científicos, data papers e repositórios digitais (GBIF e COBIO-NET) no âmbito do COBIO-NET, em colaboração com outros investigadores do projeto. Adicionalmente, ao serem disponibilizados ao público, estes dados e ferramentas digitais podem ser usados por outros utilizadores como ferramentas de ensino ou divulgação, para escrever livros, artigos científicos, folhetos de divulgação, etc. Os crustáceos decápodes são elementos relevantes da dieta e meios de subsistência das populações locais de Moçambique e São Tomé e Príncipe. Neste contexto, os resultados obtidos nesta dissertação são relevantes na medida em que podem ser usados para ligar o conhecimento destes recursos naturais ao seu valor gastronómico nestes dois países, bem como aos Objetivos de Desenvolvimento Sustentável (ODS) das Nações Unidas, a saber, o ODS #2 (Erradicar a fome), que visa acabar com a fome, alcançar a segurança a alimentar e melhorar a nutrição; e o ODS #14 (Proteger a vida marinha), que se refere a biodiversidade marinha e costeira, sua conservação e uso sustentável para um desenvolvimento sustentável da sociedade humana.The quantity of biological data accessible in online repositories is exponentially growing, thus computer science methods are required for its management and analysis. Online, digital repositories are useful instruments for biodiversity research, as they provide fast access to data from different sources. Among these, large contributors are museums that hold a vast quantity of specimens in their collections. This dissertation was developed as part of the COBIO-NET project, funded by FCT/AGA KHAN Foundation, and its goals were to create a comprehensive dataset on the marine coastal biodiversity of decapod crustaceans through different habitats in Mozambique and Sao Tome and Principe, and to use digital tools to disseminate the compiled information online, so that its available to the scientific community and the general public. These digital tools have been used to aggregate, georeference and clean up global biodiversity data retrieved from online digital repositories, biodiversity data and scientific literature into a detailed dataset; to manage and structure biodiversity data for the compilation of biological studies through a relational database management system; to manage and process data through, also to show the acquired spatial data in the geographic information system QGIS and an interactive web map. In this dissertation, a metadata structure was defined, which will be further used to store data collected during the COBIO-NET project. This metadata structure includes 26 fields defined by the Darwin Core metadata standard. A pilot dataset, based on this metadata structure was compiled, including 7486 decapod crustaceans occurrences records in Mozambique and Sao Tome and Principe. The database PostgreSQL constructed during this study is the digital support to manage and process information on decapod crustaceans from Mozambique and Sao Tome and Principe. The data from the database can be filtered through queries, and this database is ready to be updated by researchers enrolled in COBIO-NET with more data from different marine invertebrate taxonomic groups. The QGIS map design provides maps to visualize decapod crustacean occurrences, offering the foundation for the analysis of species incidence and allocation information. The map project is prepared in a way that it can be used to display information on larger datasets, including information on other marine taxonomic groups added during the COBIO-NET project. A web map was constructed using Leaflet and is an interactive digital platform, that allows the visualization of decapod crustacean occurrences through mangroves, seagrasses, corals and other coastal areas of Mozambique and Sao Tome and Principe. The web map provides distinct filters concentrations to manipulate the data, allowing visualization of occurrences events according with specific demands. A dataset of biodiversity data, representing occurrence records, was compiled and the digital tools developed during this study will be published and disseminated through online digital repositories, that can be used in future studies to model crustacean species allocation studies. To evaluate species communities in an effort to estimate their probability of extinction and to preserve biodiversity. These data as well as the digital tools, and their following publication further adds and promotes our current knowledge on biodiversity of marine crustaceans in mangroves, seagrasses, corals and other coastal areas of Mozambique and Sao Tome and Principe

African marine invertebrate data analysis and imaging: a dataset and digital platform for research, education and outreach

Tese de mestrado, Bioinformática e Biologia Computacional, Universidade de Lisboa, Faculdade de Ciências, 2019As espécies costeiras e marinhas e os seus respetivos habitats estão a ser adversamente perdidos ou danificados, reduzindo significativamente a biodiversidade marinha. Os invertebrados marinhos, incluindo crustáceos decápodes, constituem importantes fontes de alimento para as populações locais, especialmente para pessoas mais pobres, que dependem destes recursos para sustento e alimentação. Moçambique e São Tomé e Príncipe abrigam um grande número de espécies decápodes indígenas, que são usadas pelas populações locais para a sua subsistência e segurança alimentar. Existe uma grande quantidade de dados valiosos sobre a biodiversidade do mundo, armazenados em Coleções de História Natural, repositórios digitais, programas de vigilância climática, projetos de investigação e outros, que estão disponíveis para pesquisa. Em particular, as Coleções de História Natural albergam informação muito relevante para estudos de biodiversidade, incluindo séries espaciais e temporais, na medida em que são desenvolvidas desde o século XIX, e têm sido usadas em numerosos estudos, desde taxonómicos e sistemáticos até distribuição espacial e temporal e composição populacional. A quantidade de dados acessíveis online cresce diariamente e desta forma, métodos e técnicas das ciências da computação são essenciais para a gestão e análise dos mesmos. Os repositórios online são instrumentos úteis na pesquisa sobre biodiversidade, pois fornecem acesso rápido aos dados de enumeras coleções. Vários museus, organizações e universidades processam informações das suas coleções em diversas bases de dados digitais que disponibilizam em repositórios na internet. Um desses repositórios de dados e o Global Information Facility for Biodiversity (GBIF). O modelo de metadados Darwin Core (DwC), e usado pelo GBIF com o intuito de partilhar informação padronizada sobre biodiversidade, e desempenha um papel fundamental na interoperabilidade e integração destes dados. Esta dissertação faz parte do projeto COBIO-NET – Coastal biodiversity and food security in peri-urban Sub-Saharan Africa: assessment, capacity building and regional networking in contrasting Indian and Atlantic Ocean, financiado pela fundação FCT/AGA KHAN. O objetivo desta secção do projeto COBIO-NET é compilar conjuntos de dados de crustáceos decápodes, e informação associada, de Moçambique e São Tomé e Príncipe por meio da catalogação em um conjunto de dados e base de dados organizados em DwC, e torná-los acessíveis através de repositórios e de mapas interativos online. Neste contexto, o principal objetivo da dissertação foi a construção de um conjunto de dados e o uso de ferramentas digitais para compilar informações a fim de criar um conjunto de dados abrangente sobre crustáceos decápodes e respetivos habitats nas zonas costeiras de Moçambique e São Tomé e Príncipe. O trabalho foi repartido em 4 partes: 1) recolha de dados mundiais sobre biodiversidade em repositórios digitais globais relacionados com Coleções de História Natural, outros dados de biodiversidade e literatura científica para a construção de um conjunto de dados; 2) gestão e processamento de dados sobre biodiversidade a partir da compilação de estudos biológicos por meio de um sistema de gestão de bases de dados relacional (SGBDR) de código aberto; 3) armazenamento e representação de eventos e distribuição de dados geográficos na ferramenta de um sistema de informação geográfica de código aberto; 4) disseminação de dados online através da criação de um web map interativo usando uma biblioteca JavaScript de web mapping de código aberto. Nesta dissertação, a estrutura dos metadados e a base do projeto COBIO-NET, que será usada para armazenar os dados de invertebrados marinhos obtidos durante o projeto. O conjunto de dados piloto desenvolvido durante esta dissertação, apresenta um layout com 26 campos Darwin Core, e contém um conjunto de dados referente a 7486 ocorrências de crustáceos decápodes em mangais, pradarias marinhas, corais e outras áreas costeiras de Moçambique e São Tomé e Príncipe. Este modelo de metadados é adequado para a recolha de informação pré-estruturada de acordo com o formato de dados usado pelo GBIF. Ferramentas digitais tais como o software Open Refine e a linguagem de programação Python foram usadas para criar um conjunto de dados, através da compilação e limpeza de dados de ocorrências de biodiversidade obtidos a partir de repositórios digitais, dados obtidos diretamente de outras fontes e literatura científica, agregados em um conjunto de dados detalhado. De forma a poder realizar uma análise geográfica, é necessário que os dados incluam os locais de recolha na forma de coordenadas espaciais. Nos casos em que os registos obtidos não incluíam esta informação, a georreferenciação foi feita utilizando o software GEOLocate. A base de dados PostgreSQL construída durante este estudo e o suporte digital usado para gerir e processar informações sobre crustáceos decápodes de Moçambique e São Tomé e Príncipe. Os dados da base de dados podem ser filtrados por meio de consultas e a base de dados pode ser atualizada pelos investigadores do COBIO-NET com mais dados referentes a outros grupos taxonómicos de invertebrados marinhos. O QGIS foi o sistema de informação geográfica de código aberto utilizado para visualizar, processar e avaliar os dados e informações geográficas recolhidas. A avaliação geográfica, usando o QGIS, envolveu vários passos, como processamento de informações geográficas, mapeamento de diferentes habitats, combinação de camadas de informação e personalização da simbologia existente. O design do mapa QGIS foi projetado especificamente para o projeto COBIO-NET, oferecendo uma base para analisar informações sobre incidência e alocação de espécies. O projeto de mapeamento em QGIS permite a sua aplicação a outros conjuntos de dados mais amplos, incluindo informação sobre outros invertebrados marinhos. O plugin qgis2web para o QGIS foi utilizado para produzir um mapa interativo em JavaScript, tornado público na internet, personalizado através da biblioteca Leaflet que permite visualizar as ocorrências das espécies de crustáceos decápodes. O mapa fornece vários filtros para manipular os dados, permitindo a visualização de ocorrências de acordo com critérios específicos. Este mapa inclui 18 camadas que podem ser escolhidas ou não para filtrar as informações visualizadas, e são categorizadas em (1) ocorrência de espécies, (2) habitat, (3) áreas dos países e (4) zonas costeiras globais. Ao longo desta dissertação, foram usadas várias ferramentas e técnicas, que apresentaram vários desafios. A limpeza e validação de nomes científicos no conjunto de dados de biodiversidade foi um deles. O campo da taxonomia está em constante mudança, dificultando a compreensão de quais termos descritos correspondem ao nosso conhecimento contemporâneo de uma espécie em particular. As limitações também se estendem aos shapefiles de habitat usados neste estudo. A maioria dos conjuntos de dados possui cobertura global e foi compilada a partir de várias fontes de dados de qualidade e a escalas variadas para as quais a interpretação da imagem foi realizada. Outra limitação foi o mapa em JavaScript gerado com o plugin qgis2web no QGIS. Embora o plugin possa simular muitos elementos do QGIS, incluindo símbolos e estilos de camada, não consegue replicar aspetos mais complexos. Os dados recolhidos no conjunto de dados podem ser partilhados através de repositórios online, a fim de serem usados, por exemplo, em estudos de distribuição de espécies e avaliar a composição de comunidades ecológicas distintas, para estimar a probabilidade de extinção e preservação da biodiversidade. Outra aplicação deste trabalho é permitir a criação de uma coleção de dados de referência alargada a outros invertebrados marinhos de Moçambique e São Tomé e Príncipe, que seja disponibilizada a comunidade cientifica e ao público em geral de forma a dar a conhecer a biodiversidade e história natural destes países africanos. Uma das ideias do projeto COBIO-NET é gerir e centralizar todos os conjuntos de dados de biodiversidade produzidos durante o projeto e a documentação associada com recursos a ferramentas multimédia, num repositório digital. Este repositório será usado para disseminar as informações e dados reunidos para a comunidade científica e o público em geral. Portanto, o conjunto de dados, mapas QGIS e mapas interativos produzidos durante esta dissertação serão incluídos no repositório digital COBIONET para maior disseminação da informação a investigadores e sociedade em geral. Além disso, as características do conjunto de dados desenvolvido, que integra um conjunto de dados de biodiversidade de invertebrados marinhos estruturado em DwC, a base de dados, os mapas e o mapa online serão publicados em artigos científicos, data papers e repositórios digitais (GBIF e COBIO-NET) no âmbito do COBIO-NET, em colaboração com outros investigadores do projeto. Adicionalmente, ao serem disponibilizados ao público, estes dados e ferramentas digitais podem ser usados por outros utilizadores como ferramentas de ensino ou divulgação, para escrever livros, artigos científicos, folhetos de divulgação, etc. Os crustáceos decápodes são elementos relevantes da dieta e meios de subsistência das populações locais de Moçambique e São Tomé e Príncipe. Neste contexto, os resultados obtidos nesta dissertação são relevantes na medida em que podem ser usados para ligar o conhecimento destes recursos naturais ao seu valor gastronómico nestes dois países, bem como aos Objetivos de Desenvolvimento Sustentável (ODS) das Nações Unidas, a saber, o ODS #2 (Erradicar a fome), que visa acabar com a fome, alcançar a segurança a alimentar e melhorar a nutrição; e o ODS #14 (Proteger a vida marinha), que se refere a biodiversidade marinha e costeira, sua conservação e uso sustentável para um desenvolvimento sustentável da sociedade humana.The quantity of biological data accessible in online repositories is exponentially growing, thus computer science methods are required for its management and analysis. Online, digital repositories are useful instruments for biodiversity research, as they provide fast access to data from different sources. Among these, large contributors are museums that hold a vast quantity of specimens in their collections. This dissertation was developed as part of the COBIO-NET project, funded by FCT/AGA KHAN Foundation, and its goals were to create a comprehensive dataset on the marine coastal biodiversity of decapod crustaceans through different habitats in Mozambique and Sao Tome and Principe, and to use digital tools to disseminate the compiled information online, so that its available to the scientific community and the general public. These digital tools have been used to aggregate, georeference and clean up global biodiversity data retrieved from online digital repositories, biodiversity data and scientific literature into a detailed dataset; to manage and structure biodiversity data for the compilation of biological studies through a relational database management system; to manage and process data through, also to show the acquired spatial data in the geographic information system QGIS and an interactive web map. In this dissertation, a metadata structure was defined, which will be further used to store data collected during the COBIO-NET project. This metadata structure includes 26 fields defined by the Darwin Core metadata standard. A pilot dataset, based on this metadata structure was compiled, including 7486 decapod crustaceans occurrences records in Mozambique and Sao Tome and Principe. The database PostgreSQL constructed during this study is the digital support to manage and process information on decapod crustaceans from Mozambique and Sao Tome and Principe. The data from the database can be filtered through queries, and this database is ready to be updated by researchers enrolled in COBIO-NET with more data from different marine invertebrate taxonomic groups. The QGIS map design provides maps to visualize decapod crustacean occurrences, offering the foundation for the analysis of species incidence and allocation information. The map project is prepared in a way that it can be used to display information on larger datasets, including information on other marine taxonomic groups added during the COBIO-NET project. A web map was constructed using Leaflet and is an interactive digital platform, that allows the visualization of decapod crustacean occurrences through mangroves, seagrasses, corals and other coastal areas of Mozambique and Sao Tome and Principe. The web map provides distinct filters concentrations to manipulate the data, allowing visualization of occurrences events according with specific demands. A dataset of biodiversity data, representing occurrence records, was compiled and the digital tools developed during this study will be published and disseminated through online digital repositories, that can be used in future studies to model crustacean species allocation studies. To evaluate species communities in an effort to estimate their probability of extinction and to preserve biodiversity. These data as well as the digital tools, and their following publication further adds and promotes our current knowledge on biodiversity of marine crustaceans in mangroves, seagrasses, corals and other coastal areas of Mozambique and Sao Tome and Principe