Vision-based discrimination of tuna individuals in grow-out cages through a fish bending model

This paper proposes a robust deformable adaptive 2D model, based on computer vision methods, that automatically fits the body (ventral silhouette) of Bluefin tuna while swimming. Our model (without human intervention) adjusts to fish shape and size, obtaining fish orientation, bending to fit their flexion motion and has proved robust enough to overcome possible segmentation inaccuracies. Once the model has been successfully fitted to the fish it can ensure that the detected object is a tuna and not parts of fish or other objects. Automatic requirements of the fishing industry like biometric measurement, specimen counting or catch biomass estimation could then be addressed using a stereoscopic system and meaningful information extracted from our model. We also introduce a fitting procedure based on a fitting parameter - Fitting Error Index (FEI) - which permits us to know the quality of the results. In the experiments our model has achieved very high success rates (up to 90%) discriminating individuals in highly complex images acquired for us in real conditions in the Mediterranean Sea. Conclusions and future improvements to the proposed model are also discussed.This work was partially supported by the EU Commission [2013/410/EU] (BIACOP project). We acknowledge funding of ACUSTUNA project ref. CTM2015-70446-R (MINECO/FEDER, UE).Atienza-Vanacloig, V.; Andreu García, G.; López García, F.; Valiente González, JM.; Puig Pons, V. (2016). Vision-based discrimination of tuna individuals in grow-out cages through a fish bending model. Computers and Electronics in Agriculture. 130:142-150. https://doi.org/10.1016/j.compag.2016.10.009S14215013

Bluefin tuna (Thunnus thynnus) biomass estimation during transfers using acoustic and optic techniques

Our results show that the use of an acoustic transducer in transfers offers the possibility of performing an automatic counting with error below 10%, which is decreased to 1.2% after improving structure and algorithms. Moreover, the proposed procedure for automatic sizing using stereoscopic system achieved an accurate estimation of SFL distribution compared to true data from harvests, automatically measuring 20% of the fis

Generalised deep learning model for semi-automated length measurement of fish in stereo-BRUVS

Assessing the health of fish populations relies on determining the length of fish in sample species subsets, in conjunction with other key ecosystem markers; thereby, inferring overall health of communities. Despite attempts to use artificial intelligence (AI) to measure fish, most measurement remains a manual process, often necessitating fish being removed from the water. Overcoming this limitation and potentially harmful intervention by measuring fish without disturbance in their natural habitat would greatly enhance and expedite the process. Stereo baited remote underwater video systems (stereo-BRUVS) are widely used as a non-invasive, stressless method for manually counting and measuring fish in aquaculture, fisheries and conservation management. However, the application of deep learning (DL) to stereo-BRUVS image processing is showing encouraging progress towards replacing the manual and labour-intensive task of precisely locating the heads and tails of fish with computer-vision-based algorithms. Here, we present a generalised, semi-automated method for measuring the length of fish using DL with near-human accuracy for numerous species of fish. Additionally, we combine the DL method with a highly precise stereo-BRUVS calibration method, which uses calibration cubes to ensure precision within a few millimetres in calculated lengths. In a human versus DL comparison of accuracy, we show that, although DL commonly slightly over-estimates or under-estimates length, with enough repeated measurements, the two values average and converge to the same length, demonstrated by a Pearson correlation coefficient (r) of 0.99 for n=3954 measurement in ‘out-of-sample’ test data. We demonstrate, through the inclusion of visual examples of stereo-BRUVS scenes, the accuracy of this approach. The head-to-tail measurement method presented here builds on, and advances, previously published object detection for stereo-BRUVS. Furthermore, by replacing the manual process of four careful mouse clicks on the screen to precisely locate the head and tail of a fish in two images, with two fast clicks anywhere on that fish in those two images, a significant reduction in image processing and analysis time is expected. By reducing analysis times, more images can be processed; thereby, increasing the amount of data available for environmental reporting and decision making

Técnicas Avanzadas de Visión por Computador (VC) basadas en Deep Learning (DL) aplicadas a la monitorización de especies marinas (Bluefin Tuna)

[ES] Este trabajo fin de grado está orientado a explorar las arquitecturas, técnicas y metodologías de las redes neuronales convolucionales (CNN), aplicadas al procesamiento de imágenes y la caracterización de objetos en ellas. En este proyecto se aplica la técnica conocida como transfer learning, técnica que aprovecha redes previamente entrenadas con una gran cantidad de datos para adaptarlas a nuevas tareas con un entrenamiento mucho más rápido. Esto permite acortar de forma considerable el tiempo de desarrollo necesario para una primera aproximación al problema. Se aborda el estudio de los modelos Faster R-CNN, Mask R-CNN, YOLOv5 y PointRend para la detección y segmentación de imágenes subacuáticas de especies marinas, en concreto de la especie Thunnus thynnus (atún rojo del Atlántico), con el objetivo de monitorizar automáticamente la biomasa de la población de esta especie.[EN] This work is aimed at exploring the architectures, techniques and methodologies of convolutional neural networks (CNN), applied to image processing and the characterization of objects in them. In this project, the technique known as transfer learning is applied, a technique that takes advantage of previously trained networks with a large amount of data to adapt them to new tasks with much faster training. This allows to considerably shorten the development time required for a first approach to the problem. The study of the Faster R-CNN, Mask R-CNN, YOLOv5 and PointRend models for the detection and segmentation of underwater images of marine species, specifically of the species Thunnus thynnus (Atlantic Bluefin tuna) is addressed, with the aim of automatically monitoring the biomass of the population of this species.Martínez Peiró, J. (2021). Técnicas Avanzadas de Visión por Computador (VC) basadas en Deep Learning (DL) aplicadas a la monitorización de especies marinas (Bluefin Tuna). Universitat Politècnica de València. http://hdl.handle.net/10251/173351TFG

Control y caracterización del Atún Rojo en Jaulas Marinas

Atlantic Bluefin tuna (Thunnus thynnus) is a highly value specie that was endangered during the turn of the century by overfishing. Due to the massive resource exploitation, a recovery plan was implemented by the International Commission for the conservation of Atlantic Tunas (ICCAT). That plan enforces three major rules: to establish a fishing quota, to impose a closed fishing seasons and to fix minimum catching size (30kg). With the aim to control and improve as much as possible the fattening process turns necessary develop tools to help tuna ranchers. These tools will help them to improve tuna production efficiency in sea cages. Moreover, it is necessary the improvement of fishing quota control mechanisms. Acoustic techniques have been revealed as an efficient biomass control tool in aquaculture cages (mainly to salmon and gilthead sea bream). However, underwater acoustic methods (that are used to remote sensing of fish schools in free water) are not usually applied in sea cages. Nowadays, production control, in tuna fattening cages, has made either by manual sampling or by the use of stereoscopic cameras system. The former, it can cause damages to fishes and increases costs to ranchers. The latter, it is non-intrusive to tuna but it is affected by depth and water turbidity and it is limited by camera field of vision. A feasibility study of the use of acoustic techniques in tuna fattening cages to production control as well as to evaluate tuna behavior in captivity is presented In this thesis. Research and development of techniques together with experimental setups used are limited by tuna size and cage volume. General information about Bluefin tuna and their farming in sea cages is included in Chapter 2. In order to provide the necessary understanding of the field, Chapter 3 perform a progressive introduction of theoretical concepts in relation with underwater acoustic techniques linked with biomass estimation. To find out the tuna behavior inside the cages after being captured an experiment was carried out. Likewise, a second experiment was proposed to evaluate the response of tunas to certain anthropogenic sounds (as those produced by offshore wind turbine). The methodology and results of both studies presented are discussed in Chapter 4. Chapter 5 shows the feasibility of the use of acoustic techniques to evaluate "ex situ" dorsal target strength (TS). A relationship between dorsal aspect TS and tuna length was obtained. To perform it, four different tuna size in four separated sea cages were measured using two EK60 echosounders working at 120 and 200 kHz respectively. Using data from tuna slaughter on a farm, relations between the weight and the different dimensions of the tuna: length, maximum width and height have been looked for. Obtained expressions allow to calculate fattened tunas weight from the three tuna dimensions. Results are shown in Chapter 6. In order to expand the study carried out in Chapter 5, an experiment was proposed to determine the relationship between ventral TS and tuna size. In this case, measurements were carried out using acoustic and optic techniques in a new setup concept. A stereoscopic vision system synchronized with two echosounders (EK60) emitting at 120 and 200 kHz were used. With this setup, it is possible to know the value of the TS for a certain tuna that was recorded and measured with the cameras. As in the dorsal measures case, it was sought to know the applicability degree of combined technique in fattened tuna cages. This study and its results are presented in Chapter 7. Finally, in Chapter 8, a new method to counting tuna using acoustic techniques is presented. This method is intended to facilitate counting tuna during transfer process. The use of underwater acoustic techniques allows to automate tuna counting and to make it immune to water turbidity during transfers. To achieve it, a side scan sonar working 200 kHz was used.El atún rojo (Thunnus thynnus) es una especie de alto valor económico que se vio amenazada en el cambio de siglo por la sobrepesca. Este hecho llevó a la Comisión Internacional para la Conservación del Atún Atlántico (ICCAT) , a establecer un Plan de recuperación cuyas tres ejes principales fueron: imponer un férreo sistema de cuotas de pesca, limitar los periodos en los que esta especie puede ser capturada y fijar una talla mínima de captura .Los productores, afectados por las restricciones impuestas a la captura necesitan de herramientas para el control del proceso de engrase que permitan mejorar la eficiencia de dicho proceso. Del mismo modo se precisa la mejora de las herramientas utilizadas para el control de la cuota pesquera asignada. El control de la biomasa en las jaulas de engrase de atunes se realiza, bien mediante muestreos manuales que pueden provocar daños a los peces y resultar costosos operacional y económicamente, o bien mediante el uso de sistemas de cámaras estereoscópicas, no invasivas con los peces, pero que se ven limitadas por el alcance del campo de visión de las cámaras, la profundidad y la turbiedad del agua. Las técnicas acústicas se han revelado como una herramienta eficiente para el control de la biomasa en jaulas de cría para otras especies de gran consumo, como la dorada o el salmón. En esta tesis se propone estudiar la viabilidad del uso de las técnicas acústicas para el control de los atunes en las jaulas de engrase, así como para la evaluación del comportamiento de los atunes cuando pasan de vivir en estado salvaje a estar confinados en jaulas marinas. El tamaño de los atunes, así como la forma y tamaño de las jaulas donde son engrasados, limita los estudios y las configuraciones de medida presentadas en el presente documento. En el Capítulo 2 se incluye información general sobre del atún rojo y sobre su engrase en cautividad. Seguidamente, en el Capítulo 3, se ofrecen los conceptos básicos y la formulación sobre acústica submarina para facilitar la comprensión del resto de capítulos. Se realizó un experimento con el objetivo de conocer cómo se comporta el atún rojo en cautividad y si dicho comportamiento se veía alterado cuando era sometido a estímulos sonoros externos de carácter antropogénico. La metodología y los resultados de este estudio se muestran en el Capítulo 4. En el Capítulo 5, se evalúa la idoneidad del uso de técnicas acústicas para establecer una relación entre el tamaño del atún rojo y el TS (a 120 y 200 kHz), cuando se realizan las medidas desde la superficie del mar y con los sensores orientados hacia el fondo (vista dorsal de los peces). A partir de datos provenientes del sacrifico de peces engrasados, se han buscado relaciones entre el peso y las dimensiones del atún rojo. De este modo se han obtenido expresiones que predicen el peso medio de los peces engrasados en una jaula a partir de su longitud, altura y anchura máxima. Dichas expresiones se muestran en el Capítulo 6. Haciendo uso de las técnicas acústicas combinadas con un sistema de visión estereoscópica, se ha estudiado la viabilidad de obtener relaciones entre la longitud del atún rojo y el TS (a 120 y 200 kHz) en jaulas de engrase desde el punto de vista ventral. Para ello, se dispusieron los equipos en el fondo de la jaula de engrase y se registraron los datos con todos los sensores sincronizados y mirando hacia la superficie. De este modo se pudo conocer el valor del TS de un pez determinado que es grabado con un sistema estereoscópico que nos facilitara datos sobre su longitud, anchura máxima y orientación respecto del transductor. Se presenta en el capítulo 8 un método para el conteo de atunes mediante técnicas acústicas usando un sonar de barrido lateral trabajando a 200 kHz. Esta técnica novedosa pretende facilitar el conteo de ejemplares durante los procesos de transferencia, automatizándolo en gran medida y haciéndolo inmune a la faLa tonyina roja (Thunnus thynnus) és una espècie d'alt valor econòmic que es va veure amenaçada durant el canvi de segle per la sobrepesca. Este fet va portar a la Comissió Internacional per a la Conservació de la Tonyina Atlàntica (ICCAT), a establir un pla de recuperació que tenía com a eixos principals imposar un ferri sistema de quotes de pesca, limitar els períodes en què esta espècie pot ser capturada, a fixar una talla mínima de captura. Els productors, afectats per les restriccions imposades a la captura necessiten de ferramentes per al control del procés de engreixament que permeten millorar l'eficiència del procés. De la mateixa manera, es precisa la millora de les ferramentes utilitzades per al control de la quota pesquera assignada. El control de la biomassa en les gàbies d'engreixament de tonyines es realitza, bé per mitjà de mostrejos manuals que poden provocar danys als peixos i resultar costosos operacional i econòmicament, o bé per mitjà de l'ús de sistemes de càmeres estereoscòpiques no invasives amb els peixos, però que es veuen limitades per l'abast del camp de visió de les càmeres, la profunditat i la terbolesa de l'aigua. Les tècniques acústiques s'han revelat com una ferramenta eficient per al control de la biomassa en gàbies de cria per a altres espècies de gran consum com la daurada o el salmó. En esta tesi es proposa estudiar la viabilitat de l'ús de les tècniques acústiques per al control de les tonyines en les gàbies engreixament, així com per a l'avaluació del comportament de les tonyines quan passen de viure en estat salvatge, a estar confinades en gàbies marines. La grandària de les tonyines, així com la forma i grandària de les gàbies on són engreixades, limita els estudis i les configuracions de mesura presentades en este document. En el Capítol 2, s'inclou informació general sobre la tonyina roja i sobre el seu engreixament en captivitat. A continuació, en el Capítol 3, s'ofereixen els conceptes bàsics i la formulació sobre acústica submarina per a facilitar la comprensió de la resta de capítols. Es va realitzar un experiment amb l'objectiu de conèixer com es comportava la tonyina roja en captivitat, i si este comportament es veia alterat quan era sotmesa a estímuls sonors externs de caràcter antropogènic. La metodologia i els resultats d'este estudi es mostren en el Capítol 4. En el Capítol 5, s'avalua la idoneïtat de l'ús de tècniques acústiques per a establir una relació entre la grandària de la tonyina roja i el TS (a 120 i 200 kHz), quan es realitzen les mesures des de la superfície del mar i amb els sensors orientats cap al fons (vista dorsal dels peixos). A partir de dades provinents del sacrifici de peixos engreixats, s'han buscat relacions entre el pes i les dimensions de la tonyina roja. D'esta manera, s'han obtingut dades que prediuen el pes mitjà dels peixos engreixats en una gàbia a partir de la seua longitud, alçària i amplària màxima. Estes dades es mostren en el Capítol 6. Fent ús de les tècniques acústiques combinades amb un sistema de visió estereoscòpica, es va estudiar la viabilitat d'obtindre relacions entre la longitud de la tonyina roja i el TS (a 120 i 200 kHz) en gàbies d'engreixament des del punt de vista ventral. Per a això, es van disposar els equips en el fons de la gàbia marina i es van registrar les dades amb tots els sensors sincronitzats i mirant cap a la superfície. De aquesta manera, es va poder conèixer el valor del TS d'un peix determinat que és gravat amb un sistema estereoscòpic que ens facilitarà dades sobre la seua longitud, amplària màxima i orientació respecte del transductor. Finalment, en el Capítol 8, es presenta un mètode per al comptatge de tonyines per mitjà de tècniques acústiques fent ús d'un un sonar d'escombrat lateral treballant a 200 kHz . Esta tècnica nova pretén facilitar el comptatge d'exemplars durant els processos de transferència, auPuig Pons, V. (2017). Control y caracterización del Atún Rojo en Jaulas Marinas [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/86213TESI