Flower Detection Using Object Analysis: New Ways to Quantify Plant Phenology in a Warming Tundra Biome

Rising temperatures caused by global warming are affecting the distributions of many plant and animal species across the world. This can lead to structural changes in entire ecosystems, and serious, persistent environmental consequences. However, many of these changes occur in vast and poorly accessible biomes and involve myriad species. As a consequence, conventional methods of measurement and data analysis are resource-intensive, restricted in scope, and in some cases, intractable for measuring species changes in remote areas. In this article, we introduce a method for detecting flowers of tundra plant species in large data sets obtained by aerial drones, making it possible to understand ecological change at scale, in remote areas. We focus on the sedge species E. vaginatum that is dominant at the investigated tundra field site in the Canadian Arctic. Our system is a modified version of the Faster R-CNN architecture capable of real-world plant phenology analysis. Our model outperforms experienced human annotators in both detection and counting, recording much higher recall and comparable level of precision, regardless of the image quality caused by varying weather conditions during the data collection. (K. Stanski, GitHub - karoleks4/flower-detection: Flower detection using object analysis: New ways to quantify plant phenology in a warming tundra biome. GitHub. Accessed: Sep. 17, 2021. [Online]. Available: https://github.com/karoleks4/flower-detection.

Image-based Gender Estimation from Body and Face across Distances

International audienceGender estimation has received increased attention due to its use in a number of pertinent security and commercial applications. Automated gender estimation algorithms are mainly based on extracting representative features from face images. In this work we study gender estimation based on information deduced jointly from face and body, extracted from single-shot images. The approach addresses challenging settings such as low-resolution-images, as well as settings when faces are occluded. Specifically the face-based features include local binary patterns (LBP) and scale-invariant feature transform (SIFT) features, projected into a PCA space. The features of the novel body-based algorithm proposed in this work include continuous shape information extracted from body silhouettes and texture information retained by HOG descriptors. Support Vector Machines (SVMs) are used for classification for body and face features. We conduct experiments on images extracted from video-sequences of the Multi-Biometric Tunnel database, emphasizing on three distance-settings: close, medium and far, ranging from full body exposure (far setting) to head and shoulders exposure (close setting). The experiments suggest that while face-based gender estimation performs best in the close-distance-setting, body-based gender estimation performs best when a large part of the body is visible. Finally we present two score-level-fusion schemes of face and body-based features, outperforming the two individual modalities in most cases

Підвищення ефективності навчання бортової системи детектування об’єктів для малогабаритного безпілотного апарату

The model of object detector and the criterion of leaning effectiveness of the model were proposed. The model contains 7 first modules of the convolutional Squeezenet network, two convolutional multiscale layers and the information­extreme classifier. The multiplicative convolution of the particular criteria that takes into account the effectiveness of detection of objects in the image and accuracy of the classification analysis was considered as the criterion of learning effectiveness of the model. In this case, additional use of the orthogonal matching pursuit algorithm in calculating high­level features makes it possible to increase the accuracy of the model by 4 %. The training algorithm of object detector under conditions of a small size of labeled training datasets and limited computing resources available on board of a compact unmanned aerial vehicle was developed. The essence of the algorithm is to adapt the high­level layers of the model to the domain application area, based on the algorithms of growing sparse coding neural gas and simulated annealing. Unsupervised learning of high­level layers makes it possible to use effectively the unlabeled datasets from the domain area and determine the required number of neurons. It is shown that in the absence of fine tuning of convolutional layers, 69 % detection of objects in the images of the test dataset Inria Aerial Image was ensured. In this case, after fine tuning based on the simulated annealing algorithm, 95 % detection of the objects in test images is ensured. It was shown that the use of unsupervised pretraining makes it possible to increase the generalizing ability of decision rules and to accelerate the iteration process of finding the global maximum during supervised learning on the dataset of limited size. In this case, the overfitting effect is eliminated by optimal selection of the value of hyperparameter, characterizing the measure of coverage of the input data of by network neurons.Предложена модель детектора объектов и критерий эффективности обучения модели. Модель содержит 7 первых модулей свёрточной сети Squeezenet, два свёрточных разномасштабных слоя, и информационно-экстремальный классификатор. В качестве критерия эффективности обучения модели детектора рассматривается мультипликативная свертка частных критериев, учитывающая эффективность обнаружения объектов на изображении и точность классификационного анализа. При этом дополнительное использование алгоритма ортогонального согласованного кодирования при вычислении высокоуровневых признаков позволяет увеличить точность модели на 4 процента.Разработан алгоритм обучения детектора объектов в условиях малого объема размеченных обучающих образцов и ограниченных вычислительных ресурсов, доступных на борту малогабаритного беспилотного аппарата. Суть алгоритма заключается в адаптации верхних слоев модели к доменной области использования на основе алгоритмов растущего разреженно кодирующего нейронного газа и симуляции отжига. Обучение верхних слоев без учителя позволяет эффективно использовать неразмеченные данные с доменной области и определить необходимое количество нейронов. Показано, что при отсутствии тонкой настройки свёрточных слоев обеспечивается 69 процентов выявленных объектов на изображениях тестовой выборки Inria Aerial Image.При этом после тонкой настройки на основе алгоритма симуляции отжига обеспечивается 95 процентов выявленных объектов на тестовых изображениях.Показано, что использование предварительного обучения без учителя позволяет повысить обобщающую способность решающих правил и ускорить итерационный процесс нахождения глобального максимума при обучении с учителем на выборке ограниченного объема. При этом устранение эффекта переобучения осуществляется путем оптимального выбора значения гиперпараметра, характеризующего степень покрытия входных данных нейронами сетиЗапропоновано модель детектора об’єктів і критерій ефективності навчання моделі. Модель містить 7 перших модулів згорткової мережі Squeezenet, два згорткові різномасштабні шари, та інформаційно-екстремальний класифікатор. Як критерій ефективності навчання моделі детектора розглядається мультиплікативна згортка частинних критеріїв, що враховує ефективність виявлення об’єктів на зображенні та точність класифікаційного аналізу. При цьому додаткове використання алгоритму ортогонального узгодженого кодування при обчисленні високорівневих ознак дозволяє збільшити точність моделі на 4 %.Розроблено алгоритм навчання детектора об’єктів за умов малого обсягу розмічених навчальних зразків та обмежених обчислювальних ресурсів, доступних на борту малогабаритного безпілотного апарату. Суть алгоритму полягає в адаптації верхніх шарів моделі до доменної області використання на основі алгоритмів зростаючого розріджено кодуючого нейронного газу та симуляції відпалу. Навчання верхніх шарів без вчителя дозволяє ефективно використати нерозмічені дані з доменної області та визначити необхідну кількість нейронів. Показано, що за відсутності тонкої настройки згорткових шарів забезпечується 69 % виявлених об’єктів на зображеннях тестової вибірки Inria Aerial Image. При цьому після тонкої настройки на основі алгоритму симуляції відпалу забезпечується 95 відсотків виявлених об'єктів на тестових зображеннях.Показано, що використання попереднього навчання без вчителя дозволяє підвищити узагальнюючу здатність вирішальних правил та прискорити ітераційний процес знаходження глобального максимуму при навчанні з учителем на вибірці обмеженого обсягу. При цьому усунення ефекту перенавчання здійснюється шляхом оптимального вибору значення гіперпараметру, що характеризує ступінь покриття вхідних даних нейронами мереж