On Finding Maximum Cardinality Subset of Vectors with a Constraint on Normalized Squared Length of Vectors Sum

In this paper, we consider the problem of finding a maximum cardinality subset of vectors, given a constraint on the normalized squared length of vectors sum. This problem is closely related to Problem 1 from (Eremeev, Kel'manov, Pyatkin, 2016). The main difference consists in swapping the constraint with the optimization criterion. We prove that the problem is NP-hard even in terms of finding a feasible solution. An exact algorithm for solving this problem is proposed. The algorithm has a pseudo-polynomial time complexity in the special case of the problem, where the dimension of the space is bounded from above by a constant and the input data are integer. A computational experiment is carried out, where the proposed algorithm is compared to COINBONMIN solver, applied to a mixed integer quadratic programming formulation of the problem. The results of the experiment indicate superiority of the proposed algorithm when the dimension of Euclidean space is low, while the COINBONMIN has an advantage for larger dimensions.Comment: To appear in Proceedings of the 6th International Conference on Analysis of Images, Social Networks, and Texts (AIST'2017

On Evaluation of Bangla Word Analogies

This paper presents a high-quality dataset for evaluating the quality of Bangla word embeddings, which is a fundamental task in the field of Natural Language Processing (NLP). Despite being the 7th most-spoken language in the world, Bangla is a low-resource language and popular NLP models fail to perform well. Developing a reliable evaluation test set for Bangla word embeddings are crucial for benchmarking and guiding future research. We provide a Mikolov-style word analogy evaluation set specifically for Bangla, with a sample size of 16678, as well as a translated and curated version of the Mikolov dataset, which contains 10594 samples for cross-lingual research. Our experiments with different state-of-the-art embedding models reveal that Bangla has its own unique characteristics, and current embeddings for Bangla still struggle to achieve high accuracy on both datasets. We suggest that future research should focus on training models with larger datasets and considering the unique morphological characteristics of Bangla. This study represents the first step towards building a reliable NLP system for the Bangla language1

Векторное представление слов с семантическими отношениями: экспериментальные наблюдения

The ability to identify semantic relations between words has made a word2vec model widely used in NLP tasks. The idea of word2vec is based on a simple rule that a higher similarity can be reached if two words have a similar context. Each word can be represented as a vector, so the closest coordinates of vectors can be interpreted as similar words. It allows to establish semantic relations (synonymy, relations of hypernymy and hyponymy and other semantic relations) by applying an automatic extraction. The extraction of semantic relations by hand is considered as a time-consuming and biased task, requiring a large amount of time and some help of experts. Unfortunately, the word2vec model provides an associative list of words which does not consist of relative words only. In this paper, we show some additional criteria that may be applicable to solve this problem. Observations and experiments with well-known characteristics, such as word frequency, a position in an associative list, might be useful for improving results for the task of extraction of semantic relations for the Russian language by using word embedding. In the experiments, the word2vec model trained on the Flibusta and pairs from Wiktionary are used as examples with semantic relationships. Semantically related words are applicable to thesauri, ontologies and intelligent systems for natural language processing.Возможность идентификации семантической близости между словами сделала модель word2vec широко используемой в NLP-задачах. Идея word2vec основана на контекстной близости слов. Каждое слово может быть представлено в виде вектора, близкие координаты векторов могут быть интерпретированы как близкие по смыслу слова. Таким образом, извлечение семантических отношений (отношение синонимии, родо-видовые отношения и другие) может быть автоматизировано. Установление семантических отношений вручную считается трудоемкой и необъективной задачей, требующей большого количества времени и привлечения экспертов. Но среди ассоциативных слов, сформированных с использованием модели word2vec, встречаются слова, не представляющие никаких отношений с главным словом, для которого был представлен ассоциативный ряд. В работе рассматриваются дополнительные критерии, которые могут быть применимы для решения данной проблемы. Наблюдения и проведенные эксперименты с общеизвестными характеристиками, такими как частота слов, позиция в ассоциативном ряду, могут быть использованы для улучшения результатов при работе с векторным представлением слов в части определения семантических отношений для русского языка. В экспериментах используется обученная на корпусах Флибусты модель word2vec и размеченные данные Викисловаря в качестве образцовых примеров, в которых отражены семантические отношения. Семантически связанные слова (или термины) нашли свое применение в тезаурусах, онтологиях, интеллектуальных системах для обработки естественного языка

Watset : automatic induction of synsets from a graph of synonyms

This paper presents a new graph-based approach that induces synsets using synonymy dictionaries and word embeddings. First, we build a weighted graph of synonyms extracted from commonly available resources, such as Wiktionary. Second, we apply word sense induction to deal with ambiguous words. Finally, we cluster the disambiguated version of the ambiguous input graph into synsets. Our meta-clustering approach lets us use an efficient hard clustering algorithm to perform a fuzzy clustering of the graph. Despite its simplicity, our approach shows excellent results, outperforming five competitive state-of-the-art methods in terms of F-score on three gold standard datasets for English and Russian derived from large-scale manually constructed lexical resources

Параллельные реализации алгоритмов нахождения зеркальной симметрии бинарных растровых изображений

Оценка симметричности фигур является важным этапом анализа бинарных изображений и может применяться для решения многих прикладных задач компьютерного зрения, таких, например, как анализ условий произрастания растений, билатеральной симметрии насекомых. Известные алгоритмы поиска оси зеркальной симметрии позволяют найти лишь приближенное решение данной задачи, как правило, не предоставляя возможности оценить качество полученного решения. Естественным способом оценки качества в данном случае является сравнение с точным решением - эталонной осью симметрии, мера симметричности изображения относительно которой имеет максимальное значение. В данной работе исследуется точный метод поиска такой эталонной оси симметрии, основанный на полном переборе всех потенциально возможных осей и оценке симметричности фигуры с использованием теоретико-множественного подобия Жаккарда, применяемого к подмножествам пикселей фигуры при делении ее осью. Алгоритм полного перебора гарантированно находит эталонную ось симметрии, но требует весьма значительного времени на обработку каждого изображения. Для достижения скорости, позволяющей работать с большими базами изображений, была разработана параллельная версия данного алгоритма, которая была реализована на языке C++ с применением технологии параллельного программирования MPI и протестирована с использованием ресурсов суперкомпьютерного комплекса МГУ имени М.В. Ломоносова. Экспериментальные исследования на базе изображений «Бабочки» показали, что предложенный алгоритм позволяет найти эталонную ось симметрии за время, приемлемое для обработки баз, состоящих из сотен и тысяч изображений, что сделало возможным его применение для автоматической разметки баз изображений, а также отладки и тестирования на них предложенных ранее авторами приближенных процедур поиска оси симметрии. Разработанная параллельная версия одного из приближенных алгоритмов обеспечивает возможность решения прикладных задач анализа изображений в условиях, близких к режиму реального времени, позволяя достичь времени обработки, исчисляемого в долях секунды даже на обычных многоядерных персональных компьютерах, сохраняя при этом максимальное, либо близкое к максимальному качество решения.Работа выполнена при поддержке гранта РФФИ 16-57-52042