Моделювання емерджентності за допомогою чотиришарової прихованої марковської моделі

The object of research is the process of selecting a synergistically determined pair for the elements of complex systems in the design, manufacture or repair. One of the most problematic places in the selection is the need to numerically evaluate the result of combining the elements, taking into account the explicit, additive properties of elements and hidden manifestations of the pair that are unusual for the elements alone (emergence). Lack of accounting for emergence can significantly distort the apparent picture of the processes taking place in systems, which makes many existing models of such processes inadequate.During the research, methods of extracting information from arrays known, hidden for direct observation were used. In particular, four-layer hidden Markov models with an additional hidden layer were used. The models were trained by the Baum-Welch method, adapted to work with an additional layer. As training samples used data obtained as a result of statistical processing of information available for object monitoring, expert assessments, as well as data obtained in the world's computer networks.The test of the method and model on real medical and technical objects confirms their clinical and technical effectiveness. In particular, thanks to this in the medical industry:in the medical industry, the incidence of thromboembolism of the branches of the pulmonary artery and deep veins of the thigh and lower leg are decreased by 65 %;frequency of postoperative bleeding is decreased by 43 %;by 36 % the total number of drug-related medicines aimed at correcting the blood coagulation system is decreased.In the technical field, the test results confirm the increase in the service life of rubber-metal shock absorbers by 14.5 %.This is due to the fact that the proposed method has a number of features, in particular, for the first time in its evaluation of emergence a four-layer hidden Markov model is used.The results obtained in the work make it possible to propose a general scheme of an intellectual decision support system in the selection of a synergistically determined pair of elements for complex systems of various purposes.Объектом исследования является процесс подбора синергетически обусловленной пары к элементам сложных систем при проектировании, изготовлении или ремонте. Одним из самых проблемных мест в подборе является необходимость численно оценить результат объединения элементов с учетом явных, аддитивных свойств элементов и скрытых проявлений работы пары, несвойственных элементам в отдельности (эмерджентность). Отсутствие учета эмерджентности может существенно исказить видимую картину процессов, протекающих в системах, что делает многие существующие модели таких процессов неадекватными. В ходе исследования использовались методы извлечения информации из массивов знаний, скрытых для прямого наблюдения. В частности использовали четырехслойные скрытые марковские модели с дополнительным скрытым слоем. Обучение моделей выполняли методом Баума–Велша, адаптированным под работу с дополнительным слоем. В качестве обучающих выборок использовали данные, полученные в результате статистической обработки информации, доступной при наблюдении за объектом, экспертных оценок, а также данные, полученные в мировых компьютерных сетях.Испытание метода и модели на реальных медицинских и технических объектах подтвердили их клиническую и техническую эффективность. В частности, благодаря этому в медицинской отрасли:на 65 % уменьшилось частота возникновения тромбоэмболии ветвей легочной артерии и глубоких вен бедра и голени;на 43 % уменьшилось частота послеоперационных кровотечений;на 36% уменьшилось общее количество назначаемых лекарственных средств, направленных на коррекцию свертывающей системы крови.В технической области результаты испытаний подтвердили увеличение срока эксплуатации резинометаллических амортизаторов на 14,5 %. Это связано с тем, что предложенный метод имеет ряд особенностей, в частности, в нем впервые для оценки эмерджентности применена четырехслойная скрытая марковская модель.Результаты, полученные в работе, позволили предложить общую схему интеллектуальной системы поддержки принятия решения о выборе синергетически обусловленной пары элементов для сложных систем различного назначения.Об'єктом дослідження є процес підбору синергетично обумовленої пари до елементів складних систем при проектуванні, виготовленні або ремонті. Одним з найбільш проблемних місць в підборі є необхідність чисельно оцінити результат об'єднання елементів з урахуванням явних, адитивних властивостей елементів і прихованих проявів роботи пари, невластивих елементам окремо (емерджентність). Відсутність врахування емерджентності може істотно спотворити видиму картину процесів, які протікають в системах, що робить багато існуючих моделей таких процесів неадекватними.В ході дослідження використовували методи добування інформації з масивів знань, прихованих для прямого спостереження. Зокрема використовували чотирьохшарові приховані марковские моделі з додатковим прихованим шаром. Навчання моделей виконували методом Баума–Велша, адаптованим під роботу з додатковим шаром. В якості навчальних вибірок використовували дані, отримані в результаті статистичної обробки інформації, доступної при спостереженні за об'єктом, експертних оцінок, а також дані, отримані в світових комп'ютерних мережах.Випробування методу і моделі на реальних медичних і технічних об'єктах підтвердили їх клінічну і технічну ефективність. Зокрема, завдяки цьому в медичній галузі:на 65 % зменшилася частота виникнення тромбоемболії гілок легеневої артерії і глибоких вен стегна і гомілки;на 43 % зменшилася частота післяопераційних кровотеч;на 36 % зменшилася загальна кількість призначених лікарських засобів, спрямованих на корекцію згортання крові.У технічній галузі результати випробувань підтвердили збільшення терміну експлуатації гумометалевих амортизаторів на 14,5 %.Це пов'язано з тим, що запропонований метод має ряд особливостей, зокрема, в ньому вперше для оцінки емерджентності застосована чотиришарова прихована марковська модель.Результати, отримані в роботі, дозволили запропонувати загальну схему інтелектуальної системи підтримки прийняття рішення про вибір синергетически обумовленої пари елементів для складних систем різного призначення

Моделювання емерджентності за допомогою чотиришарової прихованої марковської моделі

The object of research is the process of selecting a synergistically determined pair for the elements of complex systems in the design, manufacture or repair. One of the most problematic places in the selection is the need to numerically evaluate the result of combining the elements, taking into account the explicit, additive properties of elements and hidden manifestations of the pair that are unusual for the elements alone (emergence). Lack of accounting for emergence can significantly distort the apparent picture of the processes taking place in systems, which makes many existing models of such processes inadequate.During the research, methods of extracting information from arrays known, hidden for direct observation were used. In particular, four-layer hidden Markov models with an additional hidden layer were used. The models were trained by the Baum-Welch method, adapted to work with an additional layer. As training samples used data obtained as a result of statistical processing of information available for object monitoring, expert assessments, as well as data obtained in the world's computer networks.The test of the method and model on real medical and technical objects confirms their clinical and technical effectiveness. In particular, thanks to this in the medical industry:in the medical industry, the incidence of thromboembolism of the branches of the pulmonary artery and deep veins of the thigh and lower leg are decreased by 65 %;frequency of postoperative bleeding is decreased by 43 %;by 36 % the total number of drug-related medicines aimed at correcting the blood coagulation system is decreased.In the technical field, the test results confirm the increase in the service life of rubber-metal shock absorbers by 14.5 %.This is due to the fact that the proposed method has a number of features, in particular, for the first time in its evaluation of emergence a four-layer hidden Markov model is used.The results obtained in the work make it possible to propose a general scheme of an intellectual decision support system in the selection of a synergistically determined pair of elements for complex systems of various purposes.Объектом исследования является процесс подбора синергетически обусловленной пары к элементам сложных систем при проектировании, изготовлении или ремонте. Одним из самых проблемных мест в подборе является необходимость численно оценить результат объединения элементов с учетом явных, аддитивных свойств элементов и скрытых проявлений работы пары, несвойственных элементам в отдельности (эмерджентность). Отсутствие учета эмерджентности может существенно исказить видимую картину процессов, протекающих в системах, что делает многие существующие модели таких процессов неадекватными. В ходе исследования использовались методы извлечения информации из массивов знаний, скрытых для прямого наблюдения. В частности использовали четырехслойные скрытые марковские модели с дополнительным скрытым слоем. Обучение моделей выполняли методом Баума–Велша, адаптированным под работу с дополнительным слоем. В качестве обучающих выборок использовали данные, полученные в результате статистической обработки информации, доступной при наблюдении за объектом, экспертных оценок, а также данные, полученные в мировых компьютерных сетях.Испытание метода и модели на реальных медицинских и технических объектах подтвердили их клиническую и техническую эффективность. В частности, благодаря этому в медицинской отрасли:на 65 % уменьшилось частота возникновения тромбоэмболии ветвей легочной артерии и глубоких вен бедра и голени;на 43 % уменьшилось частота послеоперационных кровотечений;на 36% уменьшилось общее количество назначаемых лекарственных средств, направленных на коррекцию свертывающей системы крови.В технической области результаты испытаний подтвердили увеличение срока эксплуатации резинометаллических амортизаторов на 14,5 %. Это связано с тем, что предложенный метод имеет ряд особенностей, в частности, в нем впервые для оценки эмерджентности применена четырехслойная скрытая марковская модель.Результаты, полученные в работе, позволили предложить общую схему интеллектуальной системы поддержки принятия решения о выборе синергетически обусловленной пары элементов для сложных систем различного назначения.Об'єктом дослідження є процес підбору синергетично обумовленої пари до елементів складних систем при проектуванні, виготовленні або ремонті. Одним з найбільш проблемних місць в підборі є необхідність чисельно оцінити результат об'єднання елементів з урахуванням явних, адитивних властивостей елементів і прихованих проявів роботи пари, невластивих елементам окремо (емерджентність). Відсутність врахування емерджентності може істотно спотворити видиму картину процесів, які протікають в системах, що робить багато існуючих моделей таких процесів неадекватними.В ході дослідження використовували методи добування інформації з масивів знань, прихованих для прямого спостереження. Зокрема використовували чотирьохшарові приховані марковские моделі з додатковим прихованим шаром. Навчання моделей виконували методом Баума–Велша, адаптованим під роботу з додатковим шаром. В якості навчальних вибірок використовували дані, отримані в результаті статистичної обробки інформації, доступної при спостереженні за об'єктом, експертних оцінок, а також дані, отримані в світових комп'ютерних мережах.Випробування методу і моделі на реальних медичних і технічних об'єктах підтвердили їх клінічну і технічну ефективність. Зокрема, завдяки цьому в медичній галузі:на 65 % зменшилася частота виникнення тромбоемболії гілок легеневої артерії і глибоких вен стегна і гомілки;на 43 % зменшилася частота післяопераційних кровотеч;на 36 % зменшилася загальна кількість призначених лікарських засобів, спрямованих на корекцію згортання крові.У технічній галузі результати випробувань підтвердили збільшення терміну експлуатації гумометалевих амортизаторів на 14,5 %.Це пов'язано з тим, що запропонований метод має ряд особливостей, зокрема, в ньому вперше для оцінки емерджентності застосована чотиришарова прихована марковська модель.Результати, отримані в роботі, дозволили запропонувати загальну схему інтелектуальної системи підтримки прийняття рішення про вибір синергетически обумовленої пари елементів для складних систем різного призначення

Mining Hidden Markov Models in Sequences of Characters Using Recurrent Neural Networks

Restoring damaged historical manuscripts and making them available to the large public has been of great interest for humanities researchers long before computers provided assistance for this task. Current technologies and models make this process easier, more accurate, and capable of discovering parts that were previously unknown. I use Recurrent Neural Networks for uncovering hidden Markov models in sequences of characters from historic manuscripts. Such manuscripts are typically written in some archaic language, which makes the underlying machine learning problem inherently difficult, as not much training data is available, in general. I use bidirectional, hierarchical models for sequences of one or more characters, trained on the existent manuscript data. I tested my model and present experimental results using an Old English manuscript

Markovian model for forecasting financial time series

The study aims to create a Markovian model for forecasting financial time series and measure its effectiveness on stock prices. In the study, the new forecaster was inspired by several machine learning techniques and included statistical approaches and conditional probabilities. Namely, Markov Chains and Hidden Markov Chains are the main inspiration for machine learning techniques. To be able to process time series with Markov Chains like algorithm, new transformation developed with the usage of daily stock prices. Thirteen years of daily stock prices have been used for the data feed. For measuring the effectiveness of a new predictor, the obtaıned results are compared with conventional methods such as ARIMA, linear regression, decision tree regression and support vector regression predictions. The comparisons presented are based on Mean Absolute Percentage Error (MAPE) and Root Mean Square Error ( RMSE). According to the achieved results, the new predictor performs better than decision tree regression, and ARIMA performs best among them.O estudo tem como objectivo criar um modelo markoviano para a previsão de séries temporais e medir a eficácia deste nas previsões de preços das ações. No estudo, o novo previsor foi inspirado em várias técnicas de aprendizagem de máquinas e incluiu abordagens estatísticas e probabilidades condicionais. Ou seja, as cadeias de Markov são a principal inspiração das técnicas para a aprendizagem das máquinas. Para ser capaz de processar séries temporais com algorítmo do tipo Cadeias de Markov, a nova técnica é desenvolvida com base em preços diários e ações. Foram considerados treze anos de preços diários de ações para teste dos modelos. Para medir a eficácia do novo previsor, foram obtidos resultados comparados com métodos convencionais, como os modelos ARIMA, a regressão linear, a regressão a partir da árvore de decisão. Esta comparação foi efetuada com base no Erro Absoluto Médio Percentual (MAPE) e na Raiz do Erro Quadrático Médio (RMSE). De acordo com os resultados obtidos, o novo previsor tem melhor desempenho do que a regressão da árvore de decisão, e o ARIMA tem o melhor desempenho entre eles

Mining Predictive Patterns and Extension to Multivariate Temporal Data

An important goal of knowledge discovery is the search for patterns in the data that can help explaining its underlying structure. To be practically useful, the discovered patterns should be novel (unexpected) and easy to understand by humans. In this thesis, we study the problem of mining patterns (defining subpopulations of data instances) that are important for predicting and explaining a specific outcome variable. An example is the task of identifying groups of patients that respond better to a certain treatment than the rest of the patients. We propose and present efficient methods for mining predictive patterns for both atemporal and temporal (time series) data. Our first method relies on frequent pattern mining to explore the search space. It applies a novel evaluation technique for extracting a small set of frequent patterns that are highly predictive and have low redundancy. We show the benefits of this method on several synthetic and public datasets. Our temporal pattern mining method works on complex multivariate temporal data, such as electronic health records, for the event detection task. It first converts time series into time-interval sequences of temporal abstractions and then mines temporal patterns backwards in time, starting from patterns related to the most recent observations. We show the benefits of our temporal pattern mining method on two real-world clinical tasks