A System for Real-Time Interactive Analysis of Deep Learning Training

Performing diagnosis or exploratory analysis during the training of deep learning models is challenging but often necessary for making a sequence of decisions guided by the incremental observations. Currently available systems for this purpose are limited to monitoring only the logged data that must be specified before the training process starts. Each time a new information is desired, a cycle of stop-change-restart is required in the training process. These limitations make interactive exploration and diagnosis tasks difficult, imposing long tedious iterations during the model development. We present a new system that enables users to perform interactive queries on live processes generating real-time information that can be rendered in multiple formats on multiple surfaces in the form of several desired visualizations simultaneously. To achieve this, we model various exploratory inspection and diagnostic tasks for deep learning training processes as specifications for streams using a map-reduce paradigm with which many data scientists are already familiar. Our design achieves generality and extensibility by defining composable primitives which is a fundamentally different approach than is used by currently available systems. The open source implementation of our system is available as TensorWatch project at https://github.com/microsoft/tensorwatch.Comment: Accepted at ACM SIGCHI Symposium on Engineering Interactive Computing Systems (EICS 2019). Code available as TensorWatch project at https://github.com/microsoft/tensorwatc

Classification and Risk-Mapping of River Water Quality in Surabaya with Semantic Visualitzation

River water pollution is one of the environmental problems that occur in Surabaya. The amount of industrial waste and household waste makes Surabaya River water easily polluted every day, besides that there are also many people who are not aware about the quality of river water in Surabaya. In this paper, we present a new system to classify water quality of river in surabaya. The system involve a semantic visualization of risk-mapping for the river, so that the people of Surabaya are easier to get information about the quality of Surabaya River water. In this paper, we measured the water quality of Surabaya River using Horiba sensor measuring instruments using 5 parameters, namely temperature, PH, DO, Turbidity, TDS. These five parameters are input variables for calculating water quality with the methods applied in this research. We use the Storet Method to determine the quality of Surabaya River water. The results of the Storet Method explained that there were 0.03% of the data on lightly polluted water quality and there were 37.41% of the data being moderately polluted and there were 59.29% of the data heavily polluted. The results of the calculation using the Storet method concluded that the condition of Surabaya River water quality was not good. We also apply the rule of the Storet Method to the Neural Network by using Surabaya River water quality data as learning data and gave performance 70.02% accuracy

Analyzing the Information Search Behavior and Intentions in Visual Information Systems

Visual information search systems support different search approaches such as targeted, exploratory or analytical search. Those visual systems deal with the challenge of composing optimal initial result visualization sets that face the search intention and respond to the search behavior of users. The diversity of these kinds of search tasks require different sets of visual layouts and functionalities, e.g. to filter, thrill-down or even analyze concrete data properties. This paper describes a new approach to calculate the probability towards the three mentioned search intentions, derived from users’ behavior. The implementation is realized as a web-service, which is included in a visual environment that is designed to enable various search strategies based on heterogeneous data sources. In fact, based on an entered search query our developed search intention analysis web-service calculates the most probable search task, and our visualization system initially shows the optimal result set of visualizations to solve the task. The main contribution of this paper is a probability-based approach to derive the users’ search intentions based on the search behavior enhanced by the application to a visual system

Використання пелюсткових діаграм для візуалізації результатів експертного оцінювання якості програмного забезпечення

The technique of imaging information obtained by processing the expert software quality estimates according to various criteria using petal diagrams. It was found that under the visualization of the results of the expert evaluation of quality software realize the provision of information in graphical form for the maximum comfort of its understanding and quick perception, as well as providing foreseeable and understandable form any object, process or phenomenon. Criteria of evaluation of the quality of the software and their weights for each of the experts, to ensure fair presentation of the current status of the software development process, the proper understanding of the problems that arise at any stage of a software project, and the exact characteristics of their constituents. Such information rendering engine allows analysts to qualitatively and quantitatively provide the customer with a set of values of complex parameters of quality software that you can get the results of any survey of various experts in a particular phase of the software project. The proposed method is suitable for the representation of the set of results expert surveys division them on an unlimited number of roles, quality evaluation participants by taking into account the weight of each of them. An algorithm for calculating the space sector petals in the polar coordinate system, with which you can calculate and assess the relative quality of software to meet the relevant criteria. Identified the integrated quality score for each of the experts and the generalized complex index of quality assurance for all experts. An algorithm for calculating the area of petal diagram in the polar coordinate system. The algorithm allows to determine the quality of the software product on all the criteria available at this time estimated by an expert, as well as the quality of the software that has to be achieved to its absolute completeness. Appropriate conclusions and recommendations on the use of information visualization methodologies developed.Розроблено методику візуалізації інформації, яку отримують внаслідок оброблення експертних оцінок якості програмного забезпечення (ПЗ) за різними критеріями його оцінювання з використанням пелюсткових діаграм. Встановлено, що під візуалізацією результатів експертного оцінювання якості ПЗ розуміють подання інформації у графічному вигляді для максимальної зручності її розуміння та швидкого сприйняття, а також надання оглядової та зрозумілої форми будь-якому об'єкту, процесу чи явищу. Запропоновано критерії оцінювання якості ПЗ та їхні вагові коефіцієнти для кожного з експертів, які забезпечують достовірне подання наявного стану процесу розроблення ПЗ, правильне розуміння суті проблем, що можуть виникнути на будь-якому етапі реалізації програмного проекту, і точні характеристики їх складових. Розроблено алгоритм розрахунку площ секторних пелюстків у полярній системі координат, за допомогою яких можна обчислити і оцінити відносну якість ПЗ за відповідними критеріями. Визначено підсумкові комплексні показники якості ПЗ для кожного з експертів і узагальнений комплексний показник його якості. Розроблено алгоритм розрахунку площі пелюсткової діаграми у полярній системі координат, який дає змогу визначити ту частину якості ПЗ за всіма критеріями, яку маємо на даний момент за оцінками одного з експертів, а також ту частку якості ПЗ, яку ще потрібно досягти для стовідсоткової її повноти. Зроблено відповідні висновки та надано рекомендації щодо використання розробленої методики візуалізації інформації

VISUALIZATION OF THE RESULTS OF EXPERT EVALUATION OF SOFTWARE QUALITY USING POLAR DIAGRAMS

Розроблено методику візуалізації інформації, яку можна отримати внаслідок оброблення експертних оцінок якості програмного забезпечення (ПЗ) за різними критеріями його оцінювання з використанням полярних діаграм. Встановлено, що під візуалізацією результатів експертного оцінювання якості ПЗ розуміють подання інформації у графічному вигляді для максимальної зручності її розуміння та швидкого сприйняття, а також надання осяжної та зрозумілої форми будь-якому об'єкту, суб'єкту, процесу тощо. Запропоновано критерії оцінювання якості ПЗ та їхні вагові коефіцієнти для кожного з експертів, які забезпечують достовірне подання наявного стану процесу розроблення ПЗ, правильне розуміння суті проблем, що можуть виникнути на будь-якому етапі реалізації програмного проекту, і точні характеристики їх складових. Розроблено алгоритм розрахунку площ секторних багатокутників у полярній системі координат, за допомогою якого можна обчислити і оцінити відносну якість ПЗ за відповідними критеріями. Визначено комплексні підсумкові показники якості ПЗ для кожного з експертів і комплексний узагальнений показник його якості для усіх експертів. Розроблено алгоритм розрахунку площі неправильного багатокутника у полярній системі координат, який дає змогу визначити ту частину якості ПЗ за всіма критеріями, яку маємо на даний момент за оцінками одного з експертів, а також ту частку якості ПЗ, яку ще потрібно досягти для 100 % її повноти. Зроблено відповідні висновки та надано рекомендації щодо використання розробленої методики візуалізації інформації.Разработана методология визуализации информации, которую можно получить в результате обработки экспертных оценок качества программного обеспечения (ПО) по различным критериям с использованием полярных диаграмм. Установлено, что под визуализацией результатов экспертного оценивания качества ПО понимают представление информации в графическом виде для максимального удобства ее понимания и быстрого восприятия, а также предоставление обозримой и понятной формы любому объекту, субъекту, процесса. Предложены критерии оценки качества ПО и их весовые коэффициенты для каждого из экспертов, обеспечивающие достоверное представление существующего положения процесса разработки ПО, правильное понимание сути проблем, возникающих на любом этапе реализации программного проекта, и точные характеристики их составляющих. Разработан алгоритм расчета площадей секторных многоугольников в полярной системе координат, с помощью которого можно вычислить и оценить относительное качество ПО с применением соответствующих критериев. Определены комплексные итоговые показатели качества ПО для каждого из экспертов и комплексный обобщенный показатель его качества для всех экспертов. Разработан алгоритм расчета площади неправильного многоугольника в полярной системе координат, позволяющий определить ту часть качества программного продукта по всем критериям, имеющуюся на данный момент по оценкам одного из экспертов, а также ту часть качества ПО, которое еще нужно достичь для 100% его полноты. Сделаны соответствующие выводы и даны рекомендации по использованию разработанной методологии визуализации информации.The method of information visualization, which can be obtained as a result of processing of expert evaluations of software quality according to various criteria of its evaluation using polar diagrams, is developed.The authors have defined that visualization of the results of the expert evaluation of the software quality is the representation of the information in graphical form for the maximum convenience of its understanding and rapid perception, as well as providing comprehensible and understandable form to any object, subject, process, etc. In the course of research the criteria for evaluating software quality and their weighting factors for each expert are prposed, which provide a reliable representation of the current state of the software development process, correct understanding of the nature of the problems that may arise at any stage of the implementation of the program project, and the exact characteristics of their components. We have also developed the method of calculation of complex final indicators of software quality for each of the experts in particular and an integrated generalized index of its quality for all experts in general, which will enable business analysts to calculate and evaluate the quality of the developed software at any stage of its life cycle, both statically and in dynamics. Furthermore, an algorithm for calculating the area of sector polygons in a polar coordinate system is elaborated, that allows calculating and estimating the relative quality of software according to the relevant criteria. Integrated comprehensive indicators of software quality for each expert and a comprehensive generalized index of its quality for all experts are determined. The algorithm for calculating the area of an irregular polygon in a polar coordinate system is developed, which enables determining the part of software quality according to all the criteria available for particular time according to one of the experts, as well as that portion of software quality, which is still to be achieved for 100 % of its completeness. Thus, appropriate conclusions were made and recommendations on the use of the developed information visualization methodology were given

Особливості надання переваги характеристикам моделі якості програмного продукту

A system for giving preferences to the characteristics of the software product quality model has been developed. The system allows you to model the procedures for providing them with the appropriate criteria, as well as to determine the state of product quality at each level of the hierarchical structure of criteria. It is found that the system of giving preferences – the task of choosing an alternative between possible management decisions or its justification. This is the analysts statement that one alternative will be given more advantage over the other. It is established that the product quality model is the main attribute of the software quality assessment system (software). The model defines characteristics that must be taken into account when establishing the properties of the software. It is revealed that the utility function from the mathematical point of view is a formal description of the analyst s target settings. The settings determine the level of benefit from the provided by the analyst preference for one of the project products depending on its characteristics. A method of giving preferences to the relevant product quality criteria through its utility function by applying interpolation of tabular functions has been developed. The method has made it possible to develop an approach to modelling the procedure of giving preferences to one of the parameters of the management system. Mathematical dependencies have been developed, which make it possible to present an additive utility function for two, three or more parameters, as well as to model the procedures for giving preferences to one of these parameters. With help of the standard software product quality model for the first time a hierarchical structure of software quality criteria was developed. This structure, in contrast to the existing ones, allows to obtain an aggregate indicator of the current quality of software not for two, but for three input parameters. The proposed structure made it possible to build a software quality management system based on input criteria and current indicators. A method for selecting tensive software quality options based on three criteria, which can be given different preferences, has been developed. The method made it possible to determine the current state of the software quality management system according to the relevant indicator, taking into account the cost of system development. An example of software quality management system implementation is given. The peculiarities of application of the method of selection of tensive options according to three criteria are illustrated. The main features of the transition of the software quality management system from one state to another are clarified. The potential costs for carrying out such a transition have been identified.Розроблено систему надання переваг характеристикам моделі якості програмного продукту, яка дає змогу моделювати процедури їх надання відповідним критеріям, а також визначати стан його якості на кожному рівні ієрархічної структури критеріїв. З'ясовано, система надання переваг – завдання вибору альтернативи між можливими управлінськими рішеннями або його обґрунтування, тобто твердження аналітика, що одній альтернативі буде надано більшу перевагу, ніж іншій. Встановлено, модель якості продукту – головний атрибут системи оцінювання якості програмного забезпечення (ПЗ), позаяк містить характеристики, які потрібно враховувати при встановленні його властивостей. Виявлено, функція корисності з математичної точки зору – формальний опис цільових установок аналітика, згідно з якими він визначає рівень користі від наданої ним переваги одному з продуктів проекту залежно від його характеристик. Розроблено метод надання переваг відповідним критеріям якості ПЗ через його функцію корисності шляхом застосування інтерполяції табличних функцій, що дало змогу розробити підхід до моделювання процедури надання переваг одному з параметрів системи управління. Розроблено математичні залежності, які дають змогу подати адитивну функцію корисності для двох, трьох і більше параметрів, а також здійснювати моделювання процедур надання переваг одному з цих параметрів. На підставі стандартної моделі якості програмного продукту вперше розроблено ієрархічну структуру критеріїв якості ПЗ, яка, на відміну від наявних, дає змогу отримати агрегований показник поточної його якості не за двома, а за трьома вхідними параметрами, що уможливило побудову системи управління якістю ПЗ за вхідними критеріями і поточними показниками. Розроблено метод відбору напружених варіантів якості ПЗ за трьома критеріями, яким можна надати різні переваги, що дало змогу визначити поточний стан системи управління якістю ПЗ за відповідним показником з урахуванням вартості розроблення цієї системи. Наведено приклад реалізації системи управління якістю ПЗ, а також проілюстровано особливості застосування методу відбору напружених варіантів за трьома критеріями. З'ясовано основні особливості переходу системи управління якістю ПЗ від одного стану до іншого, а також визначено потенційні витрати для здійснення такого переходу

Visuelle Exploration multidimensionaler Informationsräume: Ein Interface-Baukasten für die Produktsuche

Suchmaschinen bieten Zugang zu großen Datenmengen und viele Möglichkeiten, die Nutzeranfragen zu interpretieren und mit Korrekturen oder Empfehlungen zu unterstützen. Neben diesen technologischen Vorteilen, hat sich am Suchparadigma selbst in den letzten Jahren nicht viel geändert. Die meisten Suchinterfaces bestehen auch heute noch aus den typischen Eingabemasken und linearen Ergebnislisten. Jedoch ist es besonders für Nutzer mit wenig Erfahrung in der aktuellen Suchdomäne oder mit einem sehr unscharfen Informationsbedürfnis schwierig, ihre vagen Vorstellungen in eine spezifische Suchanfrage zu transformieren. Die herkömmlichen eindimensionalen Ergebnislisten bieten oft nur eine einfache Sortierfunktion. Verschiedene Techniken der Informationsvisualisierung bieten jedoch weitaus mehr Möglichkeiten, um multidimensionale Datensätze zu visualisieren und vergleichbar zu machen. Ziel der Arbeit ist es, den Suchprozess am Beispiel der Produktsuche aus der Nutzerperspektive zu analysieren und Anforderungen zu formulieren, welche verschiedene Strategien und Phasen der Suche unterstützen. Die Anwendungsfälle stützen sich dabei vor allem auf komplexere Suchaufgaben mit einem vagen Informationsbedürfnis wie der Planung eines Urlaubs oder dem Finden einer passenden Finanzierungsmöglichkeit. Weiterhin werden verschiedene Techniken der Informationsvisualisierung untersucht, um sowohl die visuelle Exploration und Analyse der multidimensionalen Datenmengen als auch eine schnelle Interpretation und den Vergleich der gefundenen Suchergebnisse zu ermöglichen. Die Betrachtung verschiedener verwandter Arbeiten aus dem kommerziellen und akademischen Bereich führen zu fünf verschiedenen Suchmusterkategorien, die in explorativen Suchszenarien miteinander kombiniert werden können, um den Suchraum einzugrenzen oder aufzufächern. Unter Berücksichtigung der Suchmusterkategorien der schlagwortbasierten Suche, der Ähnlichkeitssuche, der Facettennavigation, der empfehlungsbasierten Suche und des Browsing in strukturierten Inhalten werden verschiedene Lösungsansätze entwickelt, welche die Exploration unterschiedlicher Produktdatenmengen ermöglichen. Basierend auf diesen Fallbeispielen wird ein Baukasten für visuelle Suchinterfaces vorgeschlagen, der vorwärtsgerichtet oder rückwärtsgerichtet im Sinne des Reverse-Engineering angewandt werden kann. Die Bausteine geben einen Gestaltungsraum vor, der den Designer vor allem in der Konzeptionsphase unterstützt. Durch die Kombination verschiedener Bausteine werden der Entwurf neuer Interfacekonzepte und deren Variation ermöglicht. Weiterhin können erprobte Lösungen in Entwurfsmuster überführt werden, welche die Wiederverwendung in ähnlichen Problemkontexten erlauben. Durch das Reverse-Engineering können bekannte Interfaces in einzelne Bestandteile zerlegt und innere Strukturen sowie Zusammenhänge analysiert werden.:1 Einleitung 1.1 Motivation 1.2 Problemdarstellung und Zielsetzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Informationssuche 2.1.1 Informationsbedürfnis 2.1.2 Modelle der Informationssuche 2.1.3 Suchstrategien 2.2 Informationsvisualisierung 2.2.1 Visualisierungsprozess 2.2.2 Datenstrukturen 2.2.3 Visuelle Strukturen 2.2.4 Visualisierungstechniken 2.2.5 Interaktionstechniken 2.3 Entwurfsproblematik in der Mensch-Computer-Interaktion 2.3.1 Entwurfsprozess 2.3.2 Entwurfsmuster und -prinzipien 2.3.3 Baukastensysteme 2.3.4 Semiotik 2.4 Zusammenfassung 3 Suchmuster im Kontext der Produktsuche 3.1 Schlüsselwortsuche 3.1.1 Kommerzielle Anwendungen 3.1.2 Akademische Arbeiten 3.2 Ähnlichkeitssuche 3.2.1 Kommerzielle Anwendungen 3.2.2 Akademische Arbeiten 3.3 Facettennavigation 3.3.1 Kommerzielle Anwendungen 3.3.2 Akademische Arbeiten 3.4 Empfehlungsbasierte Suche 3.4.1 Kommerzielle Anwendungen 3.4.2 Akademische Arbeiten 3.5 Browsing in strukturierten Inhalten 3.5.1 Kommerzielle Anwendungen 3.5.2 Akademische Arbeiten 3.6 Zusammenfassung 4 Motivbasierte Suche 4.1 Nutzerbefragung 4.2 Aspekte der motivbasierten Suche 4.2.1 Exploration 4.2.2 Recherche 4.2.3 Evaluation 4.3 Zusammenfassung 5 Schlagwortbasierte Suche 5.1 Datengrundlage 5.1.1 Klassifikationsschema 5.1.2 Datenanalyse 5.2 DelViz 5.2.1 Konzept für die Explorative Suche 5.2.2 Analysekonzept 5.2.3 Browsing-Konzept 5.2.4 Prototyp 5.3 TagCircus 5.4 Facettice 5.5 Zusammenfassung 6 Ähnlichkeitssuche 6.1 Glyphdarstellungen 6.1.1 Many-to-One-Mapping 6.1.2 One-to-One-Mapping 6.2 Nutzerstudien 6.2.1 Evaluation von Differenzglyphen 6.2.2 Evaluation von Star-Plots und Flower-Glyphen 6.3 Ähnlichkeitssuche mittels Glyphen 6.3.1 Beispielbasierte Suche 6.3.2 Exploration multidimensionaler Datenmengen 6.4 Zusammenfassung 7 Facettennavigation 7.1 Datengrundlage 7.2 Basiskonzept 7.2.1 Interaktion mit den Achsen 7.2.2 Facettenfilter 7.2.3 Ergebnisliste 7.2.4 Suchhistorie 7.3 Parallele Koordinaten 7.3.1 Vergleich 7.3.2 Unscharfer Filter 7.4 Parallel Sets 7.5 Prototyp 7.6 Nutzerstudie 7.6.1 Methodik 7.6.2 Ergebnisse 7.6.3 Diskussion 7.7 Adaption des Konzepts 7.8 Zusammenfassung 8 Empfehlungsbasierte Suche 8.1 Get Inspired 8.1.1 Datengrundlage 8.1.2 Konzeption 8.1.3 Prototyp 8.1.4 Nutzerstudie 8.2 Motbasi 8.2.1 Prototyp 8.2.2 Nutzertest 8.3 Movie-Recommender 8.4 Findr 8.5 Zusammenfassung 9 Baukasten für visuelle Suchinterfaces 9.1 Bausteine 9.2 Baumuster 9.3 Baumusterpläne 9.3.1 Verbindungselemente 9.3.2 Referenzbausteine 9.4 Semiotische Aspekte des Baukastens 9.5 Anwendungsszenarien 9.5.1 Mustererstellung zur Wiederverwendbarkeit 9.5.2 Variantenerzeugung 9.5.3 Inspiration im Entwurfsprozess 9.5.4 Design- und Lehrmethodik 9.6 Zusammenfassung 10 Zusammenfassung 10.1 Zusammenfassung der Kapitel 10.2 Diskussion 10.3 Ausblick Anhang Glossar Abkürzungsverzeichnis Literatur Eigene Veröffentlichungen Betreute studentische Arbeiten Forschungsprojekte Abbildungsverzeichnis Tabellenverzeichnis Verzeichnis der Code-Beispiel