Perspektiven zur Kombination von automatischem Animationsdesign und planbasierter Hilfe

Aktuelle Themen auf dem Gebiet der intelligenten Benutzerschnittstellen behandeln derzeit die automatische Planung multimodaler Präsentationen. Hierbei stand bisher im wesentlichen die koordinierte Generierung von Text und Graphik im Vordergrund. In Zukunft wird hier aufgrund der Komplexität der zu präsentierenden Information zunehmend auch die Einbeziehung realistischer animierter 3D-Graphiken gefordert sein. Einen anderen wichtigen Forschungsschwerpunkt bildet der Einsatz graphischer Ausgabekomponenten für planbasierte Hilfesysteme. Die vorliegende Arbeit hat zum Ziel zunächst einen Überblick über den derzeitigen Stand der Forschung in diesen beiden Bereichen zu geben, als auch neue Anforderungen an die automatische Animationsgenerierung und an Systeme zur planbasierten graphischen Hilfe zu formulieren. Anschließend wollen wir, basierend auf Ergebnissen und Erfahrungen aus WIP und PLUS, Perspektiven für eine mögliche Weiterentwicklung und Integration von Techniken der Animationsplanung und graphischen Hilfe präsentieren

Constraint-basierte Verarbeitung graphischen Wissens

Bei der Entwicklung neuerer intelligenter Benutzerschnittstellen, die wie im Beispiel des multimodalen Präsentationssystems WIP natürliche Sprache und Graphik kombinieren, spielt insbesondere die wissensbasierte Gestaltung des Layouts multimodaler Dokumente eine wichtige Rolle. Am Beispiel des Layout-Managers in WIP soll gezeigt werden, wie aufgrund der von einem Präsentationsplaner spezifizierten semantischen und pragmatischen Relationen, die von den media-spezifischen Generatoren erzeugten Graphik- und Textfragmente in einem Dokument automatische arrangiert werden können. Dabei wird das Layoutproblem als Constraint-Satisfaction-Problem behandelt. Es wird hier gezeigt, wie der Constraint-Ansatz sowohl zur Repräsentation von graphischem Wissen, als auch zur Berechnung der Platzierung der Layoutobjekte auf einem Design-Grid verwendet werden kann. So werden semantische Kohärenzrelationen wie etwa "sequence" oder "contrast" durch entsprechende Design-Constraints reflektiert, die perzeptuelle Kriterien (Alignierung, Gruppierung, Symmetrie, etc.) spezifizieren. Zur Realisierung wird in WIP ein mehrschichtiger inkrementeller Constraint-Solver mit lokaler Propagierung verwendet, der es erlaubt, Constraints dynamisch zu generieren

Programmatic and Direct Manipulation, Together at Last

Direct manipulation interfaces and programmatic systems have distinct and complementary strengths. The former provide intuitive, immediate visual feedback and enable rapid prototyping, whereas the latter enable complex, reusable abstractions. Unfortunately, existing systems typically force users into just one of these two interaction modes. We present a system called Sketch-n-Sketch that integrates programmatic and direct manipulation for the particular domain of Scalable Vector Graphics (SVG). In Sketch-n-Sketch, the user writes a program to generate an output SVG canvas. Then the user may directly manipulate the canvas while the system immediately infers a program update in order to match the changes to the output, a workflow we call live synchronization. To achieve this, we propose (i) a technique called trace-based program synthesis that takes program execution history into account in order to constrain the search space and (ii) heuristics for dealing with ambiguities. Based on our experience with examples spanning 2,000 lines of code and from the results of a preliminary user study, we believe that Sketch-n-Sketch provides a novel workflow that can augment traditional programming systems. Our approach may serve as the basis for live synchronization in other application domains, as well as a starting point for yet more ambitious ways of combining programmatic and direct manipulation.Comment: PLDI 2016 Paper + Supplementary Appendice

Perspektiven zur Kombination von automatischem Animationsdesign und planbasierter Hilfe

Aktuelle Themen auf dem Gebiet der intelligenten Benutzerschnittstellen behandeln derzeit die automatische Planung multimodaler Präsentationen. Hierbei stand bisher im wesentlichen die koordinierte Generierung von Text und Graphik im Vordergrund. In Zukunft wird hier aufgrund der Komplexität der zu präsentierenden Information zunehmend auch die Einbeziehung realistischer animierter 3D-Graphiken gefordert sein. Einen anderen wichtigen Forschungsschwerpunkt bildet der Einsatz graphischer Ausgabekomponenten für planbasierte Hilfesysteme. Die vorliegende Arbeit hat zum Ziel zunächst einen Überblick über den derzeitigen Stand der Forschung in diesen beiden Bereichen zu geben, als auch neue Anforderungen an die automatische Animationsgenerierung und an Systeme zur planbasierten graphischen Hilfe zu formulieren. Anschließend wollen wir, basierend auf Ergebnissen und Erfahrungen aus WIP und PLUS, Perspektiven für eine mögliche Weiterentwicklung und Integration von Techniken der Animationsplanung und graphischen Hilfe präsentieren

Constraint-basierte Verarbeitung graphischen Wissens

Bei der Entwicklung neuerer intelligenter Benutzerschnittstellen, die wie im Beispiel des multimodalen Präsentationssystems WIP natürliche Sprache und Graphik kombinieren, spielt insbesondere die wissensbasierte Gestaltung des Layouts multimodaler Dokumente eine wichtige Rolle. Am Beispiel des Layout-Managers in WIP soll gezeigt werden, wie aufgrund der von einem Präsentationsplaner spezifizierten semantischen und pragmatischen Relationen, die von den media-spezifischen Generatoren erzeugten Graphik- und Textfragmente in einem Dokument automatische arrangiert werden können. Dabei wird das Layoutproblem als Constraint-Satisfaction-Problem behandelt. Es wird hier gezeigt, wie der Constraint-Ansatz sowohl zur Repräsentation von graphischem Wissen, als auch zur Berechnung der Platzierung der Layoutobjekte auf einem Design-Grid verwendet werden kann. So werden semantische Kohärenzrelationen wie etwa "sequence" oder "contrast" durch entsprechende Design-Constraints reflektiert, die perzeptuelle Kriterien (Alignierung, Gruppierung, Symmetrie, etc.) spezifizieren. Zur Realisierung wird in WIP ein mehrschichtiger inkrementeller Constraint-Solver mit lokaler Propagierung verwendet, der es erlaubt, Constraints dynamisch zu generieren

Achieving Self-Sustainability in Interactive Graphical Programming Systems

Programming is fraught with accidental complexity. Software, including tools used for programming, is inflexible and hard to adapt to one's specific problem context. Programming tools do not support Notational Freedom, so programmers must waste cognitive effort expressing ideas in suboptimal notations. They must also work around problems caused by a reliance on plain text representations instead of Explicit Structure. The idea of a Self-Sustainable programming system, open to adaptation by its users, promises a way out of these accidental complexities. However, the principles underlying such a property are poorly documented, as are methods for practically achieving it in harmony with Notational Freedom and Explicit Structure. We trace the causes of this difficulty and use them to inform our construction of a prototype self-sustainable system. By carefully reflecting on the steps involved in our specific case, we provide insight into how self-sustainability can be achieved in general, and thus how a motivated programmer can escape the aforementioned sources of accidental complexity

SCENELAB: Scene Labelling by a Society of Agents; A Distributed Constraint Propagation System

This paper describes SCENELAB, a computer system for labelling line drawings of scenes in simple polyhedral worlds. The key idea behind SCENELAB is to bring together the concept of contraint-based filtering algorithms and the paradigm of societies of cooperating agents. The problem of finding labellings for pictures drawn from blocks world scenes has been taken as a sample application. Clearly, this makes SCENELAB no vision system, but we claim that a system designed along these lines could be part of a real vision system. Following e.g. Alan Mackworth, we argue that constraint exploitation on resp. between various representational levels is a key technique of ‘seeing things'. Furthermore, constraints and constraint propagation neatly fit into the framework of societies of agents, realized by asynchronuously concurrent processing units and message passing mechanisms. SCENELAB, as it is actually running, can be used to specify and solve arbitrary Labelling problems that can be seen as instances of a particular class of simple constraint problems based on finite, pseudo-transitive binary constraints. However, it is felt that the overall approach generalizes to arbitrary constraint problems. Emphasis is given to a mathematical model of the problem and its solution, to be able to specify the reasoning techniques of SCENELAB, and to identify the class of problems it can handle. I tried to shed some Light onto the methodological background of SCENELAB, which seems necessary to judge the achievements and disachievements of the present work. After some introductory chapters on the key concepts involved in SCENELAB, (scene) labelling problems, constraint propagation, and societies of agents, an overview on both the structure and behavior of SCENELAB is given in part B of the paper. In part C, then, an algebraic model is introduced, which serves as a base for discussing several approaches to labelling problems, namely Waltz's original Landmark algorithm, a synchronized parallel solution suggested by Azriel Rosenfeld, and clearly, the present approach. A proof of the correctness of SCENELABs algorithms is included. This proof takes into account the specifities of systems of asynchronously communicating agents where no global state is observable

Designing graphical interface programming languages for the end user

This thesis sets out to answer three simple questions: What tools are available for novice programmers to program GUIs? Are those tools fulfilling their role? Can anything be done to make better tools? Despite being simple questions, the answers are not so easily constructed. In answering the first question, it was necessary to examine the range of tools available and decide upon criteria which could be used to identify tools aimed specifically at the novice programmer (there being no currently agreed criteria for their identification). Having identified these tools, it was then necessary to construct a framework within which they could be sensibly compared. The answering of the second question required an investigation of what were the successful features of current tools and which features were less successful. Success or failure of given features was determined by research in both programming language design and studies of programmer satisfaction. Having discovered what should be retained and discarded from current systems, the answering of the third question required the construction of new systems through blending elements from visual languages, program editors and fourth generation languages. These final prototypes illustrate a new way of thinking about and constructing the next generation of GUI programming languages for the novice

Intelligent cameral control for graphical environments

Thesis (Ph. D.)--Massachusetts Institute of Technology, Program in Media Arts & Sciences, 1994.Includes bibliographical references (leaves 194-207).by Steven Mark Drucker.Ph.D