A Comparison of Visualisation Methods for Disambiguating Verbal Requests in Human-Robot Interaction

Picking up objects requested by a human user is a common task in human-robot interaction. When multiple objects match the user's verbal description, the robot needs to clarify which object the user is referring to before executing the action. Previous research has focused on perceiving user's multimodal behaviour to complement verbal commands or minimising the number of follow up questions to reduce task time. In this paper, we propose a system for reference disambiguation based on visualisation and compare three methods to disambiguate natural language instructions. In a controlled experiment with a YuMi robot, we investigated real-time augmentations of the workspace in three conditions -- mixed reality, augmented reality, and a monitor as the baseline -- using objective measures such as time and accuracy, and subjective measures like engagement, immersion, and display interference. Significant differences were found in accuracy and engagement between the conditions, but no differences were found in task time. Despite the higher error rates in the mixed reality condition, participants found that modality more engaging than the other two, but overall showed preference for the augmented reality condition over the monitor and mixed reality conditions

An upgrade of an application with respect to execution efficiency, minimised number of manual steps and cross-platform support

This report gives a detailed description of the work of developing an application software system to be used on a particular type of data analysis. Although the specific usage for the analysis has to remain confidential, due to competitive considerations, it implements algorithms to find subsets, or clusters, from a set of comparable units and compare these to find the optimal cluster with respect to certain rules. Although the stakeholders already used an application with the same purpose, its imperfections caused the inquiry for a new one. The stakeholders therefore presented a number of system requirements to be met by this new application, such as reduced execution time, elimination of manual steps and cross-platform support. This report elaborates the work of developing the new application according to these requirements. In particular answers the questions of how to reduce the number of manual steps with a well thought out user interface, how to reduce the execution time by using bitmaps and logical operators rather than of layers with nested loops and how to achieve cross-platform support by developing the application in Java. Thus, the main focus in this report is evaluating the work and the technique used to implement these requirements and the mentioned data analysis algorithm. Concluding the report is a section showing the significant reduction in execution time by batch tests followed by a summarising argument showing that the requirements have been sufficiently met.Denna rapport ger en detaljerad beskrivning av arbetet med att utveckla ett programvarusystem för en speciell typ av dataanalys. Det faktiska användningsområdet av analysmetoden måste, på grund av konkurrensmässiga skäl, hållas konfidentiell men den innefattar algoritmer för att hitta delmängder till en mängd mätbara enheter för att sedan jämföra och hitta de optimala delmängderna enligt vissa regler. Trots att slutanvändarna redan hade ett program med samma användning ledde dess bristfullhet till efterfrågan av ett nytt system. Intressenterna sammanställde därför ett antal systemkrav som det nya systemet skulle uppfylla. Exempel på efterfrågade systemkrav var att förkorta exekveringstiden, stödja flera operativsystem och att minimera de manuella stegen användaren var tvungen att göra. Denna rapport beskriver utvecklandet av detta nya system med avseende på nämnda systemkrav. Mer specifikt beskrivs hur det går att minimera antalet manuella steg genom att utveckla ett genomtänkt användargränssnitt, hur det går att förkorta exekveringstiden med hjälp av bitmapar och logiska operatorer istället för nivåer av nästlade loopar och hur det går att uppnå stöd för flera operativsystem genom att programmera i Java. Huvudfokus i denna rapport är således att utvärdera arbetet med, och tekniken för, att implementera dessa systemkrav och ovan nämnda dataanalysalgoritm. Rapporten sammanfattas genom att påvisa de signifikanta förbättringarna av exekveringstiden genom tester samt en sammanfattande argumentation som fastställeratt systemkraven slutgiltigt blivit uppfyllda

An upgrade of an application with respect to execution efficiency, minimised number of manual steps and cross-platform support

This report gives a detailed description of the work of developing an application software system to be used on a particular type of data analysis. Although the specific usage for the analysis has to remain confidential, due to competitive considerations, it implements algorithms to find subsets, or clusters, from a set of comparable units and compare these to find the optimal cluster with respect to certain rules. Although the stakeholders already used an application with the same purpose, its imperfections caused the inquiry for a new one. The stakeholders therefore presented a number of system requirements to be met by this new application, such as reduced execution time, elimination of manual steps and cross-platform support. This report elaborates the work of developing the new application according to these requirements. In particular answers the questions of how to reduce the number of manual steps with a well thought out user interface, how to reduce the execution time by using bitmaps and logical operators rather than of layers with nested loops and how to achieve cross-platform support by developing the application in Java. Thus, the main focus in this report is evaluating the work and the technique used to implement these requirements and the mentioned data analysis algorithm. Concluding the report is a section showing the significant reduction in execution time by batch tests followed by a summarising argument showing that the requirements have been sufficiently met.Denna rapport ger en detaljerad beskrivning av arbetet med att utveckla ett programvarusystem för en speciell typ av dataanalys. Det faktiska användningsområdet av analysmetoden måste, på grund av konkurrensmässiga skäl, hållas konfidentiell men den innefattar algoritmer för att hitta delmängder till en mängd mätbara enheter för att sedan jämföra och hitta de optimala delmängderna enligt vissa regler. Trots att slutanvändarna redan hade ett program med samma användning ledde dess bristfullhet till efterfrågan av ett nytt system. Intressenterna sammanställde därför ett antal systemkrav som det nya systemet skulle uppfylla. Exempel på efterfrågade systemkrav var att förkorta exekveringstiden, stödja flera operativsystem och att minimera de manuella stegen användaren var tvungen att göra. Denna rapport beskriver utvecklandet av detta nya system med avseende på nämnda systemkrav. Mer specifikt beskrivs hur det går att minimera antalet manuella steg genom att utveckla ett genomtänkt användargränssnitt, hur det går att förkorta exekveringstiden med hjälp av bitmapar och logiska operatorer istället för nivåer av nästlade loopar och hur det går att uppnå stöd för flera operativsystem genom att programmera i Java. Huvudfokus i denna rapport är således att utvärdera arbetet med, och tekniken för, att implementera dessa systemkrav och ovan nämnda dataanalysalgoritm. Rapporten sammanfattas genom att påvisa de signifikanta förbättringarna av exekveringstiden genom tester samt en sammanfattande argumentation som fastställeratt systemkraven slutgiltigt blivit uppfyllda