Measuring Object Rotation via Visuo-Tactile Segmentation of Grasping Region

When carrying out robotic manipulation tasks, objects occasionally fall as a result of the rotation caused by slippage. This can be prevented by obtaining tactile information that provides better knowledge on the physical properties of the grasping. In this paper, we estimate the rotation angle of a grasped object when slippage occurs. We implement a system made up of a neural network with which to segment the contact region and an algorithm with which to estimate the rotated angle of that region. This method is applied to DIGIT tactile sensors. Our system has additionally been trained and tested with our publicly available dataset which is, to the best of our knowledge, the first dataset related to tactile segmentation from non-synthetic images to appear in the literature, and with which we have attained results of 95% and 90% as regards Dice and IoU metrics in the worst scenario. Moreover, we have obtained a maximum error of ≈ 3° when testing with objects not previously seen by our system in 45 different lifts. This, therefore, proved that our approach is able to detect the slippage movement, thus providing a possible reaction that will prevent the object from falling.This work was supported by the Ministry of Science and Innovation of the Spanish Government through the research project PID2021-122685OB-I00 and by the University of Alicante through the grant UAFPU21-26

Metamorphic stretchable electronics

Die jüngsten Fortschritte auf dem Gebiet der Elektronik wenden sich der Realisierung mechanischer dehnbarer Elektroniken zu. Diese sind in der Lage sich umzuwandeln um neue Formfaktoren anzunehmen. Um eine nahtlose Integration der Elektronik in unsere Alltagsgegenstände und viele weitere Anwendungsfelder zu ermöglichen, bei denen herkömmliche starre elektronische Systeme nicht ausreichen, ist mechanische Dehnbarkeit notwendig. Diese Arbeit zielt darauf ab, eine dehnbare Leiterplattentechnologie (sPCB) zu demonstrieren, die mit industriellen Herstellungsprozessen kompatibel ist. Idealerweise soll das starre Trägersubstrat der konventionellen Elektronik durch ein dehnbares Gummisubstrat mit dehnbaren Leiterbahnen ersetzt werden. Zunächst wurde eine Methode entwickelt, um eine industrietaugliche, einlagige, dehnbare Leiterplatte zu realisieren. Der dargestellte Ansatz unterscheidet sich von anderen Methoden in diesem Bereich, welche die Metallisierung auf dem Gummisubstrat aufbringen und die Komponenten anschließend darauf montieren. Dadurch leiden diese unter einer geringeren Ausrichtung und Fixierung. Stattdessen wird im dargestellten Ansatz ein harter Träger verwendet, der den Einsatz des dehnbaren Gummimaterials bis ans Ende der Prozesskette verschiebt. Diese Single-Layer-Methode wurde weiterentwickelt, um mehrschichtige, integrierte sPCB zu realisieren, bei der verschiedene Metallisierungsebenen durch vertikalen Durchkontaktierungen (VIA) miteinander verbunden werden. Auch dieses Verfahren verwendet konventionelle starre Träger für den Herstellungsprozess. Wie in der konventionellen Leiterplattentechnologie ist auch die Herstellung auf starren Trägern wichtig, da sie Folgendes ermöglicht: Ausrichtung und Registrierung, Hochtemperaturprozesse, konventionelle Chip-Bestückung durch Roboter und "On-Hard-Carrier"-Bauteiltests. Darüber hinaus ermöglicht die dargestellte Methode den direkten Einsatz handelsüblicher SMDs, was für die einfache Realisierung komplexer elektronischer Schaltungen wichtig ist. Als Endsubstrat kommt ein hochelastisches Silikonmaterial (EcoFlex) zum Einsatz, welches die Bauelementebenen einkapselt. Um die Bauelementebenen vom harten Träger auf das weiche Substrat zu übertragen, wird ein einstufiges, waferbasiertes und lösungsmittelfreies Ablöseverfahren eingesetzt, bei dem die differentielle Grenzflächenadhäsion einer Multi-Opferschichten genutzt wird. Für die hochelastischen Leiterbahnen wurde ein neues Mäander-Metallbahndesign entwickelt, welches als "spannungsadaptiv" bezeichnet wird. Die neue Mäander-Metallbahn variiert in ihrer Breite, um das einwirkende Drehmoment in den Metallbahnen, aufgrund der ungleichmäßigen Spannungsverteilung über die Mäander-Schleifen, aufzunehmen. Das spannungsadaptive Design zeigt eine signifikante Verbesserung der Spannungsverteilungen auf den Metallbahnen und führt experimentell zu einem höheren Niveau der maximalen Dehnung und der Anzahl der Dehnungszyklen. Es wurde eine breite Palette von dehnbaren Systemen demonstriert, darunter Elektronik, Optoelektronik, Akustoelektronik und Sensor-Arrays. Die Demonstratoren, auf Basis einer einzigen Metallisierungsschicht in einer Gummimatrix, enthalten Arrays mit gehäusten SMDs, LED-Nacktchips, laborgefertigte Si [my]-Transistoren und MEMS-Mikrofone. Weiterhin wird eine integrierte Multilayer-sPCB mit Chip-großen LEDs und Transistoren demonstriert, um eine adressierbare aktive Matrix zu realisieren. Dieser Prototyp demonstriert die Machbarkeit von integrierten Multilayer-sPCB und wird im Prinzip dazu führen, dass jedes heute bekannte elektronische System in ein äquivalentes dehnbares System überführt werden kann. Schließlich stellt diese Arbeit das bahnbrechende Konzept der metamorphen Elektronik vor, welche sich umwandeln kann um neue Topologien und Formfaktoren anzunehmen. Es werden verschiedene Arten von Deformationsmechanismen demonstriert, darunter das Aufblasen von gleichförmigen oder strukturierten Gummimembranen, 3D-geführte Deformationen und Vakuumformung in Kombination mit 3D-Schablonen. Die Palette der Topologien reicht dabei von halbkugelförmig, kugelförmig, konkav/konvex, pyramidenförmig, turmartig, bis hin zu komplexeren 3D-Formen, darunter Bienenaugen-Strukturen.Recent advancement in the field of electronics has taken a shift to enable the realization of mechanically stretchable electronics which morph to take on new form factors. Mechanical stretchability is necessary to have seamless integration of electronics in our daily life objects and many other purposes where conventional rigid electronic system is insufficient. This thesis aims to enable a stretchable printed circuit board (sPCB) technology that is compatible with industrial manufacturing. Ideally, the rigid carrier substrate of conventional electronics is intended to be replaced by stretchable rubber substrate with stretchable interconnects. Initially, a method has been developed to realize an industry compatible single layer stretchable PCB. The approach is different from other reported methods in this field, which apply the metallization to the rubber support and mount the components on top and, which suffer from a lower level of alignment and fixation. Instead, in the depicted method a hard carrier is used, which delays the use of the stretchable rubber support to the end of the processing sequence. The single layer method has been further developed to realize a multilayer integrated sPCB, where different metallization layers are connected through vertical interconnect access (VIA). The method uses hard carrier. Like conventional PCB technology, the hard carrier fabrication is important since it enables: alignment and registration, high temperature processing, conventional robotic chip placement, and “on-hard-carrier” device tests. Moreover, the depicted method enables direct use of commercially available SMDs which is important to realize complex electronic devices. As final substrate, highly stretchable silicone material (EcoFlex) is used which encapsulates the device layers. To transfer the device layers from hard carrier to soft substrate a single-step, wafer-level, and solvent-free detachment process has been developed which uses the differential interfacial adhesion in between the sacrificial layers. For highly stretchable interconnects a new meander metal track design is developed which is named as “stress adaptive” metal track. The new meander metal track varies in widths to accommodate produced torque in the metal tracks due to the non-uniform stress distribution over the meander loops. The stress adaptive design shows a significant improvement in the stress distributions over the metal tracks in computer simulated stress profile. And, experimental results show a higher level of maximum stretching (320%) and higher number of stretch-release cycles (11000) comparing with a reference design. A wide range of stretchable systems have been demonstrated including electronics, optoelectronics, acoustoelectronics and sensor arrays. The demonstrators contain arrays with packaged SMDs, bare dies integrated LEDs, lab-fabricated Si µ-transistors and MEMS microphones using a single metallization layer within a rubber matrix. Furthermore, an integrated multilayer sPCB is demonstrated using chip scale LEDs and transistors to realize an addressable active matrix. These prototypes of integrated multilayer electronics demonstrate method to enable multilayer sPCB technology which could lead to realize any electronic system known today to be stretchable. Finally, this thesis introduces a new type of electronics which morph to adapt to new topology and form factor. This shape-adaptive electronics is named as metamorphic electronics. Various types of deformation mechanisms have been demonstrated including inflation and/or deflation of uniform or patterned rubber membranes, 3D guided deformations, and vacuum forming in combination with 3D chaperons. The range of topologies includes hemispherical, spherical, concave/convex, pyramid, tower, bumble bee-eye, and more complex 3D shapes

Slippage Prediction from Segmentation of Tactile Images

El uso de sensores táctiles está comenzando a ser una práctica común en tareas complejas de manipulación robótica. Este tipo de sensores proporcionan información extra sobre las propiedades físicas de objetos que están siendo agarrados y/o manipulados. En este trabajo, se ha implementado un sistema capaz de medir el deslizamiento rotacional que pueden sufrir objetos durante su manipulación. Nuestra propuesta emplea sensores táctiles ópticos DIGIT, a partir de los cuáles se capturan imágenes de contacto que luego se procesan e interpretan. En concreto, nuestro método hace uso de un modelo neuronal para la detección de la región de contacto. Y posteriormente, mediante extracción de características visuales de la región detectada, se estima el ángulo causado por movimientos de deslizamiento. Nuestro método estima correctamente la región de contacto obteniendo un 95% y 91% usando las métricas Dice e IoU. Y es capaz de obtener un error medio máximo de 3º en agarres de objetos nunca vistos anteriormente.Using tactile sensors is becoming a common practice to achieve complex manipulation in robotic tasks. These kinds of sensors provide extra information about the physical properties of the grasping and/or manipulation task. In this work, we have implemented a system that is able to measure the rotational slippage of objects in hand. Our proposal uses the vision-based tactile sensors known as DIGITs which allow us to capture contact images, which are then processed. In particular, our method is based on a neural network model applied to the detection of touch/contact regions. Afterwards, we extract visual features from detected contact regions and we then estimate the angle generated due to an unwanted slippage. Our method obtains results of 95% and 91% in Dice and IoU metrics for contact estimation. In addition, it is able to obtain a mean rotational error of 3 degrees in the worst case with previously unseen objects.Este trabajo ha sido financiado por el Ministerio de Ciencia e Innovación a través del proyecto PID2021-122685OB-I00 y por la beca predoctoral UAFPU21-26 de la Universidad de Alicante

Object grasping and safe manipulation using friction-based sensing.

This project provides a solution for slippage prevention in industrial robotic grippers for the purpose of safe object manipulation. Slippage sensing is performed using novel friction-based sensors, with customisable slippage sensitivity and complemented by an effective slippage prediction strategy. The outcome is a reliable and affordable slippage prevention technology

A system for traffic violation detection

This paper describes the framework and components of an experimental platform for an advanced driver assistance system (ADAS) aimed at providing drivers with a feedback about traffic violations they have committed during their driving. The system is able to detect some specific traffic violations, record data associated to these faults in a local data-base, and also allow visualization of the spatial and temporal information of these traffic violations in a geographical map using the standard Google Earth tool. The test-bed is mainly composed of two parts: a computer vision subsystem for traffic sign detection and recognition which operates during both day and nighttime, and an event data recorder (EDR) for recording data related to some specific traffic violations. The paper covers firstly the description of the hardware architecture and then presents the policies used for handling traffic violations

Tactile Perception And Visuotactile Integration For Robotic Exploration

As the close perceptual sibling of vision, the sense of touch has historically received less than deserved attention in both human psychology and robotics. In robotics, this may be attributed to at least two reasons. First, it suffers from the vicious cycle of immature sensor technology, which causes industry demand to be low, and then there is even less incentive to make existing sensors in research labs easy to manufacture and marketable. Second, the situation stems from a fear of making contact with the environment, avoided in every way so that visually perceived states do not change before a carefully estimated and ballistically executed physical interaction. Fortunately, the latter viewpoint is starting to change. Work in interactive perception and contact-rich manipulation are on the rise. Good reasons are steering the manipulation and locomotion communities’ attention towards deliberate physical interaction with the environment prior to, during, and after a task. We approach the problem of perception prior to manipulation, using the sense of touch, for the purpose of understanding the surroundings of an autonomous robot. The overwhelming majority of work in perception for manipulation is based on vision. While vision is a fast and global modality, it is insufficient as the sole modality, especially in environments where the ambient light or the objects therein do not lend themselves to vision, such as in darkness, smoky or dusty rooms in search and rescue, underwater, transparent and reflective objects, and retrieving items inside a bag. Even in normal lighting conditions, during a manipulation task, the target object and fingers are usually occluded from view by the gripper. Moreover, vision-based grasp planners, typically trained in simulation, often make errors that cannot be foreseen until contact. As a step towards addressing these problems, we present first a global shape-based feature descriptor for object recognition using non-prehensile tactile probing alone. Then, we investigate in making the tactile modality, local and slow by nature, more efficient for the task by predicting the most cost-effective moves using active exploration. To combine the local and physical advantages of touch and the fast and global advantages of vision, we propose and evaluate a learning-based method for visuotactile integration for grasping

The cockpit for the 21st century

Interactive surfaces are a growing trend in many domains. As one possible manifestation of Mark Weiser’s vision of ubiquitous and disappearing computers in everywhere objects, we see touchsensitive screens in many kinds of devices, such as smartphones, tablet computers and interactive tabletops. More advanced concepts of these have been an active research topic for many years. This has also influenced automotive cockpit development: concept cars and recent market releases show integrated touchscreens, growing in size. To meet the increasing information and interaction needs, interactive surfaces offer context-dependent functionality in combination with a direct input paradigm. However, interfaces in the car need to be operable while driving. Distraction, especially visual distraction from the driving task, can lead to critical situations if the sum of attentional demand emerging from both primary and secondary task overextends the available resources. So far, a touchscreen requires a lot of visual attention since its flat surface does not provide any haptic feedback. There have been approaches to make direct touch interaction accessible while driving for simple tasks. Outside the automotive domain, for example in office environments, concepts for sophisticated handling of large displays have already been introduced. Moreover, technological advances lead to new characteristics for interactive surfaces by enabling arbitrary surface shapes. In cars, two main characteristics for upcoming interactive surfaces are largeness and shape. On the one hand, spatial extension is not only increasing through larger displays, but also by taking objects in the surrounding into account for interaction. On the other hand, the flatness inherent in current screens can be overcome by upcoming technologies, and interactive surfaces can therefore provide haptically distinguishable surfaces. This thesis describes the systematic exploration of large and shaped interactive surfaces and analyzes their potential for interaction while driving. Therefore, different prototypes for each characteristic have been developed and evaluated in test settings suitable for their maturity level. Those prototypes were used to obtain subjective user feedback and objective data, to investigate effects on driving and glance behavior as well as usability and user experience. As a contribution, this thesis provides an analysis of the development of interactive surfaces in the car. Two characteristics, largeness and shape, are identified that can improve the interaction compared to conventional touchscreens. The presented studies show that large interactive surfaces can provide new and improved ways of interaction both in driver-only and driver-passenger situations. Furthermore, studies indicate a positive effect on visual distraction when additional static haptic feedback is provided by shaped interactive surfaces. Overall, various, non-exclusively applicable, interaction concepts prove the potential of interactive surfaces for the use in automotive cockpits, which is expected to be beneficial also in further environments where visual attention needs to be focused on additional tasks.Der Einsatz von interaktiven Oberflächen weitet sich mehr und mehr auf die unterschiedlichsten Lebensbereiche aus. Damit sind sie eine mögliche Ausprägung von Mark Weisers Vision der allgegenwärtigen Computer, die aus unserer direkten Wahrnehmung verschwinden. Bei einer Vielzahl von technischen Geräten des täglichen Lebens, wie Smartphones, Tablets oder interaktiven Tischen, sind berührungsempfindliche Oberflächen bereits heute in Benutzung. Schon seit vielen Jahren arbeiten Forscher an einer Weiterentwicklung der Technik, um ihre Vorteile auch in anderen Bereichen, wie beispielsweise der Interaktion zwischen Mensch und Automobil, nutzbar zu machen. Und das mit Erfolg: Interaktive Benutzeroberflächen werden mittlerweile serienmäßig in vielen Fahrzeugen eingesetzt. Der Einbau von immer größeren, in das Cockpit integrierten Touchscreens in Konzeptfahrzeuge zeigt, dass sich diese Entwicklung weiter in vollem Gange befindet. Interaktive Oberflächen ermöglichen das flexible Anzeigen von kontextsensitiven Inhalten und machen eine direkte Interaktion mit den Bildschirminhalten möglich. Auf diese Weise erfüllen sie die sich wandelnden Informations- und Interaktionsbedürfnisse in besonderem Maße. Beim Einsatz von Bedienschnittstellen im Fahrzeug ist die gefahrlose Benutzbarkeit während der Fahrt von besonderer Bedeutung. Insbesondere visuelle Ablenkung von der Fahraufgabe kann zu kritischen Situationen führen, wenn Primär- und Sekundäraufgaben mehr als die insgesamt verfügbare Aufmerksamkeit des Fahrers beanspruchen. Herkömmliche Touchscreens stellen dem Fahrer bisher lediglich eine flache Oberfläche bereit, die keinerlei haptische Rückmeldung bietet, weshalb deren Bedienung besonders viel visuelle Aufmerksamkeit erfordert. Verschiedene Ansätze ermöglichen dem Fahrer, direkte Touchinteraktion für einfache Aufgaben während der Fahrt zu nutzen. Außerhalb der Automobilindustrie, zum Beispiel für Büroarbeitsplätze, wurden bereits verschiedene Konzepte für eine komplexere Bedienung großer Bildschirme vorgestellt. Darüber hinaus führt der technologische Fortschritt zu neuen möglichen Ausprägungen interaktiver Oberflächen und erlaubt, diese beliebig zu formen. Für die nächste Generation von interaktiven Oberflächen im Fahrzeug wird vor allem an der Modifikation der Kategorien Größe und Form gearbeitet. Die Bedienschnittstelle wird nicht nur durch größere Bildschirme erweitert, sondern auch dadurch, dass Objekte wie Dekorleisten in die Interaktion einbezogen werden können. Andererseits heben aktuelle Technologieentwicklungen die Restriktion auf flache Oberflächen auf, so dass Touchscreens künftig ertastbare Strukturen aufweisen können. Diese Dissertation beschreibt die systematische Untersuchung großer und nicht-flacher interaktiver Oberflächen und analysiert ihr Potential für die Interaktion während der Fahrt. Dazu wurden für jede Charakteristik verschiedene Prototypen entwickelt und in Testumgebungen entsprechend ihres Reifegrads evaluiert. Auf diese Weise konnten subjektives Nutzerfeedback und objektive Daten erhoben, und die Effekte auf Fahr- und Blickverhalten sowie Nutzbarkeit untersucht werden. Diese Dissertation leistet den Beitrag einer Analyse der Entwicklung von interaktiven Oberflächen im Automobilbereich. Weiterhin werden die Aspekte Größe und Form untersucht, um mit ihrer Hilfe die Interaktion im Vergleich zu herkömmlichen Touchscreens zu verbessern. Die durchgeführten Studien belegen, dass große Flächen neue und verbesserte Bedienmöglichkeiten bieten können. Außerdem zeigt sich ein positiver Effekt auf die visuelle Ablenkung, wenn zusätzliches statisches, haptisches Feedback durch nicht-flache Oberflächen bereitgestellt wird. Zusammenfassend zeigen verschiedene, untereinander kombinierbare Interaktionskonzepte das Potential interaktiver Oberflächen für den automotiven Einsatz. Zudem können die Ergebnisse auch in anderen Bereichen Anwendung finden, in denen visuelle Aufmerksamkeit für andere Aufgaben benötigt wird