An inextensible model for the robotic manipulation of textiles

We introduce a new isometric strain model for the study of the dynamics of cloth garments in a moderate stress environment, such as robotic manipulation in the neighborhood of humans. This model treats textiles as surfaces that are inextensible, admitting only isometric motions. Inextensibility is derived in a continuous setting, prior to any discretization, which gives consistency with respect to remeshing and prevents the problem of locking even with coarse meshes. The simulations of robotic manipulation using the model are compared to the actual manipulation in the real world, finding that the difference between the simulated and the real position of each point in the garment is lower than 1cm in average even when a coarse mesh is used. Aerodynamic contributions to motion are incorporated to the model through the virtual uncoupling of the inertial and gravitational mass of the garment. This approach results in an accurate, when compared to the recorded dynamics of real textiles, description of cloth motion incorporating aerodynamic effects by using only two parameters.Peer ReviewedPostprint (published version

Robotic manipulation of cloth: mechanical modeling and perception

(Eng) In this work we study various mathematical problems arising from the robotic manipulation of cloth. First, we develop a locking-free continuous model for the physical simulation of inextensible textiles. We present a novel 'finite element' discretization of our inextensibility constraints which results in a unified treatment of triangle and quadrilateral meshings of the cloth. Next, we explain how to incorporate contacts, self-collisions and friction into the equations of motion, so that frictional forces and inextensibility and collision constraints may be integrated implicitly and without any decoupling. We develop an efficient 'active-set' solver tailored to our non-linear problem which takes into account past active constraints to accelerate the resolution of unresolved contacts and moreover can be initialized from any non-necessarily feasible point. Then, we embark ourselves in the empirical validation of the developed model. We record in a laboratory setting --with depth cameras and motion capture systems-- the motions of seven types of textiles (including e.g. cotton, denim and polyester) of various sizes and at different speeds and end up with more than 80 recordings. The scenarios considered are all dynamic and involve rapid shaking and twisting of the textiles, collisions with frictional objects and even strong hits with a long stick. We then, compare the recorded textiles with the simulations given by our inextensible model, and find that on average the mean error is of the order of 1 cm even for the largest sizes (DIN A2) and the most challenging scenarios. Furthermore, we also tackle other problems relevant to robotic cloth manipulation, such as cloth perception and classification of its states. We present a reconstruction algorithm based on Morse theory that proceeds directly from a point-cloud to obtain a cellular decomposition of a surface with or without boundary: the results are a piecewise parametrization of the cloth surface as a union of Morse cells. From the cellular decomposition the topology of the surface can be then deduced immediately. Finally, we study the configuration space of a piece of cloth: since the original state of a piece of cloth is flat, the set of possible states under the inextensible assumption is the set of developable surfaces isometric to a fixed one. We prove that a generic simple, closed, piecewise regular curve in space can be the boundary of only finitely many developable surfaces with nonvanishing mean curvature. Inspired on this result we introduce the dGLI cloth coordinates, a low-dimensional representation of the state of a piece of cloth based on a directional derivative of the Gauss Linking Integral. These coordinates --computed from the position of the cloth's boundary-- allow to distinguish key qualitative changes in folding sequences.(Esp) En este trabajo estudiamos varios problemas matemáticos relacionados con la manipulación robótica de textiles. En primer lugar, desarrollamos un modelo continuo libre de 'locking' para la simulación física de textiles inextensibles. Presentamos una novedosa discretización usando 'elementos finitos' de nuestras restricciones de inextensibilidad resultando en un tratamiento unificado de mallados triangulares y cuadrangulares de la tela. A continuación, explicamos cómo incorporar contactos, autocolisiones y fricción en las ecuaciones de movimiento, de modo que las fuerzas de fricción y las restricciones de inextensibilidad y colisiones puedan integrarse implícitamente y sin ningún desacoplamiento. Desarrollamos un 'solver' de tipo 'conjunto-activo' adaptado a nuestro problema no lineal que tiene en cuenta las restricciones activas pasadas para acelerar la resolución de los contactos no resueltos y, además, puede inicializarse desde cualquier punto no necesariamente factible. Posteriormente, nos embarcamos en la validación empírica del modelo desarrollado. Grabamos en un entorno de laboratorio -con cámaras de profundidad y sistemas de captura de movimiento- los movimientos de siete tipos de textiles (entre los que se incluyen, por ejemplo, algodón, tela vaquera y poliéster) de varios tamaños y a diferentes velocidades, terminando con más de 80 grabaciones. Los escenarios considerados son todos dinámicos e implican sacudidas y torsiones rápidas de los textiles, colisiones con obstáculos e incluso golpes con una varilla cilíndrica. Finalmente, comparamos las grabaciones con las simulaciones dadas por nuestro modelo inextensible, y encontramos que, de media, el error es del orden de 1 cm incluso para las telas más grandes (DIN A2) y los escenarios más complicados. Además, también abordamos otros problemas relevantes para la manipulación robótica de telas, como son la percepción y la clasificación de sus estados. Presentamos un algoritmo de reconstrucción basado en la teoría de Morse que procede directamente de una nube de puntos para obtener una descomposición celular de una superficie con o sin borde: los resultados son una parametrización a trozos de la superficie de la tela como una unión de celdas de Morse. A partir de la descomposición celular puede deducirse inmediatamente la topología de la superficie. Por último, estudiamos el espacio de configuración de un trozo de tela: dado que el estado original de la tela es plano, el conjunto de estados posibles bajo la hipótesis de inextensibilidad es el conjunto de superficies desarrollables isométricas a una fija. Demostramos que una curva genérica simple, cerrada y regular a trozos en el espacio puede ser el borde de un número finito de superficies desarrollables con curvatura media no nula. Inspirándonos en este resultado, introducimos las coordenadas dGLI, una representación de dimensión baja del estado de un pedazo de tela basada en una derivada direccional de la integral de enlazamiento de Gauss. Estas coordenadas -calculadas a partir de la posición del borde de la tela- permiten distinguir cambios cualitativos clave en distintas secuencias de plegado.Postprint (published version

Robotic manipulation of cloth: mechanical modeling and perception

(Eng) In this work we study various mathematical problems arising from the robotic manipulation of cloth. First, we develop a locking-free continuous model for the physical simulation of inextensible textiles. We present a novel 'finite element' discretization of our inextensibility constraints which results in a unified treatment of triangle and quadrilateral meshings of the cloth. Next, we explain how to incorporate contacts, self-collisions and friction into the equations of motion, so that frictional forces and inextensibility and collision constraints may be integrated implicitly and without any decoupling. We develop an efficient 'active-set' solver tailored to our non-linear problem which takes into account past active constraints to accelerate the resolution of unresolved contacts and moreover can be initialized from any non-necessarily feasible point. Then, we embark ourselves in the empirical validation of the developed model. We record in a laboratory setting --with depth cameras and motion capture systems-- the motions of seven types of textiles (including e.g. cotton, denim and polyester) of various sizes and at different speeds and end up with more than 80 recordings. The scenarios considered are all dynamic and involve rapid shaking and twisting of the textiles, collisions with frictional objects and even strong hits with a long stick. We then, compare the recorded textiles with the simulations given by our inextensible model, and find that on average the mean error is of the order of 1 cm even for the largest sizes (DIN A2) and the most challenging scenarios. Furthermore, we also tackle other problems relevant to robotic cloth manipulation, such as cloth perception and classification of its states. We present a reconstruction algorithm based on Morse theory that proceeds directly from a point-cloud to obtain a cellular decomposition of a surface with or without boundary: the results are a piecewise parametrization of the cloth surface as a union of Morse cells. From the cellular decomposition the topology of the surface can be then deduced immediately. Finally, we study the configuration space of a piece of cloth: since the original state of a piece of cloth is flat, the set of possible states under the inextensible assumption is the set of developable surfaces isometric to a fixed one. We prove that a generic simple, closed, piecewise regular curve in space can be the boundary of only finitely many developable surfaces with nonvanishing mean curvature. Inspired on this result we introduce the dGLI cloth coordinates, a low-dimensional representation of the state of a piece of cloth based on a directional derivative of the Gauss Linking Integral. These coordinates --computed from the position of the cloth's boundary-- allow to distinguish key qualitative changes in folding sequences.(Esp) En este trabajo estudiamos varios problemas matemáticos relacionados con la manipulación robótica de textiles. En primer lugar, desarrollamos un modelo continuo libre de 'locking' para la simulación física de textiles inextensibles. Presentamos una novedosa discretización usando 'elementos finitos' de nuestras restricciones de inextensibilidad resultando en un tratamiento unificado de mallados triangulares y cuadrangulares de la tela. A continuación, explicamos cómo incorporar contactos, autocolisiones y fricción en las ecuaciones de movimiento, de modo que las fuerzas de fricción y las restricciones de inextensibilidad y colisiones puedan integrarse implícitamente y sin ningún desacoplamiento. Desarrollamos un 'solver' de tipo 'conjunto-activo' adaptado a nuestro problema no lineal que tiene en cuenta las restricciones activas pasadas para acelerar la resolución de los contactos no resueltos y, además, puede inicializarse desde cualquier punto no necesariamente factible. Posteriormente, nos embarcamos en la validación empírica del modelo desarrollado. Grabamos en un entorno de laboratorio -con cámaras de profundidad y sistemas de captura de movimiento- los movimientos de siete tipos de textiles (entre los que se incluyen, por ejemplo, algodón, tela vaquera y poliéster) de varios tamaños y a diferentes velocidades, terminando con más de 80 grabaciones. Los escenarios considerados son todos dinámicos e implican sacudidas y torsiones rápidas de los textiles, colisiones con obstáculos e incluso golpes con una varilla cilíndrica. Finalmente, comparamos las grabaciones con las simulaciones dadas por nuestro modelo inextensible, y encontramos que, de media, el error es del orden de 1 cm incluso para las telas más grandes (DIN A2) y los escenarios más complicados. Además, también abordamos otros problemas relevantes para la manipulación robótica de telas, como son la percepción y la clasificación de sus estados. Presentamos un algoritmo de reconstrucción basado en la teoría de Morse que procede directamente de una nube de puntos para obtener una descomposición celular de una superficie con o sin borde: los resultados son una parametrización a trozos de la superficie de la tela como una unión de celdas de Morse. A partir de la descomposición celular puede deducirse inmediatamente la topología de la superficie. Por último, estudiamos el espacio de configuración de un trozo de tela: dado que el estado original de la tela es plano, el conjunto de estados posibles bajo la hipótesis de inextensibilidad es el conjunto de superficies desarrollables isométricas a una fija. Demostramos que una curva genérica simple, cerrada y regular a trozos en el espacio puede ser el borde de un número finito de superficies desarrollables con curvatura media no nula. Inspirándonos en este resultado, introducimos las coordenadas dGLI, una representación de dimensión baja del estado de un pedazo de tela basada en una derivada direccional de la integral de enlazamiento de Gauss. Estas coordenadas -calculadas a partir de la posición del borde de la tela- permiten distinguir cambios cualitativos clave en distintas secuencias de plegado