A continuum robotic platform for endoscopic non-contact laser surgery: design, control, and preclinical evaluation

The application of laser technologies in surgical interventions has been accepted in the clinical domain due to their atraumatic properties. In addition to manual application of fibre-guided lasers with tissue contact, non-contact transoral laser microsurgery (TLM) of laryngeal tumours has been prevailed in ENT surgery. However, TLM requires many years of surgical training for tumour resection in order to preserve the function of adjacent organs and thus preserve the patient’s quality of life. The positioning of the microscopic laser applicator outside the patient can also impede a direct line-of-sight to the target area due to anatomical variability and limit the working space. Further clinical challenges include positioning the laser focus on the tissue surface, imaging, planning and performing laser ablation, and motion of the target area during surgery. This dissertation aims to address the limitations of TLM through robotic approaches and intraoperative assistance. Although a trend towards minimally invasive surgery is apparent, no highly integrated platform for endoscopic delivery of focused laser radiation is available to date. Likewise, there are no known devices that incorporate scene information from endoscopic imaging into ablation planning and execution. For focusing of the laser beam close to the target tissue, this work first presents miniaturised focusing optics that can be integrated into endoscopic systems. Experimental trials characterise the optical properties and the ablation performance. A robotic platform is realised for manipulation of the focusing optics. This is based on a variable-length continuum manipulator. The latter enables movements of the endoscopic end effector in five degrees of freedom with a mechatronic actuation unit. The kinematic modelling and control of the robot are integrated into a modular framework that is evaluated experimentally. The manipulation of focused laser radiation also requires precise adjustment of the focal position on the tissue. For this purpose, visual, haptic and visual-haptic assistance functions are presented. These support the operator during teleoperation to set an optimal working distance. Advantages of visual-haptic assistance are demonstrated in a user study. The system performance and usability of the overall robotic system are assessed in an additional user study. Analogous to a clinical scenario, the subjects follow predefined target patterns with a laser spot. The mean positioning accuracy of the spot is 0.5 mm. Finally, methods of image-guided robot control are introduced to automate laser ablation. Experiments confirm a positive effect of proposed automation concepts on non-contact laser surgery.Die Anwendung von Lasertechnologien in chirurgischen Interventionen hat sich aufgrund der atraumatischen Eigenschaften in der Klinik etabliert. Neben manueller Applikation von fasergeführten Lasern mit Gewebekontakt hat sich die kontaktfreie transorale Lasermikrochirurgie (TLM) von Tumoren des Larynx in der HNO-Chirurgie durchgesetzt. Die TLM erfordert zur Tumorresektion jedoch ein langjähriges chirurgisches Training, um die Funktion der angrenzenden Organe zu sichern und damit die Lebensqualität der Patienten zu erhalten. Die Positionierung des mikroskopis chen Laserapplikators außerhalb des Patienten kann zudem die direkte Sicht auf das Zielgebiet durch anatomische Variabilität erschweren und den Arbeitsraum einschränken. Weitere klinische Herausforderungen betreffen die Positionierung des Laserfokus auf der Gewebeoberfläche, die Bildgebung, die Planung und Ausführung der Laserablation sowie intraoperative Bewegungen des Zielgebietes. Die vorliegende Dissertation zielt darauf ab, die Limitierungen der TLM durch robotische Ansätze und intraoperative Assistenz zu adressieren. Obwohl ein Trend zur minimal invasiven Chirurgie besteht, sind bislang keine hochintegrierten Plattformen für die endoskopische Applikation fokussierter Laserstrahlung verfügbar. Ebenfalls sind keine Systeme bekannt, die Szeneninformationen aus der endoskopischen Bildgebung in die Ablationsplanung und -ausführung einbeziehen. Für eine situsnahe Fokussierung des Laserstrahls wird in dieser Arbeit zunächst eine miniaturisierte Fokussieroptik zur Integration in endoskopische Systeme vorgestellt. Experimentelle Versuche charakterisieren die optischen Eigenschaften und das Ablationsverhalten. Zur Manipulation der Fokussieroptik wird eine robotische Plattform realisiert. Diese basiert auf einem längenveränderlichen Kontinuumsmanipulator. Letzterer ermöglicht in Kombination mit einer mechatronischen Aktuierungseinheit Bewegungen des Endoskopkopfes in fünf Freiheitsgraden. Die kinematische Modellierung und Regelung des Systems werden in ein modulares Framework eingebunden und evaluiert. Die Manipulation fokussierter Laserstrahlung erfordert zudem eine präzise Anpassung der Fokuslage auf das Gewebe. Dafür werden visuelle, haptische und visuell haptische Assistenzfunktionen eingeführt. Diese unterstützen den Anwender bei Teleoperation zur Einstellung eines optimalen Arbeitsabstandes. In einer Anwenderstudie werden Vorteile der visuell-haptischen Assistenz nachgewiesen. Die Systemperformanz und Gebrauchstauglichkeit des robotischen Gesamtsystems werden in einer weiteren Anwenderstudie untersucht. Analog zu einem klinischen Einsatz verfolgen die Probanden mit einem Laserspot vorgegebene Sollpfade. Die mittlere Positioniergenauigkeit des Spots beträgt dabei 0,5 mm. Zur Automatisierung der Ablation werden abschließend Methoden der bildgestützten Regelung vorgestellt. Experimente bestätigen einen positiven Effekt der Automationskonzepte für die kontaktfreie Laserchirurgie

Internet - based Bilateral Teleoperation Using a Revised Time - Domain Passivity Controller

This study presents a teleoperation system for remote control of mobile manipulators over the Internet. A bilateral control algorithm is proposed that can assure both stability and proper force reflection in the presence of non-constant delay in the communication channels between the master and the slave. The control approach in this paper is based on the time domain passivity concept and proposes a modified passivity controller to assure enhanced transparency with bounded control actions in the presence of time-varying communication delay. Transatlantic and inter-European bilateral teleoperation experiments are also reported (Montreal, Canada - Tirgu Mures, Romania; Budapest, Hungary - Tirgu Mures, Romania). The experimental measurements show the applicability of the control approach and its benefits on the teleoperation performances

Ground Robotic Hand Applications for the Space Program study (GRASP)

This document reports on a NASA-STDP effort to address research interests of the NASA Kennedy Space Center (KSC) through a study entitled, Ground Robotic-Hand Applications for the Space Program (GRASP). The primary objective of the GRASP study was to identify beneficial applications of specialized end-effectors and robotic hand devices for automating any ground operations which are performed at the Kennedy Space Center. Thus, operations for expendable vehicles, the Space Shuttle and its components, and all payloads were included in the study. Typical benefits of automating operations, or augmenting human operators performing physical tasks, include: reduced costs; enhanced safety and reliability; and reduced processing turnaround time

Aerospace medicine and biology: A continuing bibliography with indexes (supplement 344)

This bibliography lists 125 reports, articles and other documents introduced into the NASA Scientific and Technical Information System during January, 1989. Subject coverage includes: aerospace medicine and psychology, life support systems and controlled environments, safety equipment, exobiology and extraterrestrial life, and flight crew behavior and performance

Proceedings of the NASA Conference on Space Telerobotics, volume 3

The theme of the Conference was man-machine collaboration in space. The Conference provided a forum for researchers and engineers to exchange ideas on the research and development required for application of telerobotics technology to the space systems planned for the 1990s and beyond. The Conference: (1) provided a view of current NASA telerobotic research and development; (2) stimulated technical exchange on man-machine systems, manipulator control, machine sensing, machine intelligence, concurrent computation, and system architectures; and (3) identified important unsolved problems of current interest which can be dealt with by future research

Control Of Virtual Staubli Rx160 Manipulator By Phantom Premium Haptic Device

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2014Robotlar çeşitli amaçlarla çok farklı uygulama alanlarında kullanılabilmektedirler. Bu nedenle robotlar için çok çeşitli görevler tanımlanabilir. Bu karmaşık görevleri yerine getirebilmek için, robotların akıllı sistemler olmaları gerekmektedir. Robotları daha fazla akıllı hale getirebilmek sürekli olarak geliştirilebilir bir alandır ve bunu gerçekleştirmenin etkin yollarından biri robot algılarını geliştirmektir. Bu bağlamda, robot algılarının robotik bir uygulamaya entegre edilmesi bu tezin amaçlarından birisidir. Haptics dokunsal ve/veya kinestetik duyuların insan-bilgisayar etkileşimine dahil edilmesi bilimidir. Hem ticari hem de bilimsel araştırmalarda geniş bir yelpazede uygulamalara sahiptir. Bu uygulama alanlarından bazıları şunlardır: Sanal gerçeklik, robotik kontrol, medikal, ameliyat ve diş ile ilgili simülasyonlar gibi eğitim simülasyonları, sanal montaj, çarpışma algılama, moleküler modelleme, SEM (Sonlu Elemanlar Metodu) uygulamaları, nano manipülasyon, eğlence ve oyun, nükleer ve tehlikeli uygulamalar için uzaktan manipülasyon ve 3 boyutlu modelleme. Bu tezde, Phantom Premium 1.5 High Force 6 DOF haptic cihaz kullanılarak Staubli RX160 manipülatörün 3 serbestlik dereceli sanal modeli ile etkileşim sağlayabilen bir yazılım geliştirilmiştir. Kullanıcı haptic arayüz noktasını hareketlendirerek sistem için pozisyon, hız ve ivme girdisi oluşturmaktadır. Geliştirilen algoritma ile, bu girdiler kullanarak kullanıcıya geri besleme olarak kuvvet ve sanal robot görsel hareketi uygulanmaktadır. Kuvvet geri beslemesi Staubli manipülatörün oluşturulan dinamik modeli aracılığı ile hesaplanmaktadır. Görsel geri besleme ise 3 serbestlik dereceli Staubli RX160 için geliştirilen hareket algoritması tarafından heaplanmaktadır.  Geliştirilen yazılım açık kaynak kodlu bir yazılımdır ve konu ile ilgili yapılacak yeni çalışmalara entegre edilebilmesine imkan sağlamaktadır. Gerçek robot davranışlarının ilk aşama olarak, sanal ortamda simüle edilmesi, gerçek robotlar ile yapılan deneyler esnasında oluşabilecek hasarların test ve algoritma geliştirme aşamalarında fark edilip önlenmesi açısından önem taşımaktadır. Ayrıca, ilk aşama olarak uygulamaların sanal ortamda geliştirilmesi harcanacak enerji ve zaman açılarından da tasarruf sağlamaktadır. Bu doğrultuda Staubli manipülatör ve Phantom haptic cihaz ile ilgili yapılacak çalışmaların sanal ortamda simüle edilmesi, bu tezin hedeflerinden birini oluşturmaktadır.   Programlama aşamasında, C/C++ programlama dili temeline dayanan OpenHaptics yazılım geliştirme kiti kullanılmıştır. OpenHaptics QuickHaptics micro API, HLAPI ve HDAPI olmak üzere 3 UPA’ya (Uygulama Programlama Arayüzü) sahiptir. QuickHaptics micro API, az sayıda kod ile hızlı bir şekilde temel uygulamaların geliştirilmesinde kolaylıklar sağlamaktadır. HLAPI, grafiksel olarak ileri uygulamalar geliştirilmesinde avantajlar sağlamaktadır. HDAPI ise doğrudan motor ve enkoderlerin kullanılması ve direk kuvvet ve tork yüklemeleri gibi kontrol algoritmaları ile çalışılacak ileri seviyede çalışmalarda avantajlar sağlamaktadır. Bu çalışmada, her bir UPA’nın avantajlarından faydalanmak amacı ile 3 UPA da kullanılmıştır. Sanal robot hareketlerinin kullanıcıya görsel geri besleme olarak sağlanması için bir görsel arayüz tasarlanmıştır. Tasarlanan görsel arayüz, içerisinde Staubli RX160 manipülatörün katı modelinin konumlandığı sanal bir ortamı göstermektedir. Oluşturulan sanal ortam ve görsel arayüz OpenGL UPA temeline dayanan OpenHaptics komutları kullanılarak geliştirilmiştir. Uygulamada, kullanıcı haptic arayüz noktasını hareket ettirmekte ve bir pozisyon değişimi oluşmaktadır. Gerçekleşen bu pozisyon değişimi ile, zaman dikkate alınarak doğrusal hız ve ivme değerleri hesaplanmaktadır. Daha sonra, bu pozisyon, hız ve ivme değerleri kullanılarak haptic rendering algoritması 3 serbestlik dereceli sanal Staubli manipülatörün dinamik modelinin sonuçlanan kuvvetlerini hesaplamakta ve grafik rendering algoritması sanal Staubli manipülatörün sanal ortamda sonuçlanan hareketini hesaplamaktadır.  Staubli RX 160 manipülatörün gerçek boyutlu katı modelleri Staubli tarafından .stp dosya uzantılı olarak sağlanmıştır. Sanal uzaya bu parçalar .3ds dosya formatına çevrilerek alınmıştır. Sanal uzayda uzuvlar birbirinden bağımsız parçalar olarak konumlanmakta ve hareket etmektedirler. 3 serbestlik dereceli sanal Staubli manipülatör uzuvlarının sanal ortamdaki koordine hareketinin elde edilmesi için robot uzuvları ile bir hiyerarşik model oluşturulmuştur. Daha sonra, sanal modelin sanal uzayda hareketi için, oluşturulan hiyerarşiyi dikkate alarak, her bir uzvun ve eklem koordinat sistemlerinin dönmelerini yinelemeli olarak hesaplayan ve uzuv katı modellerini hareketlendiren bir hareket algoritması geliştirilmiştir. Bu algoritma, sanal Staubli manipülatör uzuvlarının sanal ortamdaki konum ve eksen bilgilerini elde etmek için 3 serbestlik dereceli Staubli manipülatörün çözülen geometrik modelini ve katı modellerin hareketi için OpenHaptics komutlarını kullanmaktadır.  İnsan için dokunsal algı frekansı 1000 Hz ve görsel algı frekansı 30 Hz civarındadır. Bu nedenle, kullanıcıda oluşan gerçeklik hissinin sağlanması için, haptic rendering algoritması çalışma frekansı 1000 Hz, grafik rendering algoritması çalışma frekansı 30 Hz olarak belirlenmiştir. Geliştirilen yazılımda, bu iki algoritma OpenHaptics UPA’larından faydalanılarak farklı iş parçacıklarında, parelel olarak koşacak şekilde programlanmıştır. Böylece, kullanıcıya uygulanacak kuvvet geri beslemeleri saniyede 1000 defa hesaplanarak kullanıcıya uygulanmaktadır. Sanal modelin hareketi ise saniyede 30 defa hesaplanmakta ve arayüzde saniyede 30 kare yenilenmektedir. Uygulanan bu iki ayrı frekans sayesinde kullanıcı, aslında ayrık zamanda gerçekleştirilen uygulamayı sürekli olarak hissediyor olmaktadır. Staubli manipulator için, haptic device tarafından konum kontrolünün sağlanacağı bir sanal uç işlevci ekipmanı tasarlanmış ve sanal ortamda Staubli manipülatörün flanşına eklenmiştir. Staubli RX160 manipülatörün ilk 3 serbestlik derecesi robotun çalışma uzayının büyük kısmına erişimini ve son 3 serbestlik derecesi uç işlevcinin yönelimini sağlamaktadır. Bu çalışmada, Staubli RX160 manipülatörün ilk 3 serbestlik derecesi modellenmiştir. Uygulamada Staubli manipulatörün son 4 uzvu ve tasarlanan uç ekipman tek bir uzuv gibi hareket etmektedir ve böylece yönelim açıları devre dışı bırakılmıştır. Staubli RX160 manipülatör için geometrik, ters geometrik, kinematik, ters kinematik, statik, dinamik ve ters dinamik modelleri çözülmüştür. Staubli RX160 manipülatörün ikinci uzvu yay denge sistemi ile donatılmıştır ve bu model Staubli tarafından sağlanmıştır. Dinamik ve ters dinamik model bu yay modelini ve eklem sürtünme modellerini içermektedir. Haptic arayüz noktasının pozisyon değişimi belirli bir bir katsayı ile ölçeklendirilerek Staubli manipülatörün uç işlevcisinin pozisyon değişimine dönüştürülmektedir. Daha sonra, 3 serbestlik dereceli sanal Staubli manipülatör dinamik modelinin sonuçlanan kuvvetleri haptic cihaz kuvvet limitleri içerisinde bir aralığa ölçeklenmektedir. Pozisyon ve kuvvet ölçeklendirmeleri uniform olarak, diğer bir deyişle her eksen için aynı oranda gerçekleştirilmiştir. Uygulanan pozisyon ölçeği katsayısı pozisyon kazancını ve kuvvet ölçeği katsayısı kuvvet kazancını ifade etmektedir. Deney aşamasında, uygulama için şartlar belirlenmiştir ve deneyler bu koşullar altında gerçekleştirilmiştir. Bu koşullar farklı hareket yörüngeleri, pozisyon ve kuvvet kazançlarından oluşmaktadır. Deney süresince 3 serbestlik dereceli sanal Staubli manipülatörün uç işlevcisi haptic arayüz noktasını takip etmekte, sonuçlanan görsel geri beslemeler ve kuvvet geri beslemeleri kullanıcıya uygulanmaktadır ve geliştirilen yazılım pozisyon, hız, ivme ve kuvvet bilgilerini kayıt altına almaktadır. Uygulama sonlandırıldığında yazılım bu bilgileri bir dosyaya kaydetmektedir. Yazılımın geliştirilmesinin ardından bu tezde incelenecek deney şartları belirlenmiştir. Öncelikle iki farklı hareket yörüngesi kurgulanmıştır. İlk yörüngede haptic arayüz noktasının x,y ve z eksenlerinde sıralı olarak hareket ettirilmesi planlanmıştır. İkinci yörüngede ise haptic arayüz noktasının x, y ve z eksenlerinde aynı anda hareketini sağlayacak dairesel bir yörünge planlanmıştır. Diğer deney şartları kuvvet ve pozisyon kazançlarının farklı değerleri için deneylerin tekrarlanmasını kapsamaktadır.  Yörüngelerin tasarlanmasından sonra, bu çalışma için uygun olacak şekilde iki adet pozisyon kazancı ve üç adet kuvvet kazancı belirlenmiştir. Tasarlanan her bir yörünge için, iki pozisyon kazancı ve her bir pozisyon kazancı için üç kuvvet kazancı deney şartlarını oluşturmaktadır. Böylece, bu şartlar altında 12 deney gerçekleştirilmiştir.  Belirlenen şartlar için deneyler gerçekleştirilmiş ve sonuçlanan pozisyon, hız, ivme ve kuvvet değerleri zamana bağlı olarak çizdirilerek, grafikler elde edilmiştir. Deney esnasında oluşan pozisyon, hız, ivme ve kuvvet bilgilerinin, x, y ve z eksenlerindeki etkilerinin detaylı olarak incelenebilmesi için grafiklerde, bu bilgilerin x, y ve z eksenlerine izdüşümleri çizdirilmiştir. Aynı sonuçların büyüklük eğrileri ise eklerde verilmiştir. Sonuç olarak, hedeflenen yazılım geliştirilmiş ve çeşitli yörünge, pozisyon ve kuvvet kazançları için deneyler gerçekleştirilmiştir. Daha sonra, uygulanan deney koşulları için sistemin kararlılığı ve gerçeklik hissi incelenmiştir. Sayısal olarak hesaplanan türevlerin ve diğer sayısal hesaplamaların sonuçlarda gürültü ve düzensizliklere neden olduğu gözlemlenmiştir. Genel olarak, pozisyon ve kuvvet kazançlarının azaltılmasının kararlılığı iyileştirdiği fakat kullanıcı tarafından algılanan gerçeklik hissini düşürdüğü, hem sonuçlanan grafiklerden hem de haptic cihaz tarafından kullanıcıya uygulanan kuvvet geri beslemelerinden saptanmıştır. Sonuçları dikkate alarak, sistem kararlılığının iyileştirilmesi ve kuvvet düzensizliklerinin azaltılması amacıyla, çeşitli sinyal işleme filtrelerinin ve yapay zeka algoritmalarının sisteme uygulanması gibi bu çalışmanın geliştirilmesine ve ileriki çalışmalara yönelik öneriler sunulmuştur.Robots can be used for a variety of purposes in diverse application areas. Therefore, a wide range of tasks can be defined for robots. For satisfying these complicated tasks, robots need to be intelligent. Making robots intelligent is a continuously developable area and one of the effective ways for this purpose is improving the robot sensations. In this context, integrating tactile sensation to a robotic application is one of the objectives of this thesis.   Haptics is the science of incorporating the tactile and/or kinesthetic sensations into the human-computer interaction. It has a broad range of applications in both commercial and scientific researches. Some of these application areas are: Virtual reality, robotic control, teleoperations or telerobotics, rehabilitation, tele-rehabilitation, training simulations such as medical, surgical and dental simulations, virtual assembly, collision detection, molecular modeling, FEM (Finite Element Method) applications, nano manipulation, entertainment and games, remote manipulations for nuclear and hazardeus applications and 3D modeling. In this thesis, a computer software is written to interact with the virtual model of the 3 DOF Staubli RX160 manipulator via Phantom Premium 1.5 High Force 6 DOF haptic device. OpenHaptics SDK which is based on the C/C++ programming language is used for programming. OpenHaptics have 3 APIs: QuickHaptics micro API, HLAPI and HDAPI. All of these 3 APIs are used in this study to take advantage of each API. A visual interface is designed to obtain a visual feedback of the application by using OpenHaptics commands which are based on the OpenGL API.  In the application, human operator moves the haptic interface point and a position change occurs. By using this position change information, the linear velocity and acceleration of the haptic interface point are computed by considering time. Then, using the position change, velocity and acceleration information of the haptic interface point, the haptic rendering algorithm computes the resulting forces of the dynamic model of the virtual 3 DOF Staubli manipulator and the graphics rendering algorithm computes the resulting motion of the virtual Staubli manipulator in virtual environment. Human tactile and visual perception frequencies are approximately 1000 and 30 Hz respectively. Therefore, to obtain the sense of reality that occurs in user, the haptic rendering algorithm and the graphics rendering algorithm operating frequencies are determined as 1000 Hz and 30 Hz respectively. In the developed software, these two algorithms are programmed in seperate threads which run in parallel by utilizing the OpenHaptics APIs. A virtual tool is designed as an end-effector of the Staubli manipulator and placed to the top of the tool flange of the Staubli manipulator. First 3 DOF of Staubli RX160 manipulator provides to access to the major part of its workspace and the last 3 DOF provides the orientation of the end-effector. First 3 DOF of Staubli RX160 are modeled in this study. The geometric, inverse geometric, kinematic, inverse kinematic, static, dynamic and inverse dynamic model of the 3 DOF Staubli RX160 manipulator are derived. Second link of the Staubli RX160 is equipped with a spring ballance system and it is provided by Staubli. The dynamic and inverse dynamic model of the Staubli manipulator include this spring model and the joint friction models. The position change of the haptic interface point is mapped to the position change of the end-effector of the virtual 3 DOF Staubli RX160. Then, the resulting forces of the dynamic model of the virtual 3 DOF Staubli RX160 are mapped to a limited range of force which is inside the Phantom haptic device capabilities. Position and force mappings are uniform, in other words, all the axes are mapped in the same proportion. The position and force scaling coefficients express the position and force gain respectively.  In the experiment stage, some specific conditions are determined and the experiments are realized for these conditions. These conditions consist of diverse motion paths, position gains and force gains. During the experiments, the end-effector of the virtual 3 DOF Staubli RX160 manipulator follows the haptic interface point movement, the resulting visual and force feedback are applied to the human operator and the developed software records the position, velocity, acceleration and force informations. After the application is stopped, the software writes all of the recorded data to a file.   Consequently, the determined experiments are realized and the resulting graphs are plotted. Then, the stability of the system is investigated. Numerical derivations and other numerical computations caused to instability and “force kicking” in the system. Decreasing the position and the force gain improves the stability, however, sense of reality decreases. Considering the results, some suggestions are made to improve the stability and future works.Yüksek LisansM.Sc

Workspace Computation of Planar Continuum Parallel Robots

Continuum parallel robots (CPRs) comprise several flexible beams connected in parallel to an end-effector. They combine the inherent compliance of continuum robots with the high payload capacity of parallel robots. Workspace characterization is a crucial point in the performance evaluation of CPRs. In this paper, we propose a methodology for the workspace evaluation of planar continuum parallel robots (PCPRs), with focus on the constant-orientation workspace. An explorative algorithm, based on the iterative solution of the inverse geometrico-static problem is proposed for the workspace computation of a generic PCPR. Thanks to an energy-based modelling strategy, and derivative approximation by finite differences, we are able to apply the Kantorovich theorem to certify the existence, uniqueness, and convergence of the solution of the inverse geometrico-static problem at each step of the procedure. Three case studies are shown to demonstrate the effectiveness of the proposed approach

User Experience Enchanced Interface ad Controller Design for Human-Robot Interaction

The robotic technologies have been well developed recently in various fields, such as medical services, industrial manufacture and aerospace. Despite their rapid development, how to deal with the uncertain envi-ronment during human-robot interactions effectively still remains un-resolved. The current artificial intelligence (AI) technology does not support robots to fulfil complex tasks without human’s guidance. Thus, teleoperation, which means remotely controlling a robot by a human op-erator, is indispensable in many scenarios. It is an important and useful tool in research fields. This thesis focuses on the study of designing a user experience (UX) enhanced robot controller, and human-robot in-teraction interfaces that try providing human operators an immersion perception of teleoperation. Several works have been done to achieve the goal.First, to control a telerobot smoothly, a customised variable gain con-trol method is proposed where the stiffness of the telerobot varies with the muscle activation level extracted from signals collected by the surface electromyograph(sEMG) devices. Second, two main works are conducted to improve the user-friendliness of the interaction interfaces. One is that force feedback is incorporated into the framework providing operators with haptic feedback to remotely manipulate target objects. Given the high cost of force sensor, in this part of work, a haptic force estimation algorithm is proposed where force sensor is no longer needed. The other main work is developing a visual servo control system, where a stereo camera is mounted on the head of a dual arm robots offering operators real-time working situations. In order to compensate the internal and ex-ternal uncertainties and accurately track the stereo camera’s view angles along planned trajectories, a deterministic learning techniques is utilised, which enables reusing the learnt knowledge before current dynamics changes and thus features increasing the learning efficiency. Third, in-stead of sending commands to the telerobts by joy-sticks, keyboards or demonstrations, the telerobts are controlled directly by the upper limb motion of the human operator in this thesis. Algorithm that utilised the motion signals from inertial measurement unit (IMU) sensor to captures humans’ upper limb motion is designed. The skeleton of the operator is detected by Kinect V2 and then transformed and mapped into the joint positions of the controlled robot arm. In this way, the upper limb mo-tion signals from the operator is able to act as reference trajectories to the telerobts. A more superior neural networks (NN) based trajectory controller is also designed to track the generated reference trajectory. Fourth, to further enhance the human immersion perception of teleop-eration, the virtual reality (VR) technique is incorporated such that the operator can make interaction and adjustment of robots easier and more accurate from a robot’s perspective.Comparative experiments have been performed to demonstrate the effectiveness of the proposed design scheme. Tests with human subjects were also carried out for evaluating the interface design