Virtual assembly rapid prototyping of near net shapes

Virtual reality (VR) provides another dimension to many engineering applications. Its immersive and interactive nature allows an intuitive approach to study both cognitive activities and performance evaluation. Market competitiveness means having products meet form, fit and function quickly. Rapid Prototyping and Manufacturing (RP&M) technologies are increasingly being applied to produce functional prototypes and the direct manufacturing of small components. Despite its flexibility, these systems have common drawbacks such as slow build rates, a limited number of build axes (typically one) and the need for post processing. This paper presents a Virtual Assembly Rapid Prototyping (VARP) project which involves evaluating cognitive activities in assembly tasks based on the adoption of immersive virtual reality along with a novel non-layered rapid prototyping for near net shape (NNS) manufacturing of components. It is envisaged that this integrated project will facilitate a better understanding of design for manufacture and assembly by utilising equivalent scale digital and physical prototyping in one rapid prototyping system. The state of the art of the VARP project is also presented in this paper

Control Of Virtual Staubli Rx160 Manipulator By Phantom Premium Haptic Device

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2014Robotlar çeşitli amaçlarla çok farklı uygulama alanlarında kullanılabilmektedirler. Bu nedenle robotlar için çok çeşitli görevler tanımlanabilir. Bu karmaşık görevleri yerine getirebilmek için, robotların akıllı sistemler olmaları gerekmektedir. Robotları daha fazla akıllı hale getirebilmek sürekli olarak geliştirilebilir bir alandır ve bunu gerçekleştirmenin etkin yollarından biri robot algılarını geliştirmektir. Bu bağlamda, robot algılarının robotik bir uygulamaya entegre edilmesi bu tezin amaçlarından birisidir. Haptics dokunsal ve/veya kinestetik duyuların insan-bilgisayar etkileşimine dahil edilmesi bilimidir. Hem ticari hem de bilimsel araştırmalarda geniş bir yelpazede uygulamalara sahiptir. Bu uygulama alanlarından bazıları şunlardır: Sanal gerçeklik, robotik kontrol, medikal, ameliyat ve diş ile ilgili simülasyonlar gibi eğitim simülasyonları, sanal montaj, çarpışma algılama, moleküler modelleme, SEM (Sonlu Elemanlar Metodu) uygulamaları, nano manipülasyon, eğlence ve oyun, nükleer ve tehlikeli uygulamalar için uzaktan manipülasyon ve 3 boyutlu modelleme. Bu tezde, Phantom Premium 1.5 High Force 6 DOF haptic cihaz kullanılarak Staubli RX160 manipülatörün 3 serbestlik dereceli sanal modeli ile etkileşim sağlayabilen bir yazılım geliştirilmiştir. Kullanıcı haptic arayüz noktasını hareketlendirerek sistem için pozisyon, hız ve ivme girdisi oluşturmaktadır. Geliştirilen algoritma ile, bu girdiler kullanarak kullanıcıya geri besleme olarak kuvvet ve sanal robot görsel hareketi uygulanmaktadır. Kuvvet geri beslemesi Staubli manipülatörün oluşturulan dinamik modeli aracılığı ile hesaplanmaktadır. Görsel geri besleme ise 3 serbestlik dereceli Staubli RX160 için geliştirilen hareket algoritması tarafından heaplanmaktadır.  Geliştirilen yazılım açık kaynak kodlu bir yazılımdır ve konu ile ilgili yapılacak yeni çalışmalara entegre edilebilmesine imkan sağlamaktadır. Gerçek robot davranışlarının ilk aşama olarak, sanal ortamda simüle edilmesi, gerçek robotlar ile yapılan deneyler esnasında oluşabilecek hasarların test ve algoritma geliştirme aşamalarında fark edilip önlenmesi açısından önem taşımaktadır. Ayrıca, ilk aşama olarak uygulamaların sanal ortamda geliştirilmesi harcanacak enerji ve zaman açılarından da tasarruf sağlamaktadır. Bu doğrultuda Staubli manipülatör ve Phantom haptic cihaz ile ilgili yapılacak çalışmaların sanal ortamda simüle edilmesi, bu tezin hedeflerinden birini oluşturmaktadır.   Programlama aşamasında, C/C++ programlama dili temeline dayanan OpenHaptics yazılım geliştirme kiti kullanılmıştır. OpenHaptics QuickHaptics micro API, HLAPI ve HDAPI olmak üzere 3 UPA’ya (Uygulama Programlama Arayüzü) sahiptir. QuickHaptics micro API, az sayıda kod ile hızlı bir şekilde temel uygulamaların geliştirilmesinde kolaylıklar sağlamaktadır. HLAPI, grafiksel olarak ileri uygulamalar geliştirilmesinde avantajlar sağlamaktadır. HDAPI ise doğrudan motor ve enkoderlerin kullanılması ve direk kuvvet ve tork yüklemeleri gibi kontrol algoritmaları ile çalışılacak ileri seviyede çalışmalarda avantajlar sağlamaktadır. Bu çalışmada, her bir UPA’nın avantajlarından faydalanmak amacı ile 3 UPA da kullanılmıştır. Sanal robot hareketlerinin kullanıcıya görsel geri besleme olarak sağlanması için bir görsel arayüz tasarlanmıştır. Tasarlanan görsel arayüz, içerisinde Staubli RX160 manipülatörün katı modelinin konumlandığı sanal bir ortamı göstermektedir. Oluşturulan sanal ortam ve görsel arayüz OpenGL UPA temeline dayanan OpenHaptics komutları kullanılarak geliştirilmiştir. Uygulamada, kullanıcı haptic arayüz noktasını hareket ettirmekte ve bir pozisyon değişimi oluşmaktadır. Gerçekleşen bu pozisyon değişimi ile, zaman dikkate alınarak doğrusal hız ve ivme değerleri hesaplanmaktadır. Daha sonra, bu pozisyon, hız ve ivme değerleri kullanılarak haptic rendering algoritması 3 serbestlik dereceli sanal Staubli manipülatörün dinamik modelinin sonuçlanan kuvvetlerini hesaplamakta ve grafik rendering algoritması sanal Staubli manipülatörün sanal ortamda sonuçlanan hareketini hesaplamaktadır.  Staubli RX 160 manipülatörün gerçek boyutlu katı modelleri Staubli tarafından .stp dosya uzantılı olarak sağlanmıştır. Sanal uzaya bu parçalar .3ds dosya formatına çevrilerek alınmıştır. Sanal uzayda uzuvlar birbirinden bağımsız parçalar olarak konumlanmakta ve hareket etmektedirler. 3 serbestlik dereceli sanal Staubli manipülatör uzuvlarının sanal ortamdaki koordine hareketinin elde edilmesi için robot uzuvları ile bir hiyerarşik model oluşturulmuştur. Daha sonra, sanal modelin sanal uzayda hareketi için, oluşturulan hiyerarşiyi dikkate alarak, her bir uzvun ve eklem koordinat sistemlerinin dönmelerini yinelemeli olarak hesaplayan ve uzuv katı modellerini hareketlendiren bir hareket algoritması geliştirilmiştir. Bu algoritma, sanal Staubli manipülatör uzuvlarının sanal ortamdaki konum ve eksen bilgilerini elde etmek için 3 serbestlik dereceli Staubli manipülatörün çözülen geometrik modelini ve katı modellerin hareketi için OpenHaptics komutlarını kullanmaktadır.  İnsan için dokunsal algı frekansı 1000 Hz ve görsel algı frekansı 30 Hz civarındadır. Bu nedenle, kullanıcıda oluşan gerçeklik hissinin sağlanması için, haptic rendering algoritması çalışma frekansı 1000 Hz, grafik rendering algoritması çalışma frekansı 30 Hz olarak belirlenmiştir. Geliştirilen yazılımda, bu iki algoritma OpenHaptics UPA’larından faydalanılarak farklı iş parçacıklarında, parelel olarak koşacak şekilde programlanmıştır. Böylece, kullanıcıya uygulanacak kuvvet geri beslemeleri saniyede 1000 defa hesaplanarak kullanıcıya uygulanmaktadır. Sanal modelin hareketi ise saniyede 30 defa hesaplanmakta ve arayüzde saniyede 30 kare yenilenmektedir. Uygulanan bu iki ayrı frekans sayesinde kullanıcı, aslında ayrık zamanda gerçekleştirilen uygulamayı sürekli olarak hissediyor olmaktadır. Staubli manipulator için, haptic device tarafından konum kontrolünün sağlanacağı bir sanal uç işlevci ekipmanı tasarlanmış ve sanal ortamda Staubli manipülatörün flanşına eklenmiştir. Staubli RX160 manipülatörün ilk 3 serbestlik derecesi robotun çalışma uzayının büyük kısmına erişimini ve son 3 serbestlik derecesi uç işlevcinin yönelimini sağlamaktadır. Bu çalışmada, Staubli RX160 manipülatörün ilk 3 serbestlik derecesi modellenmiştir. Uygulamada Staubli manipulatörün son 4 uzvu ve tasarlanan uç ekipman tek bir uzuv gibi hareket etmektedir ve böylece yönelim açıları devre dışı bırakılmıştır. Staubli RX160 manipülatör için geometrik, ters geometrik, kinematik, ters kinematik, statik, dinamik ve ters dinamik modelleri çözülmüştür. Staubli RX160 manipülatörün ikinci uzvu yay denge sistemi ile donatılmıştır ve bu model Staubli tarafından sağlanmıştır. Dinamik ve ters dinamik model bu yay modelini ve eklem sürtünme modellerini içermektedir. Haptic arayüz noktasının pozisyon değişimi belirli bir bir katsayı ile ölçeklendirilerek Staubli manipülatörün uç işlevcisinin pozisyon değişimine dönüştürülmektedir. Daha sonra, 3 serbestlik dereceli sanal Staubli manipülatör dinamik modelinin sonuçlanan kuvvetleri haptic cihaz kuvvet limitleri içerisinde bir aralığa ölçeklenmektedir. Pozisyon ve kuvvet ölçeklendirmeleri uniform olarak, diğer bir deyişle her eksen için aynı oranda gerçekleştirilmiştir. Uygulanan pozisyon ölçeği katsayısı pozisyon kazancını ve kuvvet ölçeği katsayısı kuvvet kazancını ifade etmektedir. Deney aşamasında, uygulama için şartlar belirlenmiştir ve deneyler bu koşullar altında gerçekleştirilmiştir. Bu koşullar farklı hareket yörüngeleri, pozisyon ve kuvvet kazançlarından oluşmaktadır. Deney süresince 3 serbestlik dereceli sanal Staubli manipülatörün uç işlevcisi haptic arayüz noktasını takip etmekte, sonuçlanan görsel geri beslemeler ve kuvvet geri beslemeleri kullanıcıya uygulanmaktadır ve geliştirilen yazılım pozisyon, hız, ivme ve kuvvet bilgilerini kayıt altına almaktadır. Uygulama sonlandırıldığında yazılım bu bilgileri bir dosyaya kaydetmektedir. Yazılımın geliştirilmesinin ardından bu tezde incelenecek deney şartları belirlenmiştir. Öncelikle iki farklı hareket yörüngesi kurgulanmıştır. İlk yörüngede haptic arayüz noktasının x,y ve z eksenlerinde sıralı olarak hareket ettirilmesi planlanmıştır. İkinci yörüngede ise haptic arayüz noktasının x, y ve z eksenlerinde aynı anda hareketini sağlayacak dairesel bir yörünge planlanmıştır. Diğer deney şartları kuvvet ve pozisyon kazançlarının farklı değerleri için deneylerin tekrarlanmasını kapsamaktadır.  Yörüngelerin tasarlanmasından sonra, bu çalışma için uygun olacak şekilde iki adet pozisyon kazancı ve üç adet kuvvet kazancı belirlenmiştir. Tasarlanan her bir yörünge için, iki pozisyon kazancı ve her bir pozisyon kazancı için üç kuvvet kazancı deney şartlarını oluşturmaktadır. Böylece, bu şartlar altında 12 deney gerçekleştirilmiştir.  Belirlenen şartlar için deneyler gerçekleştirilmiş ve sonuçlanan pozisyon, hız, ivme ve kuvvet değerleri zamana bağlı olarak çizdirilerek, grafikler elde edilmiştir. Deney esnasında oluşan pozisyon, hız, ivme ve kuvvet bilgilerinin, x, y ve z eksenlerindeki etkilerinin detaylı olarak incelenebilmesi için grafiklerde, bu bilgilerin x, y ve z eksenlerine izdüşümleri çizdirilmiştir. Aynı sonuçların büyüklük eğrileri ise eklerde verilmiştir. Sonuç olarak, hedeflenen yazılım geliştirilmiş ve çeşitli yörünge, pozisyon ve kuvvet kazançları için deneyler gerçekleştirilmiştir. Daha sonra, uygulanan deney koşulları için sistemin kararlılığı ve gerçeklik hissi incelenmiştir. Sayısal olarak hesaplanan türevlerin ve diğer sayısal hesaplamaların sonuçlarda gürültü ve düzensizliklere neden olduğu gözlemlenmiştir. Genel olarak, pozisyon ve kuvvet kazançlarının azaltılmasının kararlılığı iyileştirdiği fakat kullanıcı tarafından algılanan gerçeklik hissini düşürdüğü, hem sonuçlanan grafiklerden hem de haptic cihaz tarafından kullanıcıya uygulanan kuvvet geri beslemelerinden saptanmıştır. Sonuçları dikkate alarak, sistem kararlılığının iyileştirilmesi ve kuvvet düzensizliklerinin azaltılması amacıyla, çeşitli sinyal işleme filtrelerinin ve yapay zeka algoritmalarının sisteme uygulanması gibi bu çalışmanın geliştirilmesine ve ileriki çalışmalara yönelik öneriler sunulmuştur.Robots can be used for a variety of purposes in diverse application areas. Therefore, a wide range of tasks can be defined for robots. For satisfying these complicated tasks, robots need to be intelligent. Making robots intelligent is a continuously developable area and one of the effective ways for this purpose is improving the robot sensations. In this context, integrating tactile sensation to a robotic application is one of the objectives of this thesis.   Haptics is the science of incorporating the tactile and/or kinesthetic sensations into the human-computer interaction. It has a broad range of applications in both commercial and scientific researches. Some of these application areas are: Virtual reality, robotic control, teleoperations or telerobotics, rehabilitation, tele-rehabilitation, training simulations such as medical, surgical and dental simulations, virtual assembly, collision detection, molecular modeling, FEM (Finite Element Method) applications, nano manipulation, entertainment and games, remote manipulations for nuclear and hazardeus applications and 3D modeling. In this thesis, a computer software is written to interact with the virtual model of the 3 DOF Staubli RX160 manipulator via Phantom Premium 1.5 High Force 6 DOF haptic device. OpenHaptics SDK which is based on the C/C++ programming language is used for programming. OpenHaptics have 3 APIs: QuickHaptics micro API, HLAPI and HDAPI. All of these 3 APIs are used in this study to take advantage of each API. A visual interface is designed to obtain a visual feedback of the application by using OpenHaptics commands which are based on the OpenGL API.  In the application, human operator moves the haptic interface point and a position change occurs. By using this position change information, the linear velocity and acceleration of the haptic interface point are computed by considering time. Then, using the position change, velocity and acceleration information of the haptic interface point, the haptic rendering algorithm computes the resulting forces of the dynamic model of the virtual 3 DOF Staubli manipulator and the graphics rendering algorithm computes the resulting motion of the virtual Staubli manipulator in virtual environment. Human tactile and visual perception frequencies are approximately 1000 and 30 Hz respectively. Therefore, to obtain the sense of reality that occurs in user, the haptic rendering algorithm and the graphics rendering algorithm operating frequencies are determined as 1000 Hz and 30 Hz respectively. In the developed software, these two algorithms are programmed in seperate threads which run in parallel by utilizing the OpenHaptics APIs. A virtual tool is designed as an end-effector of the Staubli manipulator and placed to the top of the tool flange of the Staubli manipulator. First 3 DOF of Staubli RX160 manipulator provides to access to the major part of its workspace and the last 3 DOF provides the orientation of the end-effector. First 3 DOF of Staubli RX160 are modeled in this study. The geometric, inverse geometric, kinematic, inverse kinematic, static, dynamic and inverse dynamic model of the 3 DOF Staubli RX160 manipulator are derived. Second link of the Staubli RX160 is equipped with a spring ballance system and it is provided by Staubli. The dynamic and inverse dynamic model of the Staubli manipulator include this spring model and the joint friction models. The position change of the haptic interface point is mapped to the position change of the end-effector of the virtual 3 DOF Staubli RX160. Then, the resulting forces of the dynamic model of the virtual 3 DOF Staubli RX160 are mapped to a limited range of force which is inside the Phantom haptic device capabilities. Position and force mappings are uniform, in other words, all the axes are mapped in the same proportion. The position and force scaling coefficients express the position and force gain respectively.  In the experiment stage, some specific conditions are determined and the experiments are realized for these conditions. These conditions consist of diverse motion paths, position gains and force gains. During the experiments, the end-effector of the virtual 3 DOF Staubli RX160 manipulator follows the haptic interface point movement, the resulting visual and force feedback are applied to the human operator and the developed software records the position, velocity, acceleration and force informations. After the application is stopped, the software writes all of the recorded data to a file.   Consequently, the determined experiments are realized and the resulting graphs are plotted. Then, the stability of the system is investigated. Numerical derivations and other numerical computations caused to instability and “force kicking” in the system. Decreasing the position and the force gain improves the stability, however, sense of reality decreases. Considering the results, some suggestions are made to improve the stability and future works.Yüksek LisansM.Sc

Ambient hues and audible cues: An approach to automotive user interface design using multi-modal feedback

The use of touchscreen interfaces for in-vehicle information, entertainment, and for the control of comfort settings is proliferating. Moreover, using these interfaces requires the same visual and manual resources needed for safe driving. Guided by much of the prevalent research in the areas of the human visual system, attention, and multimodal redundancy the Hues and Cues design paradigm was developed to make touchscreen automotive user interfaces more suitable to use while driving. This paradigm was applied to a prototype of an automotive user interface and evaluated with respects to driver performance using the dual-task, Lane Change Test (LCT). Each level of the design paradigm was evaluated in light of possible gender differences. The results of the repeated measures experiment suggests that when compared to interfaces without both the Hues and the Cues paradigm applied, the Hues and Cues interface requires less mental effort to operate, is more usable, and is more preferred. However, the results differ in the degradation in driver performance with interfaces that only have visual feedback resulting in better task times and significant gender differences in the driving task with interfaces that only have auditory feedback. Overall, the results reported show that the presentation of multimodal feedback can be useful in design automotive interfaces, but must be flexible enough to account for individual differences

The Assistant Personal Robot Project: From the APR-01 to the APR-02 Mobile Robot Prototypes

This paper describes the evolution of the Assistant Personal Robot (APR) project developed at the Robotics Laboratory of the University of Lleida, Spain. This paper describes the first APR-01 prototype developed, the basic hardware improvement, the specific anthropomorphic improvements, and the preference surveys conducted with engineering students from the same university in order to maximize the perceived affinity with the final APR-02 mobile robot prototype. The anthropomorphic improvements have covered the design of the arms, the implementation of the arm and symbolic hand, the selection of a face for the mobile robot, the selection of a neutral facial expression, the selection of an animation for the mouth, the application of proximity feedback, the application of gaze feedback, the use of arm gestures, the selection of the motion planning strategy, and the selection of the nominal translational velocity. The final conclusion is that the development of preference surveys during the implementation of the APR-02 prototype has greatly influenced its evolution and has contributed to increase the perceived affinity and social acceptability of the prototype, which is now ready to develop assistance applications in dynamic workspaces.This research was partially funded by the Accessibility Chair promoted by Indra, Adecco Foundation and the University of Lleida Foundation from 2006 to 2018. The funders had no role in the design of the study; in the collection, analyses, or interpretation of data; in the writing of the manuscript; or in the decision to publish the results

Integrations between Autonomous System and Modern Computing Techniques: A Mini-review

The emulation of human behavior for autonomous problem solving has been an interdisciplinary field of research. Generally, classical control systems are used for static environments, where external disturbances and changes in internal parameters can be fully modulated before or neglected during operation. However, classical control systems are inadequate at addressing environmental uncertainty. By contrast, autonomous systems, which were first studied in the field of control systems, can be applied in an unknown environment. This paper summarizes the state of the art autonomous systems by first discussing the definition, modeling, and system structure of autonomous systems and then providing a perspective on how autonomous systems can be integrated with advanced resources (e.g., the Internet of Things, big data, Over-the-Air, and federated learning). Finally, what comes after reaching full autonomy is briefly discussed

Physical Diagnosis and Rehabilitation Technologies

The book focuses on the diagnosis, evaluation, and assistance of gait disorders; all the papers have been contributed by research groups related to assistive robotics, instrumentations, and augmentative devices

SIMULATING REALITY: TRAINING CITIZEN SCIENTISTS TO JUDGE STREAM HABITATS IN MULTISENSORY VIRTUAL REALITY

Citizen science is a form of crowdsourcing that allows volunteers to participate in scientific data collection and analysis. Many citizen scientists are engaged and motivated by science-based learning and discovery, but high training costs and limited resources often result in volunteers participating in unskilled work, leading to boredom and disengagement. Advances in immersive virtual reality (VR) have created opportunities to recreate physical environments with minimal cost, making it possible to train citizen scientists to make qualitative experiential judgments usually reserved for domain experts. This research trains citizen scientists to assess outdoor stream habitats using StreamBED VR, a multisensory VR training platform. This research offers the following contributions: 1. A study of how expert and novice water monitors make qualitative assessments of outdoor stream habitats using an EPA qualitative protocol. The research found that experts develop intuitive judgments of quality, use multisensory environmental information to make judgments, and construct past and future narratives of streams using environmental characteristics. 2. Iterative design of the Ambient Holodeck multisensory system, and a study of how ambient sensory information impacts observation skills. The research found that multisensory information increased the number of observations participants made, and positively affected engagement and immersion. 3. Iterative design of the StreamBED VR training platform, and two studies; the former explores how qualitative assessment skills can be taught in VR, and the latter considers how training in VR, with and without Multisensory cues, compares to a PowerPoint (PPT) baseline. Study results found although VR participants were more excited to continue training than PPT participants, Standard VR and PPT participants scored closest to an expert gold standard, performing significantly better than Multisensory VR participants. This research concludes that VR has the potential to train qualitative assessment tasks, but qualifies that training design is multifaceted and complex, full of theoretical learning considerations and practical challenges. Further, VR realism can be a powerful tool for training, but is only effective when training cues clearly parallel assessment tasks