Active-Perceptive Motion Generation for Mobile Manipulation

Mobile Manipulation (MoMa) systems incorporate the benefits of mobility and dexterity, due to the enlarged space in which they can move and interact with their environment. However, even when equipped with onboard sensors, e.g., an embodied camera, extracting task-relevant visual information in unstructured and cluttered environments, such as households, remains challenging. In this work, we introduce an active perception pipeline for mobile manipulators to generate motions that are informative toward manipulation tasks, such as grasping in unknown, cluttered scenes. Our proposed approach, ActPerMoMa, generates robot paths in a receding horizon fashion by sampling paths and computing path-wise utilities. These utilities trade-off maximizing the visual Information Gain (IG) for scene reconstruction and the task-oriented objective, e.g., grasp success, by maximizing grasp reachability. We show the efficacy of our method in simulated experiments with a dual-arm TIAGo++ MoMa robot performing mobile grasping in cluttered scenes with obstacles. We empirically analyze the contribution of various utilities and parameters, and compare against representative baselines both with and without active perception objectives. Finally, we demonstrate the transfer of our mobile grasping strategy to the real world, indicating a promising direction for active-perceptive MoMa.Comment: ICRA 2024. Project page: https://sites.google.com/view/actpermom

Interactive Imitation Learning in State-Space

Imitation Learning techniques enable programming the behavior of agents through demonstrations rather than manual engineering. However, they are limited by the quality of available demonstration data. Interactive Imitation Learning techniques can improve the efficacy of learning since they involve teachers providing feedback while the agent executes its task. In this work, we propose a novel Interactive Learning technique that uses human feedback in state-space to train and improve agent behavior (as opposed to alternative methods that use feedback in action-space). Our method titled Teaching Imitative Policies in State-space~(TIPS) enables providing guidance to the agent in terms of `changing its state' which is often more intuitive for a human demonstrator. Through continuous improvement via corrective feedback, agents trained by non-expert demonstrators using TIPS outperformed the demonstrator and conventional Imitation Learning agents.Comment: Presented at the 4th Conference on Robot Learning (CoRL) 2020, 11 pages, 4 figure

Ikatan Murid dan Mursyid Tarekat Qadiriyah wa Naqsabandiyah dalam pembentukan pribadi moderat: Studi kasus di Lembaga Pembinaan Ibadurrahman Pondok Pesantren Anwarul Huda, Karangbesuki, Sukun, Malang

ABSTRAK Memahami agama hanya berdasar pada teks-teks agama saja tanpa memahami konteks, logika dan aspek-aspek yang lain, menyebabkan pemahaman agama menjadi jumud (kaku), tidak dapat menyesuaikan agama dengan realita kehidupan sosial yang ada. Sedangkan memahami agama hanya mengedepankan akal atau logika (aspek rasionalitas) tanpa didasari dengan pemahaman teks-teks yang menjadi landasan agama, menjadikan seseorang gagal paham dan tidak sadar telah terlena dengan nafsu yang menjerumuskan pada kesesatan. Pondok pesantren Anwarul Huda adalah lembaga pendidikan yang menginternalisasikan dzikir dan pikir melalui nilai-nilai karakter ‘ibadurrahman dan tarekat Qadiriyah wa Naqsabandiyah. Pada hakekatnya tarekat adalah pendidikan rohani (hati), hati yang bersih membuat prilaku menjadi baik. Dalam tarekat peran seorang mursyid sangat dibutuhkan sebagai guide untuk wushul atau ma’rifat billah. Ikatan murid dan mursyid dalam tarekat berkaitan erat dalam membentuk karakter seseorang. Penelitian membahas ikatan murid dan mursyid dalam membentuk karakter menjadi pribadi moderat (tawasuth) melalui lembaga pondok pesantren Anwarul Huda. Oleh karena itu, penelitian ini bertujuan mengetahui: (1) bagaimanakah ikatan murid dan mursyid tarekat Qadiriyah wa Naqsabandiyah di pondok pesantren Anwarul Huda, (2) bagaimana upaya-upaya yang dilakukan murid dan mursyid untuk membentuk karakter pribadi moderat (tawasuth) melalui pembinaan Ibadurrochman di pondok pesantren Anwarul Huda. Pendekatan penelitian ini adalah kualitatif dengan jenis penelitian field research (penelitian lapangan), peneliti juga menambahkan teori George Herbert Mead (interaksionisme simbolik) sebagai pisau analisis penelitian. Sumber utama dari penelitian ini adalah wawancara, observasi dan temuan data dari dokumen-dokumen yang ada. Sedangkan teknis analisis data menggunakan proses analisis deskriptif melalui tahap: (1) reduksi data, (2) penyajian data, (3) penarikan serta pengujian kesimpulan, dan (4) validasi data dengan ketekunan pengamatan dan triangulasi. Penelitian ini menyimpulkan bahwa ikatan murid dan mursyid tarekat Qadiriyah wa Naqsabandiyah di lembaga pembiaan Ibadurrochman pondok pesantren Anwarul Huda, tergolongkan menjadi: (1) ikatan formal, dalam artian ikatan yang sengaja diciptakan berkaitan dengan ajaran tarekat yang bersifat bathiniyah (ikatan hati), (2) ikatan non formal, adalah interaksi diluar ajaran tarekat (konteks hubungan sosial) yang bersifat dzahiriyah. Sedangkan upaya-upaya murid dan mursyid tarekat Qadiriyah wa Naqsabandiyah dalam membentukan karakter moderat di pondok pesantren Anwarul Huda, dilakukan melalui empat macam cara: (1) lebih mendalami agama Islam, (2) serius dalam bertarekat, (3) menteladani para ulama, dan (4) mendekatkan diri dengan mursyid.Memahami agama hanya berdasar pada teks-teks agama saja tanpa memahami konteks, logika dan aspek-aspek yang lain, menyebabkan pemahaman agama menjadi jumud (kaku), tidak dapat menyesuaikan agama dengan realita kehidupan sosial yang ada. Sedangkan memahami agama hanya mengedepankan akal atau logika (aspek rasionalitas) tanpa didasari dengan pemahaman teks-teks yang menjadi landasan agama, menjadikan seseorang gagal paham dan tidak sadar telah terlena dengan nafsu yang menjerumuskan pada kesesatan. Pondok pesantren Anwarul Huda adalah lembaga pendidikan yang menginternalisasikan dzikir dan pikir melalui nilai-nilai karakter ‘ibadurrahman dan tarekat Qadiriyah wa Naqsabandiyah. Pada hakekatnya tarekat adalah pendidikan rohani (hati), hati yang bersih membuat prilaku menjadi baik. Dalam tarekat peran seorang mursyid sangat dibutuhkan sebagai guide untuk wushul atau ma’rifat billah. Ikatan murid dan mursyid dalam tarekat berkaitan erat dalam membentuk karakter seseorang. Penelitian membahas ikatan murid dan mursyid dalam membentuk karakter menjadi pribadi moderat (tawasuth) melalui lembaga pondok pesantren Anwarul Huda. Oleh karena itu, penelitian ini bertujuan mengetahui: (1) bagaimanakah ikatan murid dan mursyid tarekat Qadiriyah wa Naqsabandiyah di pondok pesantren Anwarul Huda, (2) bagaimana upaya-upaya yang dilakukan murid dan mursyid untuk membentuk karakter pribadi moderat (tawasuth) melalui pembinaan Ibadurrochman di pondok pesantren Anwarul Huda. Pendekatan penelitian ini adalah kualitatif dengan jenis penelitian field research (penelitian lapangan), peneliti juga menambahkan teori George Herbert Mead (interaksionisme simbolik) sebagai pisau analisis penelitian. Sumber utama dari penelitian ini adalah wawancara, observasi dan temuan data dari dokumen-dokumen yang ada. Sedangkan teknis analisis data menggunakan proses analisis deskriptif melalui tahap: (1) reduksi data, (2) penyajian data, (3) penarikan serta pengujian kesimpulan, dan (4) validasi data dengan ketekunan pengamatan dan triangulasi. Penelitian ini menyimpulkan bahwa ikatan murid dan mursyid tarekat Qadiriyah wa Naqsabandiyah di lembaga pembiaan Ibadurrochman pondok pesantren Anwarul Huda, tergolongkan menjadi: (1) ikatan formal, dalam artian ikatan yang sengaja diciptakan berkaitan dengan ajaran tarekat yang bersifat bathiniyah (ikatan hati), (2) ikatan non formal, adalah interaksi diluar ajaran tarekat (konteks hubungan sosial) yang bersifat dzahiriyah. Sedangkan upaya-upaya murid dan mursyid tarekat Qadiriyah wa Naqsabandiyah dalam membentukan karakter moderat di pondok pesantren Anwarul Huda, dilakukan melalui empat macam cara: (1) lebih mendalami agama Islam, (2) serius dalam bertarekat, (3) menteladani para ulama, dan (4) mendekatkan diri dengan mursyid. ABSTRACT Understanding religion based only on the text's perspective without comprehension hole context such us logic aspect will cause religion to be ‘jumped’ (rigid), unable to be accustomed to the reality of social life. Instead, interpretation of religion based on prioritizing reason (aspects of rationality) without comprehending the texts of basis religion will be misconception with lust the plunges into fallacy. Anwarul Huda boarding school is an educational institution that internalizes dzhikr and thinks through the character values of 'ibadurrahman and tarekat qadiriyah wa Naqsabandiyah. In essence, tarekat is spiritual education of the heart, a pure heart will become good behavior. For the role of wushul or ma’rifat billah a mursyid as a guide is needed. The fellowships of pupils and mursyids in the order are closely related to shaping one's character. This study discusses the fellowships of students and mursyid in forming a moderate personal character (tawasuth) through the institution of Anwarul Huda boarding school. Therefore, this research aims to know: (1) how are the fellowships of students and mursyid tarikat qadiriyah wa Naqshbandiyah in Anwarul Huda boarding school, (2) how are the efforts made by disciple and mursyid to form a personal character moderate (tawasuth) through the construction of ‘ibadurrahman in Anwarul Huda boarding school. This is qualitative approach research with type part of field research. George Herbert Mead's (symbolic interactionism) theory is the main theory to analyze an empirical problem in this study. The data in this study is based on observations, interviews, and existing documents. While technical data analysis uses to descriptive analysis processes through stages: (1) reduction, (2) presentation, (3) withdrawal and testing, and (4) validation and triangulation. This study concluded, the fellowships of Disciple and Mursyid Tarekat Qadiriyah wa Naqsabandiyah in the institution of the ‘Ibadurrahman of Anwarul Huda boarding school classified as, (1) formal fellowships, the connection that is deliberately created as the teachings of the tarekat bathiniyah (inner of the heart), (2) nonformal fellowships, is an interaction outside the teachings of tarekat (social context) that is dzahiriyah. Yet, the efforts of Disciple and murshid tarikat qadiriyah wa Naqshbandiyah as a forming moderate character in the boarding school Anwarul Huda, carried out through four kinds of ways: ( 1) deeply explore the religion of Islam, (2) seriously with the tarikat, (3) look at the scholars, and (4) associate themselves with mursyid. مستخلص البحث الأفهام الدينية على النصوص الدينية فقط دون فهم السياق والمنطق والجوانب الأخرى ، مما يجعل الفهم الديني يصبح جامدًا. وغير قادر على تكييف الدين مع حقائق الحياة الاجتماعية القائمة. وفي الوقت نفسه ، فإن فهم الدين لا يقدم إلا على العقل أو المنطق (جوانب العقلانية) دون الاستناد إلى فهم النصوص الدينية التي هي أساس الدين ، مما يجعل الشخص يفشل في الفهم ولا يدرك أنه كان راضياً عن الشهوة التي تؤدي إلى الضلال. المدرسة أنوار الهدى الداخلية الإسلامية هي مؤسسة تعليمية تستوعب الذكر وتفكر من خلال قيم شخصية عباد الرحمن والقادرية والنقسبندية. حقيقةً الطريقة هي تربية روحية (قلب) ، والقلب النظيف يصنع السلوك الحسن. في الطريقة دور المرشد مطلوب كدليل للوشل أو معرفة بالله. العلاقة بين الطالب والمرشد في الطريقة وثيقة الصلة بتشكيل شخصية المرء. تناقش الدراسة العلاقة بين الطلاب والمرسيين في تشكيل الشخصية المعتدلة (التواصل) من خلال مدرسة أنوار الهدى الإسلامية الداخلية. لذلك تهدف هذه الدراسة إلى معرفة: (۱) كيف يتم الربط بين الطلاب ومرشد القادرية والنقسبندية في مدرسة أنوار الهدى الإسلامية الداخلية ، (۲) كيف يتم بذل جهود الطلاب والمرشد لتكوين شخصية شخصية معتدلة. (التواسط) من خلال تدريب عبد الرحمن في مدرسة أنوار الهدى الإسلامية الداخلية. المنهج البحثي في هذه الدراسة هي نوعية بالبحث الميداني ، وكذلك نستعمل نظرية جورج هربرت ميد (George Herbet Mead) (التفاعل الرمزي) بصفة نظرية التحليل. كيفية جمع البيانات في هذا البحث هو المقابلات بصرف النظر عن الملاحظات ونتائج البيانات من الوثائق الموجودة. بينما التحليل الفني للبيانات باستخدام عملية التحليل الوصفي خلال المراحل: (۱) تقليل البيانات ، (۲) عرض البيانات ، (۳) استخلاص النتائج واختبارها ، (٤) التحقق من صحة البيانات مع استمرار الملاحظة والتثليث. خلصت هذه الدراسة إلى أن الرابطة بين الطلاب ومرشد القادرية والنقسبندية في منظمة عباد الرحمن المعهد أنوار الهدى الداخلية الإسلامية ، مصنفة إلى: (۱) روابط رسمية ، بمعنى أن الروابط قد تم إنشاؤها عمدًا فيما يتعلق تعاليم الطريقة الروحانية بطبيعتها (روابط القلب) ، (۲) الروابط غير الرسمية ، هي تفاعلات خارج تعاليم الطريقة (السياق الاجتماعي) التي هي ظاهرية أو مادية. وفي الوقت نفسه ، تم بذل جهود طلاب ومرشدي جماعة القادرية والنقسبندية في تكوين شخصيات معتدلة في مدرسة أنوار الهدى الإسلامية الداخلية بأربع طرق: (۱) تعميق معرفتهم بالإسلام ، (۲) الجدية في أتباعهم ، (۳) الاقتداء بالعلماء ، (٤) الاقتراب من المرشد

Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering

Robotic manipulation is critical for admitting robotic agents to various application domains, like intelligent assistance. A major challenge therein is the effective 6DoF grasping of objects in cluttered environments from any viewpoint without requiring additional scene exploration. We introduce $\textit{NeuGraspNet}$, a novel method for 6DoF grasp detection that leverages recent advances in neural volumetric representations and surface rendering. Our approach learns both global (scene-level) and local (grasp-level) neural surface representations, enabling effective and fully implicit 6DoF grasp quality prediction, even in unseen parts of the scene. Further, we reinterpret grasping as a local neural surface rendering problem, allowing the model to encode the interaction between the robot's end-effector and the object's surface geometry. NeuGraspNet operates on single viewpoints and can sample grasp candidates in occluded scenes, outperforming existing implicit and semi-implicit baseline methods in the literature. We demonstrate the real-world applicability of NeuGraspNet with a mobile manipulator robot, grasping in open spaces with clutter by rendering the scene, reasoning about graspable areas of different objects, and selecting grasps likely to succeed without colliding with the environment. Visit our project website: https://sites.google.com/view/neugraspnetComment: Preprin

Identification of prognostic and susceptibility markers in chronic myeloid leukemia using next generation sequencing

Background: Incidence of Chronic Myeloid Leukemia (CML) is continuously increasing and expected to reach 100,000 patients every year by 2030. Though the discovery of Imatinib Mesylate (IM) has brought a paradigm shift in CML treatment, 20% patients show resistance to this tyrosine kinase inhibiter (TKI). Therefore, it is important to identify markers, which can predict the occurrence and prognosis of CML. Clinical Exome Sequencing, panel of more than 4800 genes, was performed in CML patients to identify prognostic and susceptibility markers in CML.Methods: Enrolled CML patients (n=18) were segregated as IM responders (n=10) and IM failures (n=8) as per European Leukemia Net (ELN), 2013 guidelines. Healthy controls (n=5) were also enrolled. DNA from blood of subjects was subjected to Next Generation Sequencing. Rare mutations present in one patient group and absent in another group were considered as prognostic markers, whereas mutations present in more than 50% patients were considered as susceptibility markers.Result: Mutations in genes associated with cancer related functions were found in different patient groups. Four variants: rs116201358, rs4014596, rs52897880 and rs2274329 in C8A, UNC93B1, APOH and CA6 genes, respectively, were present in IM responders; whereas rs4945 in MFGE8 was present in IM failures. Mutations in HLA-DRB1 (rs17878951), HLA-DRB5 (rs137863146), RPHN2 (rs193179333), CYP2F1 (rs116958555), KCNJ12 (rs76684759) and FUT3 (rs151218854) were present as susceptibility markers.Conclusion: The potential genetic markers discovered in this study can help in predicting response to IM as frontline therapy. Susceptibility markers may also be used as panel for individuals prone to have CML.Keywords: Chronic Myeloid Leukemia, Genetic Markers, Next Generation Sequencing (NGS