sistem kendali multiple mikrokontroler menggunakan perintah suara berbasis internet of things

Dalam kehidupan sehari-hari tentunya kita tidak lepas menggunakan perangkat elektronik seperti menyalakan lampu untuk penerangan rumah, menyalakan kipas angin, TV dan lainnya. Bagi orang yang sedang sakit, atau berada di kursi roda, ataupun orang disabitas dan juga orang yang lanjut usia akan kesulitan untuk mencapai saklar lampu ketika ingin menyalakan atau menghidupkan perangkat elektronik. Pada penelitian ini dikembangan voice recognition untuk kendali perangkat elektronik melalui Google Assistant.  Dalam sistem ini, ESP8266 digunakan sebagai mikrokontroller yang mengontrol relay dan membaca nilai sensor DHT11 yang disebut sebagai node. Terdapat 3 node (Node 1, Node 2, Node 3) yang digunakan, dimana Node 1 bertugas sebagai Cluster Head (CH) yang terhubung dengan internet. CH melakukan stream data sekaligus mendistribusikan data dari Node 2 dan Node 3 ke database maupun sebaliknya. Pengujian dibagi menjadi dua tahap yaitu pengujian pada Google Assistant dan pengujian komunikasi kontrol relay. Hasil pengujian menunjukkan sistem dapat bekerja dengan baik dengan tingkat keberhasilan pengujian Google Assistant sebesar 80% dan pengujian kontrol relay sebesar 100%

End-to-End Learning of Speech 2D Feature-Trajectory for Prosthetic Hands

Speech is one of the most common forms of communication in humans. Speech commands are essential parts of multimodal controlling of prosthetic hands. In the past decades, researchers used automatic speech recognition systems for controlling prosthetic hands by using speech commands. Automatic speech recognition systems learn how to map human speech to text. Then, they used natural language processing or a look-up table to map the estimated text to a trajectory. However, the performance of conventional speech-controlled prosthetic hands is still unsatisfactory. Recent advancements in general-purpose graphics processing units (GPGPUs) enable intelligent devices to run deep neural networks in real-time. Thus, architectures of intelligent systems have rapidly transformed from the paradigm of composite subsystems optimization to the paradigm of end-to-end optimization. In this paper, we propose an end-to-end convolutional neural network (CNN) that maps speech 2D features directly to trajectories for prosthetic hands. The proposed convolutional neural network is lightweight, and thus it runs in real-time in an embedded GPGPU. The proposed method can use any type of speech 2D feature that has local correlations in each dimension such as spectrogram, MFCC, or PNCC. We omit the speech to text step in controlling the prosthetic hand in this paper. The network is written in Python with Keras library that has a TensorFlow backend. We optimized the CNN for NVIDIA Jetson TX2 developer kit. Our experiment on this CNN demonstrates a root-mean-square error of 0.119 and 20ms running time to produce trajectory outputs corresponding to the voice input data. To achieve a lower error in real-time, we can optimize a similar CNN for a more powerful embedded GPGPU such as NVIDIA AGX Xavier

Développement d’algorithmes et d’outils logiciels pour l’assistance technique et le suivi en réadaptation

Ce mémoire présente deux projets de développement portant sur des algorithmes et des outils logiciels offrant des solutions pratiques à des problématiques courantes rencontrées en réadaptation. Le premier développement présenté est un algorithme de correspondance de séquence qui s’intègre à des interfaces de contrôle couramment utilisées en pratique. L’implémentation de cet algorithme offre une solution flexible pouvant s’adapter à n’importe quel utilisateur de technologies d’assistances. Le contrôle de tels appareils représente un défi de taille puisqu’ils ont, la plupart du temps, une dimensionnalité élevée (c-à-d. plusieurs degrés de liberté, modes ou commandes) et sont maniés à l’aide d’interfaces basées sur de capteurs de faible dimensionnalité offrant donc très peu de commandes physiques distinctes pour l’utilisateur. L’algorithme proposé se base donc sur de la reconnaissance de courts signaux temporels ayant la possibilité d’être agencés en séquences. L’éventail de combinaisons possibles augmente ainsi la dimensionnalité de l’interface. Deux applications de l’algorithme sont développées et testées. La première avec une interface de contrôle par le souffle pour un bras robotisé et la seconde pour une interface de gestes de la main pour le contrôle du clavier-souris d’un ordinateur. Le second développement présenté dans ce mémoire porte plutôt sur la collecte et l’analyse de données en réadaptation. Que ce soit en milieux cliniques, au laboratoires ou au domicile, nombreuses sont les situations où l’on souhaite récolter des données. La solution pour cette problématique se présente sous la forme d’un écosystème d’applications connectées incluant serveur et applications web, mobiles et embarquée. Ces outils logiciels sont développés sur mesure et offrent un procédé unique, peu coûteux, léger et rapide pour la collecte, la visualisation et la récupération de données. Ce manuscrit détaille une première version en décrivant l’architecture employée, les technologies utilisées et les raisons qui ont mené à ces choix tout en guidant les futures itérations.This Master’s thesis presents two development projects about algorithms and software tools providing practical solutions to commonly faced situations in rehabilitation context. The first project is the development of a sequence matching algorithm that can be integrated to the most commonly used control interfaces. The implementation of this algorithm provides a flexible solution that can be adapted to any assistive technology user. The control of such devices represents a challenge since their dimensionality is high (i.e., many degrees of freedom, modes, commands) and they are controlled with interfaces based on low-dimensionality sensors. Thus, the number of actual physical commands that the user can perform is low. The proposed algorithm is based on short time signals that can be organized into sequences. The multiple possible combinations then contribute to increasing the dimensionality of the interface. Two applications of the algorithm have been developed and tested. The first is a sip-and-puff control interface for a robotic assistive arm and the second is a hand gesture interface for the control of a computer’s mouse and keyboard. The second project presented in this document addresses the issue of collecting and analyzing data. In a rehabilitation’s clinical or laboratory environment, or at home, there are many situations that require gathering data. The proposed solution to this issue is a connected applications ecosystem that includes a web server and mobile, web and embedded applications. This custom-made software offers a unique, inexpensive, lightweight and fast workflow to visualize and retrieve data. The following document describes a first version by elaborating on the architecture, the technologies used, the reasons for those choices, and guide the next iterations

Étude et conception de systèmes de validation de tâches d'assemblage : participation à la conception d'un robot collaboratif destiné à une chaîne de montage automobile

La robotique collaborative connaît ces dernières années une forte croissance, grâce à la pertinence de la collaboration entre les humains et les robots dans un même espace de travail. Des applications industrielles se développent, aussi bien dans les grandes multinationales que dans les PME. Dans le contexte d’une chaîne d’assemblage automobile, de nombreuses problématiques se posent pour permettre la collaboration efficace entre robot et opérateur. Un robot collaboratif conçu dans ce cadre est destiné à effectuer des tâches d’assemblages dans des zones à l’accessibilité complexe. Étant à distance, l’opérateur n’aura pas nécessairement de visuel direct sur l’accomplissement de la tâche, et pour éviter des pertes de temps, il est souhaitable que le robot soit capable de vérifier et de valider automatiquement son bon accomplissement. En découle la problématique à l’étude dans ce mémoire, qui est la vérification automatique du bon accomplissement des tâches d’assemblage effectuées par le robot. Afin d’y répondre, une pré-étude est effectuée, visant à déterminer les possibilités en termes de capteurs et d’algorithmes de détection, et permettant de répondre aux besoins et contraintes de General Motors, commanditaire de cette étude. Chaque chapitre du mémoire présente donc un système de détection, composé d’un capteur et d’un ou plusieurs algorithmes de décision. Les différences en termes de traitement du signal et d’algorithme sont présentées et comparées, en s’appuyant sur des expérimentations. Parmi les types d’assemblages sélectionnés par General Motors, ceux utilisés pour la conception et l’expérimentation des solutions sont les assemblages clipsés (« snap fit ») et les assemblages de connecteurs électriques. Le premier chapitre présente une solution fondée sur l’utilisation de photodétecteurs, secondée par un algorithme vérifiant en temps réel les valeurs renvoyées par le photodétecteur. Lorsque cette valeur descend sous une valeur seuil préétablie, l’algorithme déduit que l’assemblage a été correctement effectué. Cette méthode est simple et robuste, ayant obtenu un taux de détection correcte de la situation d’assemblage de 100% lors des phases de tests. Cependant cette robustesse est contrebalancée par le caractère relativement spécifique de la solution et son peu de flexibilité pour l’adaptation à d’autres assemblages. Le second chapitre porte sur un système employant un accéléromètre destiné à enregistrer les différents mouvements survenant lors de l’assemblage. Suit une méthode de traitement du signal obtenu, permettant de caractériser et de différencier les signaux émanant d’assemblages réussis de ceux provenant d’assemblages ratés grâce à des paramètres statistiques. Ces derniers sont finalement récupérés par deux algorithmes de reconnaissance différents, qui sont ensuite comparés. Le premier algorithme consiste à vérifier la correspondance des paramètres statistiques d’un signal avec des valeurs seuil fixées à l’avance. L’autre méthode, issue de l’apprentissage automatique, utilise les Séparateurs à Vaste Marge pour distinguer deux classes : les assemblages réussis et les assemblages ratés. Après expérimentation, il ressort que ces deux méthodes ont des performances assez similaires , de l’ordre de 90%. Ainsi ce sera le contexte et la complexité du signal à étudier qui présideront au choix d’une méthode. Enfin, le dernier chapitre se penche sur l’emploi d’un microphone et de techniques de reconnaissance sonore pour permettre la bonne identification d’un assemblage de connecteurs électriques. Deux méthodes de traitement, la transformée en ondelettes et les Mel Frequency Cepstrum Coefficients (MFCC), sont comparées. La reconnaissance est assurée par un algorithme basé sur les modèles de mélange gaussiens. A l’issue d’essais où les deux prétraitements ont été mis à l’épreuve, en tenant compte de la résistance face au bruit ambiant, il est possible de constater que la transformée en ondelettes présente des performances supérieures aux MFCC, dans le cadre précis de l’étude. La reconnaissance sonore ne nécessitant qu’un son distinct à identifier pour pouvoir fonctionner, cette solution présente un fort potentiel d’adaptation à d’autres types d’assemblages, mais aussi d’autres problématiques. Ces trois systèmes permettent de balayer un certain éventail de possibilités, et les solutions présentées sont amenées à être croisées et bonifiées afin d’aboutir à des systèmes robustes et fiables, aux standards de l’industrie