Text Detection and Recognition for Person Identification in Video

Demo: cluster 1International audienceThis article presents a demo of person search in audiovisual broadcast using only the text available in a video and in resources external to the video. We also present the different steps used to recognize characters in video for multi-modal person recognition systems. Text detection is realized using the text features (texture, color, contrast, geometry, temporal information). The text recognition itself is performed by the Google Tesseract free software. The method was successfully evaluated on a broadcast news corpus that contains 59 videos from the France 2 French TV channel

Purwarupa Robot Lengan Pemilah Objek Berdasarkan Label Tulisan Secara Realtime

AbstrakSaat ini, perkembangan teknologi robotika tidak hanya pada bidang industri, namun juga mulai merambah dunia pendidikan. Salah satu contohnya adalah kompetisi International Robot Contest (IRC) kategori robot humanoid pada misi pemilahan objek. Bagian tubuh dari robot humanoid yang terpenting dalam pemilahan objek adalah webcam yang digunakan untuk identifikasi objek, dan lengan robot yang digunakan untuk mengambil objek.Pada penelitian ini, dibuat sebuah robot lengan yang memiliki 4 DOF dan 1 gripper, dengan webcam sebagai sensornya. Robot lengan akan mencari objek bola, kubus, atau kaleng yang tampak dalam jangkauannya, kemudian mengambil objek tersebut dan meletakkannya pada label tulisannya yang telah ditentukan lokasinya. Pengolahan citra digital dilakukan oleh komputer menggunakan pustaka OpenCV. Setelah objek dikenali, robot akan bergerak menggunakan metode inverse kinematics geometri. Proses membaca label tulisan dilakukan dengan menggunakan pustaka Tesseract.Pengujian pada penelitian ini, pada pengujian pengaruh intensitas cahaya, diperoleh kinerja terbaik untuk identifikasi objek, pada saat intensitas cahaya antara 1,59 cd sampai 15,92 cd untuk objek bola, antara 3,18 cd – 3,98 cd dengan threshold 50 – 200 untuk kaleng, dan antara 2,39 cd – 3,98 cd dengan threshold 50 – 200 untuk kubus. Ketepatan pengambilan objek mencapai 86,67%, dan ketepatan penempatan objek mencapai 100%. Kata kunci—robot lengan, pemilah objek, pengolahan citra digital, OpenCV, Tesseract.  AbstractThe developments of technology not only in industrialized world, but also the world of education. One example is International Robot Contest (IRC) on humanoid category on object classifying mission.The main part of humanoid robot are both the webcam to identify the objects, and the arm of the robot itself to retrieve the object.In this study, has been made an arm robot which has 4 DOF, 1 gripper, and a webcam as the sensor. The arm robot will find the object whether ball, can, or cube within reach, take the object and put it on its label which has been located. The digital image processing is done by a computer using OpenCV library. Once the object is identified, then the robot will move by applying geometry inverse kinematics method. While the text label identification is done by using Tesseract.The tests in this study are done by testing the influence of light intensity during object identification, object retrieval and object placement accuracy testing. The light intensity testing shown the best result at 1,59 cd – 15,92 cd for the ball, 3,18 cd – 3,98 cd with threshold 50 – 200 for the can, and 2,39 cd – 3,98 cd with the threshold 50 - 200 for the cube. The object retrieval accuracy is 86,67%, and the object placement accuracy is 100%. Keywords—arm robot, object classifier, digital image processing, OpenCV, Tesserac