Real-Time WebRTC based Mobile Surveillance System

The rapid growth that has taken place in Computer Vision has been instrumental in driving the advancement of Image processing techniques and drawing inferences from them. Combined with the enormous capabilities that Deep Neural networks bring to the table, computers can be efficiently trained to automate the tasks and yield accurate and robust results quickly thus optimizing the process. Technological growth has enabled us to bring such computationally intensive tasks to lighter and lower-end mobile devices thus opening up a wide range of possibilities. WebRTC-the open-source web standard enables us to send multimedia-based data from peer to peer paving the way for Real-time Communication over the Web. With this project, we aim to build on one such opportunity that can enable us to perform custom object detection through an android based application installed on our mobile phones. Therefore, our problem statement is to be able to capture real-time feeds, perform custom object detection, generate inference results, and appropriately send intruder alerts when needed. To implement this, we propose a mobile-based over-the-cloud solution that can capitalize on the enormous and encouraging features of the YOLO algorithm and incorporate the functionalities of OpenCV’s DNN module for providing us with fast and correct inferences.  Coupled with a good and intuitive UI, we can ensure ease of use of our application

Real-Time Object Detection with Automatic Switching between Single-Board Computers and the Cloud

We present a wireless real-time object detection system utilizing single-board devices, cloud computing platforms and web-streaming. Currently, most inference applications stat- ically perform tasks either on local machines or remote cloud servers. However, devices connected through cellular technolo- gies face volatile network conditions, compromising detection performance. Furthermore, while the limited computing power of single-board computers degrade detection correctness, exces- sive power consumption of machine learning models used for inference reduces operation time. In this paper, we propose a dynamic system that monitors embedded device’s wireless link quality and battery level to decide on detecting objects locally or remotely. The experimental results show that our dynamic offloading approach could reduce devices’ energy usage while achieving high accuracy, real-time object detection. Index Terms—Machine learning, WebRTC, object detection

Characteristics of the QUIC Transport Layer Protocol

Kako računalna tehnologija svakodnevno napreduje već dugi niz godina, tako su se i povećali zahtjevi korisnika za uslugama. U smislu videosadržaja, više nije dovoljno samo isporučiti videosadržaj, kako bi korisnici bili zadovoljni. Korisnici su povećali svoje zahtjeve, kako u smislu kvalitete tako i u upravljanju videosadržaja. Zbog svega navedenoga, razvili su se protokoli koji su omogućili osnovne operacije pri reprodukciji videosadržaja te protokoli koji se prilagođavaju raznim zaslonima i stanju prijenosnog kapaciteta mreže. Iz razloga što postoji konkurencija, mnogo proizvođača želi implementirati svoje protokole u razne sustave, što je krajnjim korisnicima omogućilo bolju kvalitetu usluge, jer svi nastoje implementirati protokole koji bi prenosili videosadržaj strujanjem sa što manje poteškoća. Jedan od posljednjih razvijenih protokola koji je još u fazi izrade, ali se implementirao u razne sustave je QUIC (engl. Quick UDP Internet Connectins) protokol, s kojim se pokušava dodatno smanjiti kašnjenje pri prijenosu videosadržaja strujanjem.As computer technology improves, from one day to another, the users have increased their demands about services. In case of a video, it is not enough to just deliver a video to the users. Users increased their demands, they want better quality video with built-in control operations. Because of these reasons, the protocols are started to develop, with basic functions when reproducing video and protocols which can adapt to various displays and available bandwidth of a user. Because of a competition, a lot of manufacturers wants to implement their protocol in various systems, which gives users better quality of service, because everyone wants to implement a protocol that will stream a video with as low rate of difficulties as possible. One of the latest developed protocols, which is still in a state of a development, is QUIC (engl. Quick UDP Internet Connectins) protocol, which tries to additionally reduce the latency when streaming video

Characteristics of the QUIC Transport Layer Protocol

Kako računalna tehnologija svakodnevno napreduje već dugi niz godina, tako su se i povećali zahtjevi korisnika za uslugama. U smislu videosadržaja, više nije dovoljno samo isporučiti videosadržaj, kako bi korisnici bili zadovoljni. Korisnici su povećali svoje zahtjeve, kako u smislu kvalitete tako i u upravljanju videosadržaja. Zbog svega navedenoga, razvili su se protokoli koji su omogućili osnovne operacije pri reprodukciji videosadržaja te protokoli koji se prilagođavaju raznim zaslonima i stanju prijenosnog kapaciteta mreže. Iz razloga što postoji konkurencija, mnogo proizvođača želi implementirati svoje protokole u razne sustave, što je krajnjim korisnicima omogućilo bolju kvalitetu usluge, jer svi nastoje implementirati protokole koji bi prenosili videosadržaj strujanjem sa što manje poteškoća. Jedan od posljednjih razvijenih protokola koji je još u fazi izrade, ali se implementirao u razne sustave je QUIC (engl. Quick UDP Internet Connectins) protokol, s kojim se pokušava dodatno smanjiti kašnjenje pri prijenosu videosadržaja strujanjem.As computer technology improves, from one day to another, the users have increased their demands about services. In case of a video, it is not enough to just deliver a video to the users. Users increased their demands, they want better quality video with built-in control operations. Because of these reasons, the protocols are started to develop, with basic functions when reproducing video and protocols which can adapt to various displays and available bandwidth of a user. Because of a competition, a lot of manufacturers wants to implement their protocol in various systems, which gives users better quality of service, because everyone wants to implement a protocol that will stream a video with as low rate of difficulties as possible. One of the latest developed protocols, which is still in a state of a development, is QUIC (engl. Quick UDP Internet Connectins) protocol, which tries to additionally reduce the latency when streaming video

Plataforma colaborativa, distribuida, escalable y de bajo costo basada en microservicios, contenedores, dispositivos móviles y servicios en la Nube para tareas de cómputo intensivo

A la hora de resolver tareas de cómputo intensivo de manera distribuida y paralela, habitualmente se utilizan recursos de hardware x86 (CPU/GPU) e infraestructura especializada (Grid, Cluster, Nube) para lograr un alto rendimiento. En sus inicios los procesadores, coprocesadores y chips x86 fueron desarrollados para resolver problemas complejos sin tener en cuenta su consumo energético. Dado su impacto directo en los costos y el medio ambiente, optimizar el uso, refrigeración y gasto energético, así como analizar arquitecturas alternativas, se convirtió en una preocupación principal de las organizaciones. Como resultado, las empresas e instituciones han propuesto diferentes arquitecturas para implementar las características de escalabilidad, flexibilidad y concurrencia. Con el objetivo de plantear una arquitectura alternativa a los esquemas tradicionales, en esta tesis se propone ejecutar las tareas de procesamiento reutilizando las capacidades ociosas de los dispositivos móviles. Estos equipos integran procesadores ARM los cuales, en contraposición a las arquitecturas tradicionales x86, fueron desarrollados con la eficiencia energética como pilar fundacional, ya que son mayormente alimentados por baterías. Estos dispositivos, en los últimos años, han incrementado su capacidad, eficiencia, estabilidad, potencia, así como también masividad y mercado; mientras conservan un precio, tamaño y consumo energético reducido. A su vez, cuentan con lapsos de ociosidad durante los períodos de carga, lo que representa un gran potencial que puede ser reutilizado. Para gestionar y explotar adecuadamente estos recursos, y convertirlos en un centro de datos de procesamiento intensivo; se diseñó, desarrolló y evaluó una plataforma distribuida, colaborativa, elástica y de bajo costo basada en una arquitectura compuesta por microservicios y contenedores orquestados con Kubernetes en ambientes de Nube y local, integrada con herramientas, metodologías y prácticas DevOps. El paradigma de microservicios permitió que las funciones desarrolladas sean fragmentadas en pequeños servicios, con responsabilidades acotadas. Las prácticas DevOps permitieron construir procesos automatizados para la ejecución de pruebas, trazabilidad, monitoreo e integración de modificaciones y desarrollo de nuevas versiones de los servicios. Finalmente, empaquetar las funciones con todas sus dependencias y librerías en contenedores ayudó a mantener servicios pequeños, inmutables, portables, seguros y estandarizados que permiten su ejecución independiente de la arquitectura subyacente. Incluir Kubernetes como Orquestador de contenedores, permitió que los servicios se puedan administrar, desplegar y escalar de manera integral y transparente, tanto a nivel local como en la Nube, garantizando un uso eficiente de la infraestructura, gastos y energía. Para validar el rendimiento, escalabilidad, consumo energético y flexibilidad del sistema, se ejecutaron diversos escenarios concurrentes de transcoding de video. De esta manera se pudo probar, por un lado, el comportamiento y rendimiento de diversos dispositivos móviles y x86 bajo diferentes condiciones de estrés. Por otro lado, se pudo mostrar cómo a través de una carga variable de tareas, la arquitectura se ajusta, flexibiliza y escala para dar respuesta a las necesidades de procesamiento. Los resultados experimentales, sobre la base de los diversos escenarios de rendimiento, carga y saturación planteados, muestran que se obtienen mejoras útiles sobre la línea de base de este estudio y que la arquitectura desarrollada es lo suficientemente robusta para considerarse una alternativa escalable, económica y elástica, respecto a los modelos tradicionales.Facultad de Informátic