Finding Temporally Consistent Occlusion Boundaries in Videos using Geometric Context

We present an algorithm for finding temporally consistent occlusion boundaries in videos to support segmentation of dynamic scenes. We learn occlusion boundaries in a pairwise Markov random field (MRF) framework. We first estimate the probability of an spatio-temporal edge being an occlusion boundary by using appearance, flow, and geometric features. Next, we enforce occlusion boundary continuity in a MRF model by learning pairwise occlusion probabilities using a random forest. Then, we temporally smooth boundaries to remove temporal inconsistencies in occlusion boundary estimation. Our proposed framework provides an efficient approach for finding temporally consistent occlusion boundaries in video by utilizing causality, redundancy in videos, and semantic layout of the scene. We have developed a dataset with fully annotated ground-truth occlusion boundaries of over 30 videos ($5000 frames). This dataset is used to evaluate temporal occlusion boundaries and provides a much needed baseline for future studies. We perform experiments to demonstrate the role of scene layout, and temporal information for occlusion reasoning in dynamic scenes.Comment: Applications of Computer Vision (WACV), 2015 IEEE Winter Conference o

On the Impact of Policing and Rate Guarantees in Diff-Serv Networks: A Video Streaming Application Perspective

Over the past few years, there have been a number of proposals aimed at introducing different levels of service in the Internet. One of the more recent proposals is the Differentiated Services (Diff-Serv) architecture, and in this paper we explore how the policing actions and associated rate guarantees provided by the Expedited Forwarding (EF) translate into perceived benefits for applications that are the presumed users of such enhancements. Specifically, we focus on video streaming applications that arguably have relatively strong service quality requirements, and which should, therefore, stand to benefit from the availability of some form of enhanced service. Our goal is to gain a better understanding of the relation that exists between application level quality measures and the selection of the network level parameters that govern the delivery of the guarantees that an EF based service would provide. Our investigation, which is experimental in nature, relies on a number of standard streaming video servers and clients that have been modified and instrumented to allow quantification of the perceived quality of the received video stream. Quality assessments are performed using a Video Quality Measurement tool based on the ANSI objective quality standard. Measurements were made over both a local Diff-Serv testbed and across the QBone, a QoS enabled segment of the Internet2 infrastructure. The paper reports and analyzes the results of those measurements

Business Case and Technology Analysis for 5G Low Latency Applications

A large number of new consumer and industrial applications are likely to change the classic operator's business models and provide a wide range of new markets to enter. This article analyses the most relevant 5G use cases that require ultra-low latency, from both technical and business perspectives. Low latency services pose challenging requirements to the network, and to fulfill them operators need to invest in costly changes in their network. In this sense, it is not clear whether such investments are going to be amortized with these new business models. In light of this, specific applications and requirements are described and the potential market benefits for operators are analysed. Conclusions show that operators have clear opportunities to add value and position themselves strongly with the increasing number of services to be provided by 5G.Comment: 18 pages, 5 figure

Semantic Video CNNs through Representation Warping

In this work, we propose a technique to convert CNN models for semantic segmentation of static images into CNNs for video data. We describe a warping method that can be used to augment existing architectures with very little extra computational cost. This module is called NetWarp and we demonstrate its use for a range of network architectures. The main design principle is to use optical flow of adjacent frames for warping internal network representations across time. A key insight of this work is that fast optical flow methods can be combined with many different CNN architectures for improved performance and end-to-end training. Experiments validate that the proposed approach incurs only little extra computational cost, while improving performance, when video streams are available. We achieve new state-of-the-art results on the CamVid and Cityscapes benchmark datasets and show consistent improvements over different baseline networks. Our code and models will be available at http://segmentation.is.tue.mpg.deComment: ICCV 201

Network coding meets multimedia: a review

While every network node only relays messages in a traditional communication system, the recent network coding (NC) paradigm proposes to implement simple in-network processing with packet combinations in the nodes. NC extends the concept of "encoding" a message beyond source coding (for compression) and channel coding (for protection against errors and losses). It has been shown to increase network throughput compared to traditional networks implementation, to reduce delay and to provide robustness to transmission errors and network dynamics. These features are so appealing for multimedia applications that they have spurred a large research effort towards the development of multimedia-specific NC techniques. This paper reviews the recent work in NC for multimedia applications and focuses on the techniques that fill the gap between NC theory and practical applications. It outlines the benefits of NC and presents the open challenges in this area. The paper initially focuses on multimedia-specific aspects of network coding, in particular delay, in-network error control, and mediaspecific error control. These aspects permit to handle varying network conditions as well as client heterogeneity, which are critical to the design and deployment of multimedia systems. After introducing these general concepts, the paper reviews in detail two applications that lend themselves naturally to NC via the cooperation and broadcast models, namely peer-to-peer multimedia streaming and wireless networkin

In-network quality optimization for adaptive video streaming services

HTTP adaptive streaming (HAS) services allow the quality of streaming video to be automatically adapted by the client application in face of network and device dynamics. Due to their advantages compared to traditional techniques, HAS-based protocols are widely used for over-the-top (OTT) video streaming. However, they are yet to be adopted in managed environments, such as ISP networks. A major obstacle is the purely client-driven design of current HAS approaches, which leads to excessive quality oscillations, suboptimal behavior, and the inability to enforce management policies. Moreover, the provider has no control over the quality that is provided, which is essential when offering a managed service. This article tackles these challenges and facilitates the adoption of HAS in managed networks. Specifically, several centralized and distributed algorithms and heuristics are proposed that allow nodes inside the network to steer the HAS client's quality selection process. The algorithms are able to enforce management policies by limiting the set of available qualities for specific clients. Additionally, simulation results show that by coordinating the quality selection process across multiple clients, the proposed algorithms significantly reduce quality oscillations by a factor of five and increase the average delivered video quality by at least 14%

Influence of beta and theta binaural beat stimulation on episodic memory: an EEG study

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2021Binaural beats (BBs) are auditory illusions created by the brain when two coherent sounds with slightly different frequencies are presented to both ears dichotically. For example, if the subject is presented a 256 Hz tone to the right ear and a 250 Hz to the left ear, the beat in this phenomenon is referred to as a 6 Hz theta binaural beat. Conversely, a mix of two sinusoids presented to the same ear is called acoustic beat (AB), resulting in a periodic amplitude fluctuation. Although BBs were shown to have positive effects on cognition, there are no sufficient studies on BBs and episodic memory. Furthermore, there is no agreement to explain the brain mechanism underlying the perception of BBs. The primary goal of this study is to investigate the influence of BBs on episodic memory and the effects of BB stimulation on brain rhythms, more concretely to examine whether they can change the power of specific EEG frequencies, comparatively to ABs. The secondary objective focuses on an exploratory study to measure cortical auditory evoked potentials (CAEPs) applying Muse, a consumer-grade EEG device used in this study, in order to assess its potential and the corresponding data quality. To meet the goals, two separate experiments were designed: a classic CAEP paradigm, with a total of 5 participants (3 male, 2 female; aged 22-25 years old); and an experiment with 32 subjects (19 male, 13 female; aged 20-28 years old), divided into two groups (depending on type of stimulation performed: 20 Hz beta or 6 Hz theta beats), each one with two stimuli conditions (BB or AB), received 15 minutes before the episodic memory task, during memory encoding phase and during the free recall test, across 2 sessions with an interval of 1 week. To quantify the power of brain oscillations during AB and BB stimulation, time-frequency analysis was performed using Discrete Wavelet Transform (DWT) and Relative Wavelet Energy (RWE). Regarding CAEP paradigm, N1-P2 complex was detected in temporal regions with acceptable signal-to-noise ratio. Parametric and non-parametric paired t-tests showed several significant changes in RWE values within each group at different time points, frequency bands and channels during both sessions, between BB and AB conditions. Moreover, entrainment of brain activity with the frequency of the beat was detected within theta BB stimulation. Regarding the effects of BB stimulation on episodic memory performance, t-tests revealed significant differences in the memory scores between AB and BB conditions during the first session (t=−2.48, p=0.0133) and second session (t=−2.67, p=0.00914) in theta group, with higher scores observed after BB stimulation. In beta group, significant differences in the scores were observed between AB and BB conditions during first session (t=−2.40, p=0.0154), with higher scores registered in BB condition. Inter-group analysis demonstrated that beta group outperformed theta group in both AB (t=3.37, p=0.00244) and BB (t=3.58, p=0.00143) conditions during the second session. This study validates the use of Muse for neuroscientific research, demonstrating that is possible to rely on consumer-grade low-cost EEG systems. Furthermore, it demonstrates that 20 Hz beta and 6 Hz theta BBs have a positive influence on episodic memory performance. Based on findings of positive effects of BBs on cognition, these results were expected. Entrainment was observed during theta BB stimulation. In addition, it is suggested that BBs have a modulatory effect on brain frequencies, with involvement of dynamical processes.Batimentos binaurais (BBs, do inglês Binaural beats) são ilusões auditivas criadas pelo cérebro quando dois sons coerentes com frequências ligeiramente diferentes são apresentados dicoticamente, isto é, cada ouvido é estimulado por frequências diferentes. Existem diferentes tipos de BBs, dependendo das frequências a partir das quais são criados e da diferença entre elas, o que determina a frequência do batimento. Por exemplo, se o sujeito é apresentado com um tom de 256 Hz no ouvido direito e 250 Hz no ouvido esquerdo, cria-se um batimento binaural de 6 Hz, na frequência do ritmo teta. Por outro lado, a mistura de duas sinusoides apresentadas ao mesmo ouvido possui o nome de batimento acústico (AB, do inglês acoustic beat) e as suas interferências são refletidas em flutuações periódicas em amplitude. Estudos demonstram que os BBs têm um efeito positivo na memória de trabalho, memória de longo prazo, capacidade de atenção e nos níveis de ansiedade e relaxamento. No entanto, existem relatos do seu efeito negativo na atenção e na memória de curto prazo. Para além disso, não existe um consenso na comunidade científica para explicar o mecanismo cerebral subjacente à perceção dos BBs. Tudo isto sublinha a necessidade de mais unificação na pesquisa. Apesar do efeito benéfico dos BBs nos diferentes tipos de memória, não existe um leque de estudos suficientemente grande relativamente à sua influência na memória episódica, um tipo de memória associado à codificação de eventos autobiográficos. Destaques na pesquisa sugerem que as oscilações teta estão associadas a um melhor desempenho na memória episódica. Presumindo que a estimulação auditiva com BBs teta possa ter um efeito modulador das frequências cerebrais por meio de resposta pós-frequência, mais especificamente no ritmo teta, é razoável supor que os BBs podem influenciar a memória episódica. O sistema de EEG usado neste estudo é o Muse, desenvolvido para ajudar em técnicas de meditação. Como não se trata de um aparelho de grau médico, é necessário entender se o material é viável para o estudo. O método para alcançar esta validação foi medir os potenciais evocados auditivos corticais, uma resposta cerebral já bem conhecida. Posto isto, a primeira parte desta tese foca-se num estudo exploratório para medir os potenciais evocados auditivos corticais usando o Muse, com o objetivo de avaliar o potencial do dispositivo e a qualidade dos dados correspondentes. A segunda parte e a meta principal deste estudo é investigar a influência do BBs na memória episódica e estudar o seu efeito nas oscilações cerebrais, em comparação com ABs. Para concretizar a primeira experiência deste estudo, um paradigma clássico foi desenhado para medir os potenciais evocados. Um total de 5 voluntários participaram neste estudo, com idades compreendidas entre 22 e 25 anos. Os participantes receberam um total de 180 estímulos, que consistiam em tons puros de 1000 Hz, com 500 ms de plateau, 10 ms de subida e descida e apresentados a cada 2 segundos. A aquisição do EEG e os marcadores de evento foram concretizados através do Lab Streaming Layer, uma ferramenta que permite criar redes de conexões entre vários dispositivos e programas. O pré-processamento e o processamento dos dados foram executados no EEGLAB, uma extensão do MATLAB que oferece uma interface gráfica para realizar a análise do EEG. Os resultados obtidos foram satisfatórios: o complexo N1-P2 foi identificado em todos os sujeitos e também nas curvas de grande média, com uma melhor relação entre o sinal e o ruído comparativamente às curvas individuais. Relativamente à segunda parte desta tese, a experiência consiste em 2 grupos de sujeitos, 2 blocos de tarefas, cada um com 2 condições de estímulo (AB ou BB), concretizada durante 2 sessões, separadas por uma semana. Um total de 32 voluntários foram recrutados, com idades compreendidas entre 20 e 28 anos. Os sujeitos foram divididos em 2 grupos: grupo teta, que recebeu estimulação com BBs e ABs teta na frequência dos 6 Hz, criados a partir de tons puros de 247 Hz e 253 Hz; grupo beta, que foi estimulado com BBs e ABs beta na frequência dos 20 Hz, gerados a partir de tons puros de 240 Hz e 260 Hz. A primeira parte do primeiro bloco consistia numa tarefa passiva em que os sujeitos de cada grupo ouviam ABs durante 15 minutos, ao mesmo tempo em que aquisição do EEG era realizada. Seguiu-se uma tarefa de memória episódica, em que os participantes tinham que decorar uma sequência de 30 imagens de objetos, cada uma com a duração de 3 segundos. De seguida, uma tarefa de distração foi realizada consistindo numa contagem em voz alta de 20 até 0. Por fim, foi feito um teste de recordação livre em que os sujeitos apontavam num papel os objetos que se lembravam de ver, cujo número seria contabilizado como pontuações de memória. O segundo bloco de tarefas é idêntico ao primeiro, exceto que imagens de objetos diferentes foram usadas e a estimulação durante os 15 minutos iniciais foi feita com BBs. Na segunda sessão, os mesmos procedimentos foram repetidos, exceto o uso de imagens de objetos diferentes em cada bloco. Para quantificar a energia de cada banda de frequência do EEG, recorreu-se à Transformada de Wavelet Discreta, que decompõe o sinal em vários níveis, cada um correspondendo a uma banda de frequência de ritmos cerebrais, e à Energia de Wavelet Relativa (RWE, de Relative Wavelet Energy). Mudanças na RWE dum determinado nível de decomposição refletem mudanças na atividade cerebral na banda de frequências correspondente. Dois tipos de análise foram concretizados: um tendo conta a evolução temporal da RWE ao longo de 13 segmentos de 1 minuto; o segundo implicou calcular a RWE média ao longo de um único segmento de EEG, colapsando a dimensão temporal. Os testes t paramétricos e não paramétricos revelaram várias diferenças entre os valores de RWE durante a estimulação com ABs e a estimulação com BBs, ao longo de diferentes instantes de tempo, bandas de frequências, canais e sessões da experiência. Relativamente ao grupo teta, os testes revelaram que a RWE na banda de frequência alfa no canal AF8 durante a primeira sessão aumentou de AB para BB (t=2.2701, p=0.01919). Durante a segunda sessão, foi observado um aumento dos valores de RWE na banda de frequências teta no canal TP10 da condição AB para BB (t=2.4509, p=0.0135). Relativamente ao grupo beta, as seguintes observações correspondem à primeira sessão, da condição AB para BB: uma diminuição significativa de RWE na banda de frequências beta no canal TP10 (t=-2.3364, p=0.0181) e um aumento significativo de RWE na banda delta no canal TP10 (t=4.3193, p=0.0004164) e no canal TP9 (t=2.7144, p=0.00885). Quanto aos efeitos dos BBs na performance de memória episódica, os testes t revelaram diferenças significativas nas pontuações entre as condições AB e BB durante a primeira sessão (t=-2.48, p=0.0133) e segunda sessão (t=-2.67, p=0.00914) no grupo teta, com pontuações mais altas observadas após a estimulação com BB. No grupo beta, diferenças significativas nas pontuações foram observadas entre as condições AB e BB durante a primeira sessão (t=-2.40, p=0.0154), com pontuações mais elevadas registadoa na condição BB. A análise entre os grupos demonstrou que o grupo beta superou o grupo teta em ambas as condições AB (t=3.37, p=0.00244) e BB (t=3.58, p=0.00143) durante a segunda sessão. Uma análise fatorial ANOVA II demonstrou que o efeito principal da condição foi significativo, sendo que os participantes que foram submetidos à estimulação com batimentos binaurais tiveram resultados mais altos (F(1,115)=5.49, p=0.0208). O efeito principal da sessão também foi significativo, com pontuações mais altas obtidas durante a segunda sessão (F(1,115)=9.206, p=0.00298). Houve interação significativa entre grupo e sessão (F(1,115)=5.11, p=0.0256). Para além disso, regressões lineares demonstraram que o aumento das pontuações de memória está associado ao aumento de RWE na banda de frequências beta (F(5,114) = 5.876, p < 0.0001). Este estudo mostra que é possível quantificar os potenciais evocados auditivos corticais usando um dispositivo de EEG de grau de consumidor. Foi demonstrado que os batimentos binaurais teta de 6 Hz e beta de 20 Hz têm efeito positivo no desempenho da memória episódica, comparativamente aos respetivos acoustic beats. Os participantes que foram estimulados com BBs beta tiveram melhores resultados nos testes de memória comparativamente aos que receberam estimulação com BBs teta, o que pode ser explicado pelo facto da atividade teta, característica da memória episódica, ter sido despertada durante a estimulação BB beta. No entanto, foi demonstrado que o aumento nas pontuações de memória episódica é explicado pelo aumento da RWE no ritmo beta. A resposta pós-frequência foi observada durante a exposição aos BBs teta, porém o mesmo não se verifica relativamente aos BBs beta. Para concluir, este estudo prova que os batimentos binaurais são moduladores neuronais, com envolvimento de respostas dinâmicas. Este efeito modulador da atividade cerebral pode ser a razão por trás da influência destes batimentos na memória episódica

The path inference filter: model-based low-latency map matching of probe vehicle data

We consider the problem of reconstructing vehicle trajectories from sparse sequences of GPS points, for which the sampling interval is between 10 seconds and 2 minutes. We introduce a new class of algorithms, called altogether path inference filter (PIF), that maps GPS data in real time, for a variety of trade-offs and scenarios, and with a high throughput. Numerous prior approaches in map-matching can be shown to be special cases of the path inference filter presented in this article. We present an efficient procedure for automatically training the filter on new data, with or without ground truth observations. The framework is evaluated on a large San Francisco taxi dataset and is shown to improve upon the current state of the art. This filter also provides insights about driving patterns of drivers. The path inference filter has been deployed at an industrial scale inside the Mobile Millennium traffic information system, and is used to map fleets of data in San Francisco, Sacramento, Stockholm and Porto.Comment: Preprint, 23 pages and 23 figure