Joint Optimization of Sensor Selection and Routing for Distributed Estimation in Wireless Sensor Networks

Avances recientes en redes inalámbricos de sensores (WSNs, Wireless Sensor Networks) han posibilitado que pequeños sensores, baratos y con recursos limitados tanto en sensado, comunicación, como en computación, sean desplegados a gran escala. En consecuencia, las WSNs pueden ofrecer diversos servicios en importantes aplicaciones para la sociedad. Entre las varias restricciones que aparecen en el diseño de WSNs, tales como la limitación en energía disponible, procesamiento y memoria, la limitación en energía es muy importante ya que en muchas aplicaciones (ej., monitorización remota de diferentes entornos, edificios administrativos, monitoreo del hábitat, los incendios forestales, la atención sanitaria, la vigilancia del tráfico, vigilancia del campo de batalla, las reservas de vida silvestre, etc.) los sensores están alimentados por baterías, pudiendo hacer uso también de captación de energía renovables. Dado que las comunicaciones son causantes del mayor consumo energético en un nodo, la transmisión y recepción de información deben optimizarse lo máximo posible. Estas limitaciones y el diseño específico de los sensores, hacen necesario el estudio de métodos eficientes energéticamente y que reduzcan la cantidad de información a transmitir. Motivación y Objetivos: Aunque las WSNs necesitan cubrir en muchas ocasiones una importante área geográfica, muchos eventos necesitan ser detectados y tratados localmente. Algunos de estos ejemplos son la energía capturada por sensores de energía acústica donde existe una cierta fuente acústica localizada en el espacio, detección y verificación de un foco de fuego en un bosque, sensores de dirección de llegada para localización, u otra fuente difusiva localmente generada (ej. radiación nuclear). Intuitivamente, en estos escenarios, los nodos que están localizados lejos de la fuente observarán medidas significativamente menos informativas que los nodos cercanos a la fuente. Por lo tanto, la vida útil de la red puede ser incrementada al considerar la activación de solo un subconjunto de sensores (los más informativos) cuya información es útil y por tanto debe ser recolectada. Además, la eficiencia energética puede ser mejorada aún más al elegir la mejor estructura de enrutamiento. Es importante resaltar que la técnica utilizada más tradicional es la transmisión directa inalámbrica de las medidas desde todos los nodos seleccionados al centro de fusión de datos (nodo solicitante de la estimación global), lo cual resultas en un ineficiente uso de los recursos energéticos. Una solución factible puede ser el uso de la naturaleza multisalto de la transmisión de datos, el cual puede significativamente reducir la potencia total de transmisión, y por tanto aumentar la vida de la red. La cuantificación de la información (fusión) puede también utilizarse en un procesado intra-red para ahorrar energía, ya que reduce la cantidad de información a ser reenviada en dirección al nodo centro de fusión. La asignación dinámica de bit-rate (bits por muestra) en cada nodo puede también ser empleada para reducir también el consumo total de la red. De esta manera, se puede obtener un importante ahorro energético al realizar de manera distribuida una cierta tarea de estimación optimizando el conjunto de sensores activo; la estructura de enrutamiento, y los bits por muestra para cada sensor seleccionado. En la literatura reciente, se ha demostrado claramente que la transmisión multisalto en WSNs es más eficiente energéticamente que la transmisión directa, donde cada medida es directamente transmitida al centro de fusión de datos (MT, Measure-and-Transmit). Además, transmisión mutlisalto, en general, permite el envío de las medidas al nodo fusión de dos formas: a) cada nodo reenviar directamente la información recibida, b) cada nodo reenviar la información agregada. Puede observarse que, el fusionar las medidas en sensores intermedios ofrece una mejora en la calidad global de la estimación con coste computacional limitado. Esto nos lleva a considerar los dos esquemas siguientes: Medir-y-reenviar (MF, Measure-and-Forward): En este esquema, los nodos sensores simplemente reenvían las medidas que reciben de sus nodos sensores hijos en dirección al nodo solicitante a lo largo de la estructura de enrutamiento elegida. El nodo solicitante obtendrá por tanto la estimación final, por lo tanto, no hay estimación agregadas incrementales en los sensores intermedios. Estimar-y-reenviar (EF, Estimate-and-Forward): En este esquema, se considera un enfoque con estimación agregada secuencial en los nodos intermedios de la ruta de encaminamiento. Dada una estructura de enrutamiento, cada sensor fusiona todas las otras medidas que son recibidas de sus nodos hijos junto con la suya propia, con el objetivo de obtener una estimación agregada, y luego enviar un único flujo de la información fusionada a su nodo sensor padre en la estructura de enrutamiento elegida. El esquema EF tiene varias ventajas interesantes respecto al esquema MF. En primer lugar, el esquema EF es más eficiente energéticamente ya que un nodo sensor activo en una ruta solo tiene que reenviar la estimación fusionada (una único paquete de información transmitir), en vez de reenviar su propia medida además de las medidas de sus nodos hijos. Además, utilizando un esquema EF, los nodos intermedios en la ruta tienen una estimación del parámetro que es mejor conforme el nodo está más cercano al nodo solicitante. La otra principal desventaja del esquema MF es que los nodos cerca del nodo solicitante pueden sobrecargarse, lo crea un efecto de cuello de botella. Por lo tanto, dada una WSN con una cierto grafo subyacente de conectividad de red, un cierto nodo solicitante, y una fuente localizada, esta tesis considera el problema de la estimación distribuida de un parámetro, donde la potencia total disponible esta limitada, por lo tanto, y donde utilizamos el esquema EF, optimizando conjuntamente el subconjunto de sensores activos, la asignación de bit-rate en cada sensor y la estructura de enrutamiento multisalto asociada hasta el nodo solicitante. Por lo tanto, la distorsión total en la estimación es minimizada para una cierta potencia total de transmisión. Un resultado importante de este trabajo el consiste en que el algoritmo Shortes Path Tree (SPT) basado solo en coste de comunicación (SPT-CC) no es la estructura óptima de enrutamiento en general cuando se busca alcanzar un compromiso óptimo entre la distorsión de la estimación y el coste total de comunicaciones, sin importar si uno usa el esquema MF o el EF. En nuestra estimación distribuida multisalto, mientras nos dirigimos hacia el nodo solicitante, necesitamos asignar tasas mayores de bits ya que la precisión de la estimación mejora a medida que más información se fusiona en los nodos de sensores intermedios. Por lo tanto, la asignación de tasa de bits en un sensor depende del número de saltos que existe entre dicho nodo y el nodo solicitante, de tal manera que hay una necesidad de proporcionar mayores tasas de bits al ir acercándose al nodo solicitante en la ruta de multisalto escogido. Por otro parte, la localización de la fuente que determine fenómeno estimar también influencia la asignación de bit-rate para sensor. Por ejemplo, si un sensor está cerca de la fuente (relación Señal-Ruido alto), incluso aunque existe un gran número de saltos necesarios para llegar al nodo solicitante, necesitamos asignar un bit-rate razonablemente alto. En consecuencia, hay una clara necesidad de diseñar un cuantificador adaptativo en cada sensor con el objetivo de proporcionar un apropiado bit-rate, el cual depende del compromiso entre el número de saltos y la localización de la fuente. Además, el bit-rate también depende del coste de comunicación entre cada dos sensores. Metodología: En esta tesis, combinamos métodos de análisis teórico, diseño algoritmos iterativos inspirados en herramientas de optimización así como simulaciones por ordenador. En el caso del análisis teórico del problema mencionado anteriormente, hemos seguido la metodología estándar de estimación óptima lineal no sesgada; en otras palabras, Best Linear Unbiased Estimator (BLUE). En particular, este trabajo de tesis se centra en el problema de optimizar conjuntamente la selección de sensores, la estructura de enrutamiento y la asignación de bit-rate para cada sensor seleccionado. En primer lugar, consideramos solamente la optimización conjunta de la selección de sensores y la estructura de enrutamiento, donde se asume una cuantificación fina, y por tanto se ignora la asignación óptima de bit-rate. En este caso, la función objetivo es lineal y las restricciones en el problema de optimización son no convexas, lo cual lleva a un problema a resolver que tiene una complejidad y alto. En segundo lugar, tenemos en cuenta la asignación del bit-rate como una variable adicional en el primer problema, convirtiéndose en un problema de optimización no lineal no convexo. Por lo tanto, el problema de optimización conjunta se hace aún más difícil de resolver que el primera problema de optimización. La solución de este problema no convexo se aborda utilizando varios pasos de relajación convexa y resolviendo estos problemas relajados para las diferentes variables en tándem. El objetivo en ambos problemas anteriormente mencionadas es reducir al mínimo la distorsión total en la estimación bajo una cierta limitación de potencia total dada. También demostramos que nuestros problemas pertenecen a la clase de problemas NP-hard, realizando una reducción (de complejidad polinomial) de nuestro problema el problema Hamiltoniano no dirigido (UHP, Undirected Hamiltonian Path). Nuestros problemas de optimización relajados se pueden resolver a través de métodos de optimización convexa, tales como los métodos de punto interior. Después de los análisis teóricos, los algoritmos propuestos considerados para ambos casos (cuantificación fina y cuantificación adaptativa), son simulados usando programación Matlab y el toolbox de CVX. Los algoritmos propuestos son comparados, en cada caso, con los mejores algoritmos propuestos en la literatura para la asignación de recursos en WSN para estimación. %Aunque las simulaciones fueron realizadas con el lenguaje de programación de Matlab, es posible usar otras plataformas de simulación y lenguajes de programación. Conclusiones: En esta tesis, dada una WSN con un grafo subyacente de conectividad de red, un cierto nodo solicitante (sumidero) y una fuente localizada, hemos considerado el problema de la estimación distribuida de parámetros con donde la potencia total disponible esta limitada. Por lo tanto, para llevar a cabo un cierta tarea de estimación distribuida (por ejemplo, detección de fuego en un bosque, localización basada en dirección de llegada, estimación de cualquier otro fenómeno localizado, etc.), hemos considerado el problema, usando el esquema EF, de optimizar conjuntamente el subconjunto de sensores activas, la asignación de bit-rate y la asociada estructura de enrutamiento multisalto para enviar la información agregada hasta el nodo solicitante. De esta manera, la distorsión en la estimación total es minimizada una cierta potencia total. La mayoría de las soluciones recientemente propuestas, intentan simplificar el problema considerando solamente la selección de un subconjunto de sensores, ignorando la optimización conjunta de la estructura de enrutamiento así como de la codificación. Sin embargo, optimizar la estructura de enrutamiento es una importante variable en el problema ya que, en general, transmitir información que está lejos del nodo solicitante es más costoso que desde un nodo cercano. La cuantificación de fuente también juega un papel importante ya que los sensores lejos de la fuente requieren menos niveles de cuantificación ya que reciben un SNR menor. A continuación resumimos nuestras principales contribuciones: 1. El problema de optimización conjunta de la selección de sensores, la estructura de enrutamiento multisalto y la asignación adaptativa de la tasa de bit (mediciones del sensor) para la estimación distribuida con un restricción en el coste total de comunicaciones, es formulado y analizado, tanto en términos de diseño de algoritmos como de análisis de complejidad, demostrando que es un problema NP-hard cuando se utiliza el esquema EF. También proporcionamos una cota inferior para la solución óptima del problema de optimización NP-hard original. 2. En primer lugar, consideramos el problema de optimización conjunta de la selección de los sensores y de la estructura de enrutamiento multisalto asumiendo que se dispone de una cuantificación fina para cada medición de los sensores. A continuación, presentamos un Algoritmo que llamamos FTRA (Fixed-Tree Relaxation-based Algorithm) que consiste en una relajación de nuestro problema de optimización original, y que desacopla la elección de la estructura de enrutamiento de la selección de sensores activos. 3. A continuación, también diseñamos un nuevo y eficiente algoritmo iterativo distribuido que llamamos IDA (Iterative Distributed Algorithm), que optimiza de forma conjunta a nivel local y distribuida la selección de sensores y la estructura de enrutamiento de saltos múltiples. También demostramos experimentalmente que nuestro IDA genera una solución que está cerca de la solución óptima al problema NP-hard original, haciéndose uso de la cota anteriormente obtenida. 4. En segundo lugar, hemos considerado la asignación de tasa de bit como una variable adicional al anterior problema la optimización, en un problema de optimización no lineal y no convexo resultando en un problema todavía mas complejo de resolver, y por tanto NP-Hard también. 5. Para este segundo problema de optimización, hemos desarrollado dos algoritmos: a) Algoritmo de Cuantificación Adaptativa basado en árbol Fijo (FTR-AQ, Fixed-Tree Relaxation-based Adaptive Quantization), y b) Algoritmo de Cuantificación Adaptativa basado en Optimización Local (LO-AQ, Local Optimization-based Adaptive Quantization). LO-AQ proporciona una estimación más precisa para la misma potencia total dada, aunque esto implica una complejidad computacional adicional en cada nodo. 6. Por último, comparamos nuestros algoritmos con los otros mejores trabajos relacionados presentados previamente en la literatura, mostrando claramente un rendimiento superior en términos de distorsión en la estimación para la misma potencia total dada.In this PhD thesis, we consider the problem of power efficient distributed estimation of a deterministic parameter related to a localized phenomena in a Wireless Sensor Network (WSN), where due to the power constraints, we propose to jointly optimize (i) selection of a subset of active sensors, (ii) multihop routing structure and (iii) bit-rate allocation for all active sensor measurements. Thus, our goal is to obtain the best possible estimation performance at a given querying (sink) node, for a given total power budget in the WSN. Furthermore, because of the power constraints, each selected sensor fuses all other measurements that are received from its child sensors on the chosen multihop routing tree structure together with its own measurement to perform an aggregated parameter estimation, and then it sends only one flow of fused data to its parent sensor on the tree. We call this scheme as an Estimate-and-Forward (EF). The thesis is divided in two parts. In the first part, an optimization problem is formulated where fine quantization (high bit-rates) is assumed to be provided at all the sensor measurements, that is, ignoring the bit-rate optimization problem. Then, only the sensor selection and multihop routing structure are jointly optimized in order to minimize the total distortion in estimation (estimation error) under a constraint on the total multihop communication cost. The resulting problem is non-convex, and we show that, in fact, it is an NP-Hard problem. Thus, first we propose an algorithm based on a relaxation of our original optimization problem, where the choice of the sensor selection is decoupled from the choice of the multihop routing structure. In this case, the routing structure is taken from the Shortest Path Tree, that is, it's based only on the Communication Cost (SPT-CC). Furthermore, we also design an efficient iterative distributed algorithm that jointly optimizes the sensor selection and multihop routing structure. Then, we also provide a lower bound for the optimal solution of our original NP-Hard optimization problem and show experimentally that our iterative distributed algorithm generates a solution that is close to this lower bound, thus approaching optimality. Although there is no strict guarantee that the gap between this lower bound and the optimal solution of the main problem is always small, our numerical experiments support that this gap is actually very small in many cases. In the second part, the bit-rate allocation is also considered in the optimization problem along with the sensor selection and multihop routing structure. In this case, the problem becomes a nonlinear non-convex optimization problem. Note that in the first part, the objective function was linear, but the constraints were non-convex. Since the problem in the second part is a nonlinear non-convex optimization problem, very interestingly, we address this nonlinear non-convex optimization problem using several relaxation steps and then solving the relaxed convex version over different variables in tandem, resulting in a sequence of linear (convex) subproblems that can be solved efficiently. Then, we propose an algorithm using the EF scheme and an adaptive uniform dithered quantizer to solve this problem. First, by assuming a certain fixed routing structure and high bit-rates to each sensor measurement are available, we optimize the sensor selection. Then, given the subset of sensors and associated routing structure, we optimize the bit-rate allocation only for the selected sensors for a given total power budget, in order to minimize the total distortion in estimation. In addition, we also show that the total distortion in estimation can be further minimized by allowing interplay between the edges of the selected routing structure and other available smaller communication cost edges, while keeping the routing tree routed at the sink node. An important result from our work is that because of the interplay between the communication cost over the links and the gain in estimation accuracy obtained by choosing certain sensors and fusing their measurements on the routing tree, the traditional SPT routing structure, widely used in practice, is no longer optimal. To be more specific, our routing structures provide a better trade-off between the overall power consumption and the final estimation accuracy obtained at the sink node. Comparing to more conventional sensor selection, adaptive quantization and fixed routing algorithms, our proposed joint optimization algorithms yield a significant amount of energy saving for the same estimation accuracy

Optimal Cooperative Spectrum Sensing for Cognitive Radio

The rapid increasing interest in wireless communication has led to the continuous development of wireless devices and technologies. The modern convergence and interoperability of wireless technologies has further increased the amount of services that can be provided, leading to the substantial demand for access to the radio frequency spectrum in an efficient manner. Cognitive radio (CR) an innovative concept of reusing licensed spectrum in an opportunistic manner promises to overcome the evident spectrum underutilization caused by the inflexible spectrum allocation. Spectrum sensing in an unswerving and proficient manner is essential to CR. Cooperation amongst spectrum sensing devices are vital when CR systems are experiencing deep shadowing and in a fading environment. In this thesis, cooperative spectrum sensing (CSS) schemes have been designed to optimize detection performance in an efficient and implementable manner taking into consideration: diversity performance, detection accuracy, low complexity, and reporting channel bandwidth reduction. The thesis first investigates state of the art spectrums sensing algorithms in CR. Comparative analysis and simulation results highlights the different pros, cons and performance criteria of a practical CSS scheme leading to the problem formulation of the thesis. Motivated by the problem of diversity performance in a CR network, the thesis then focuses on designing a novel relay based CSS architecture for CR. A major cooperative transmission protocol with low complexity and overhead - Amplify and Forward (AF) cooperative protocol and an improved double energy detection scheme in a single relay and multiple cognitive relay networks are designed. Simulation results demonstrated that the developed algorithm is capable of reducing the error of missed detection and improving detection probability of a primary user (PU). To improve spectrum sensing reliability while increasing agility, a CSS scheme based on evidence theory is next considered in this thesis. This focuses on a data fusion combination rule. The combination of conflicting evidences from secondary users (SUs) with the classical Dempster Shafter (DS) theory rule may produce counter-intuitive results when combining SUs sensing data leading to poor CSS performance. In order to overcome and minimise the effect of the counter-intuitive results, and to enhance performance of the CSS system, a novel state of the art evidence based decision fusion scheme is developed. The proposed approach is based on the credibility of evidence and a dissociability degree measure of the SUs sensing data evidence. Simulation results illustrate the proposed scheme improves detection performance and reduces error probability when compared to other related evidence based schemes under robust practcial scenarios. Finally, motivated by the need for a low complexity and minmum bandwidth reporting channels which can be significant in high data rate applications, novel CSS quantization schemes are proposed. Quantization methods are considered for a maximum likelihood estimation (MLE) and an evidence based CSS scheme. For the MLE based CSS, a novel uniform and optimal output entropy quantization scheme is proposed to provide fewer overhead complexities and improved throughput. While for the Evidence based CSS scheme, a scheme that quantizes the basic probability Assignment (BPA) data at each SU before being sent to the FC is designed. The proposed scheme takes into consideration the characteristics of the hypothesis distribution under diverse signal-to-noise ratio (SNR) of the PU signal based on the optimal output entropy. Simulation results demonstrate that the proposed quantization CSS scheme improves sensing performance with minimum number of quantized bits when compared to other related approaches

Efficient Coding of Transform Coefficient Levels in Hybrid Video Coding

All video coding standards of practical importance, such as Advanced Video Coding (AVC), its successor High Efficiency Video Coding (HEVC), and the state-of-the-art Versatile Video Coding (VVC), follow the basic principle of block-based hybrid video coding. In such an architecture, the video pictures are partitioned into blocks. Each block is first predicted by either intra-picture or motion-compensated prediction, and the resulting prediction errors, referred to as residuals, are compressed using transform coding. This thesis deals with the entropy coding of quantization indices for transform coefficients, also referred to as transform coefficient levels, as well as the entropy coding of directly quantized residual samples. The entropy coding of quantization indices is referred to as level coding in this thesis. The presented developments focus on both improving the coding efficiency and reducing the complexity of the level coding for HEVC and VVC. These goals were achieved by modifying the context modeling and the binarization of the level coding. The first development presented in this thesis is a transform coefficient level coding for variable transform block sizes, which was introduced in HEVC. It exploits the fact that non-zero levels are typically concentrated in certain parts of the transform block by partitioning blocks larger than \square{4} samples into \square{4} sub-blocks. Each \square{4} sub-block is then coded similarly to the level coding specified in AVC for \square{4} transform blocks. This sub-block processing improves coding efficiency and has the advantage that the number of required context models is independent of the set of supported transform block sizes. The maximum number of context-coded bins for a transform coefficient level is one indicator for the complexity of the entropy coding. An adaptive binarization of absolute transform coefficient levels using Rice codes is presented that reduces the maximum number of context-coded bins from 15 (as used in AVC) to three for HEVC. Based on the developed selection of an appropriate Rice code for each scanning position, this adaptive binarization achieves virtually the same coding efficiency as the binarization specified in AVC for bit-rate operation points typically used in consumer applications. The coding efficiency is improved for high bit-rate operation points, which are used in more advanced and professional applications. In order to further improve the coding efficiency for HEVC and VVC, the statistical dependencies among the transform coefficient levels of a transform block are exploited by a template-based context modeling developed in this thesis. Instead of selecting the context model for a current scanning position primarily based on its location inside a transform block, already coded neighboring locations inside a local template are utilized. To further increase the coding efficiency achieved by the template-based context modeling, the different coding phases of the initially developed level coding are merged into a single coding phase. As a consequence, the template-based context modeling can utilize the absolute levels of the neighboring frequency locations, which provides better conditional probability estimates and further improves coding efficiency. This template-based context modeling with a single coding phase is also suitable for trellis-coded quantization (TCQ), since TCQ is state-driven and derives the next state from the current state and the parity of the current level. TCQ introduces different context model sets for coding the significance flag depending on the current state. Based on statistical analyses, an extension of the state-dependent context modeling of TCQ is presented, which further improves the coding efficiency in VVC. After that, a method to reduce the complexity of the level coding at the decoder is presented. This method separates the level coding into a coding phase exclusively consisting of context-coded bins and another one consisting of bypass-coded bins only. For retaining the state-dependent context selection, which significantly contributes to the coding efficiency of TCQ, a dedicated parity flag is introduced and coded with context models in the first coding phase. An adaptive approach is then presented that further reduces the worst-case complexity, effectively lowering the maximum number of context-coded bins per transform coefficient to 1.75 without negatively affecting the coding efficiency. In the last development presented in this thesis, a dedicated level coding for transform skip blocks, which often occur in screen content applications, is introduced for VVC. This dedicated level coding better exploits the statistical properties of directly quantized residual samples for screen content. Various modifications to the level coding improve the coding efficiency for this type of content. Examples for these modifications are a binarization with additional context-coded flags and the coding of the sign information with adaptive context models

Scalable Front End Designs for Communication and Learning

In this work we provide three examples of estimation/detection problems, for which customizing the Front End to the specific application makes the system more efficient and scalable. The three problems we consider are all classical, but face new scalability challenges. This introduces additional constraints, accounting for which results in front end designs that are very distinct from the conventional approaches. The first two case studies pertain to the canonical problems of synchronization and equalization for communication links. As the system bandwidths scale, challenges arise due to the limiting resolution of analog-to-digital converters (ADCs). We discuss system designs that react to this bottleneck by drastically relaxing the precision requirements of the front end and correspondingly modifying the back end algorithms using Bayesian principles. The third problem we discuss belongs to the field of computer vision. Inspired by the research in neuroscience about the mammalian visual system, we redesign the front end of a machine vision system to be neuro-mimetic, followed by layers of unsupervised learning using simple k-means clustering. This results in a framework that is intuitive, more computationally efficient compared to the approach of supervised deep networks, and amenable to the increasing availability of large amounts of unlabeled data. We first consider the problem of blind carrier phase and frequency synchronization in order to obtain insight into the performance limitations imposed by severe quantization constraints. We adopt a mixed signal analog front end that coarsely quantizes the phase and employs a digitally controlled feedback that applies a phase shift prior to the ADC, this acts as a controllable dither signal and aids in the estimation process. We propose a control policy for the feedback and show that combined with blind Bayesian algorithms, it results in excellent performance, close to that of an unquantized system.Next, we take up the problem of channel equalization with severe limits on the number of slicers available for the ADC. We find that the standard flash ADC architecture can be highly sub-optimal in the presence of such constraints. Hence we explore a ``space-time'' generalization of the flash architecture by allowing a fixed numberof slicers to be dispersed in time (sampling phase) as well as space (i.e., amplitude). We show that optimizing the slicer locations, conditioned on the channel, results in significant gains in the bit error rate (BER) performance. Finally, we explore alternative ways of learning convolutionalnets for machine vision, making it easier to interpret and simpler to implement than currently used purely supervised nets. In particular, we investigate a framework that combines a neuro-mimetic front end (designed in collaboration with the neuroscientists from the psychology department at UCSB) together with unsupervised feature extraction based on clustering. Supervised classification, using a generic support vector machine (SVM), is applied at the end.We obtain competitive classification results on standard image databases, beating the state of the art for NORB (uniform-normalized) and approaching it for MNIST

Irregular Variable Length Coding

In this thesis, we introduce Irregular Variable Length Coding (IrVLC) and investigate its applications, characteristics and performance in the context of digital multimedia broadcast telecommunications. During IrVLC encoding, the multimedia signal is represented using a sequence of concatenated binary codewords. These are selected from a codebook, comprising a number of codewords, which, in turn, comprise various numbers of bits. However, during IrVLC encoding, the multimedia signal is decomposed into particular fractions, each of which is represented using a different codebook. This is in contrast to regular Variable Length Coding (VLC), in which the entire multimedia signal is encoded using the same codebook. The application of IrVLCs to joint source and channel coding is investigated in the context of a video transmission scheme. Our novel video codec represents the video signal using tessellations of Variable-Dimension Vector Quantisation (VDVQ) tiles. These are selected from a codebook, comprising a number of tiles having various dimensions. The selected tessellation of VDVQ tiles is signalled using a corresponding sequence of concatenated codewords from a Variable Length Error Correction (VLEC) codebook. This VLEC codebook represents a specific joint source and channel coding case of VLCs, which facilitates both compression and error correction. However, during video encoding, only particular combinations of the VDVQ tiles will perfectly tessellate, owing to their various dimensions. As a result, only particular sub-sets of the VDVQ codebook and, hence, of the VLEC codebook may be employed to convey particular fractions of the video signal. Therefore, our novel video codec can be said to employ IrVLCs. The employment of IrVLCs to facilitate Unequal Error Protection (UEP) is also demonstrated. This may be applied when various fractions of the source signal have different error sensitivities, as is typical in audio, speech, image and video signals, for example. Here, different VLEC codebooks having appropriately selected error correction capabilities may be employed to encode the particular fractions of the source signal. This approach may be expected to yield a higher reconstruction quality than equal protection in cases where the various fractions of the source signal have different error sensitivities. Finally, this thesis investigates the application of IrVLCs to near-capacity operation using EXtrinsic Information Transfer (EXIT) chart analysis. Here, a number of component VLEC codebooks having different inverted EXIT functions are employed to encode particular fractions of the source symbol frame. We show that the composite inverted IrVLC EXIT function may be obtained as a weighted average of the inverted component VLC EXIT functions. Additionally, EXIT chart matching is employed to shape the inverted IrVLC EXIT function to match the EXIT function of a serially concatenated inner channel code, creating a narrow but still open EXIT chart tunnel. In this way, iterative decoding convergence to an infinitesimally low probability of error is facilitated at near-capacity channel SNRs