Применение дискретных структур и числовых последовательностей к блочным кодам

У роботі досягнуто мету стиснення інформації за допомогою композиції універсальних кодів, де застосовується рекурсивний алгоритм відновлення початкових даних. Це дає коефіцієнт стиску більший, ніж при символьному кодуванні. Запропонований метод таймерного кодування має обґрунтовані оцінки коефіцієнта стиснення, а його метою є кодування зі стисненням. Для цього в ньому створено цілком новий вид універсальних кодів, який використовує поліосновні системи числення. Застосований метод є підвидом універсальних кодів і має перевагу над кодами Хаффмана для стиснення, що полягає у відсутності необхідності знати точний розподіл ймовірностей, за яким з’являються символи у початковому потоці даних. Кодування Хаффмана потребує точного розподілу ймовірностей, тоді як у випадку універсального кодування достатньо знати лише відносний порядок цих імовірностей (символ, що трапляється найчастіше, другий за частотою символ і т.д). Побудований спосіб кодування може бути застосований у мобільному зв’язку і засобах закритого зв’язку, якщо його використати у поєднанні з блочним шифром, який не розсіює частоти символів, тому задовольняє головні загальноприйняті сучасні вимоги до кодування.The purpose to compress information using composition of universal codes with the recursive algorithm of original data recovery was achieved in this work. It obtains compression coefficient higher than in symbolic coding. Proposed method of time coding has reasonable values of compression coefficient and its purpose is coding with compression. For this purpose, entirely new kind of universal coding with the polybasic numeral system was created. The presented method is subtype of universal codes and has an advantage over the Huffman coding for compression, because there is no need to know the exact probability distribution that gives us the characters in the initial data stream and it is a subspecies of the universal coding. The Huffman coding requires exact probability distribution. But when we talk about universal coding it is sufficient to know only the relative order of these probabilities (symbol, are more often, the second of the most common symbol, etc.) withal. Created coding method can be applied in mobile communication and in means of closed communication, if it will be used with block codes, which doesn’t scatter symbol frequencies, because it meets modern requirements for cyphering.В роботе достигнута цель сжатия информации при помощи композиции универсальных кодов, где применяется рекурсивный алгоритм восстановления начальных данных. Это дает коэффициент сжатия больший, чем при символьном кодировании. Представленный в работе метод имеет обоснованные оценки коэффициента сжатия, а его целью есть кодирование со сжатием. Для этого в нем создан совершенно новый вид универсальных кодов, использующий полиосновные системы счисления. Представленный метод имеет преимущество над кодами Хаффмана для сжатия: нет необходимости знать точное распределение вероятностей, по которому появляются символы в начальном потоке данных. Кодирование Хаффмана требует точного распределения вероятностей, тогда как в случае универсального кодирования достаточно знать лишь относительный порядок этих вероятностей (символ, встречающийся чаще всего, второй по частоте символ и т.д.). Построенный способ кодирования может быть применен в мобильной связи и средствах закрытой связи, если его использовать в сочетании с блочным шифром, который не рассеивает частоты символов, поэтому удовлетворяет главным из общепринятых современным требованиям кодирования

A Universal Parallel Two-Pass MDL Context Tree Compression Algorithm

Computing problems that handle large amounts of data necessitate the use of lossless data compression for efficient storage and transmission. We present a novel lossless universal data compression algorithm that uses parallel computational units to increase the throughput. The length-$N$ input sequence is partitioned into $B$ blocks. Processing each block independently of the other blocks can accelerate the computation by a factor of $B$, but degrades the compression quality. Instead, our approach is to first estimate the minimum description length (MDL) context tree source underlying the entire input, and then encode each of the $B$ blocks in parallel based on the MDL source. With this two-pass approach, the compression loss incurred by using more parallel units is insignificant. Our algorithm is work-efficient, i.e., its computational complexity is $O(N/B)$. Its redundancy is approximately $B\log(N/B)$ bits above Rissanen's lower bound on universal compression performance, with respect to any context tree source whose maximal depth is at most $\log(N/B)$. We improve the compression by using different quantizers for states of the context tree based on the number of symbols corresponding to those states. Numerical results from a prototype implementation suggest that our algorithm offers a better trade-off between compression and throughput than competing universal data compression algorithms.Comment: Accepted to Journal of Selected Topics in Signal Processing special issue on Signal Processing for Big Data (expected publication date June 2015). 10 pages double column, 6 figures, and 2 tables. arXiv admin note: substantial text overlap with arXiv:1405.6322. Version: Mar 2015: Corrected a typ

Lossy compression of discrete sources via Viterbi algorithm

We present a new lossy compressor for discrete-valued sources. For coding a sequence $x^n$, the encoder starts by assigning a certain cost to each possible reconstruction sequence. It then finds the one that minimizes this cost and describes it losslessly to the decoder via a universal lossless compressor. The cost of each sequence is a linear combination of its distance from the sequence $x^n$ and a linear function of its $k^{\rm th}$ order empirical distribution. The structure of the cost function allows the encoder to employ the Viterbi algorithm to recover the minimizer of the cost. We identify a choice of the coefficients comprising the linear function of the empirical distribution used in the cost function which ensures that the algorithm universally achieves the optimum rate-distortion performance of any stationary ergodic source in the limit of large $n$, provided that $k$ diverges as $o(\log n)$. Iterative techniques for approximating the coefficients, which alleviate the computational burden of finding the optimal coefficients, are proposed and studied.Comment: 26 pages, 6 figures, Submitted to IEEE Transactions on Information Theor

A Parallel Two-Pass MDL Context Tree Algorithm for Universal Source Coding

We present a novel lossless universal source coding algorithm that uses parallel computational units to increase the throughput. The length-$N$ input sequence is partitioned into $B$ blocks. Processing each block independently of the other blocks can accelerate the computation by a factor of $B$, but degrades the compression quality. Instead, our approach is to first estimate the minimum description length (MDL) source underlying the entire input, and then encode each of the $B$ blocks in parallel based on the MDL source. With this two-pass approach, the compression loss incurred by using more parallel units is insignificant. Our algorithm is work-efficient, i.e., its computational complexity is $O(N/B)$. Its redundancy is approximately $B\log(N/B)$ bits above Rissanen's lower bound on universal coding performance, with respect to any tree source whose maximal depth is at most $\log(N/B)$

Universal quantum information compression and degrees of prior knowledge

We describe a universal information compression scheme that compresses any pure quantum i.i.d. source asymptotically to its von Neumann entropy, with no prior knowledge of the structure of the source. We introduce a diagonalisation procedure that enables any classical compression algorithm to be utilised in a quantum context. Our scheme is then based on the corresponding quantum translation of the classical Lempel-Ziv algorithm. Our methods lead to a conceptually simple way of estimating the entropy of a source in terms of the measurement of an associated length parameter while maintaining high fidelity for long blocks. As a by-product we also estimate the eigenbasis of the source. Since our scheme is based on the Lempel-Ziv method, it can be applied also to target sequences that are not i.i.d.Comment: 17 pages, no figures. A preliminary version of this work was presented at EQIS '02, Tokyo, September 200