General Strong Polarization

Arikan's exciting discovery of polar codes has provided an altogether new way to efficiently achieve Shannon capacity. Given a (constant-sized) invertible matrix $M$, a family of polar codes can be associated with this matrix and its ability to approach capacity follows from the {\em polarization} of an associated $[0,1]$-bounded martingale, namely its convergence in the limit to either $0$ or $1$. Arikan showed polarization of the martingale associated with the matrix $G_2 = \left(\begin{matrix} 1& 0 1& 1\end{matrix}\right)$ to get capacity achieving codes. His analysis was later extended to all matrices $M$ that satisfy an obvious necessary condition for polarization. While Arikan's theorem does not guarantee that the codes achieve capacity at small blocklengths, it turns out that a "strong" analysis of the polarization of the underlying martingale would lead to such constructions. Indeed for the martingale associated with $G_2$ such a strong polarization was shown in two independent works ([Guruswami and Xia, IEEE IT '15] and [Hassani et al., IEEE IT '14]), resolving a major theoretical challenge of the efficient attainment of Shannon capacity. In this work we extend the result above to cover martingales associated with all matrices that satisfy the necessary condition for (weak) polarization. In addition to being vastly more general, our proofs of strong polarization are also simpler and modular. Specifically, our result shows strong polarization over all prime fields and leads to efficient capacity-achieving codes for arbitrary symmetric memoryless channels. We show how to use our analyses to achieve exponentially small error probabilities at lengths inverse polynomial in the gap to capacity. Indeed we show that we can essentially match any error probability with lengths that are only inverse polynomial in the gap to capacity.Comment: 73 pages, 2 figures. The final version appeared in JACM. This paper combines results presented in preliminary form at STOC 2018 and RANDOM 201

Polar Codes for Arbitrary DMCs and Arbitrary MACs

Polar codes are constructed for arbitrary channels by imposing an arbitrary quasigroup structure on the input alphabet. Just as with "usual" polar codes, the block error probability under successive cancellation decoding is $o(2^{-N^{1/2-\epsilon}})$, where $N$ is the block length. Encoding and decoding for these codes can be implemented with a complexity of $O(N\log N)$. It is shown that the same technique can be used to construct polar codes for arbitrary multiple access channels (MAC) by using an appropriate Abelian group structure. Although the symmetric sum capacity is achieved by this coding scheme, some points in the symmetric capacity region may not be achieved. In the case where the channel is a combination of linear channels, we provide a necessary and sufficient condition characterizing the channels whose symmetric capacity region is preserved by the polarization process. We also provide a sufficient condition for having a maximal loss in the dominant face.Comment: 32 pages, 1 figure. arXiv admin note: text overlap with arXiv:1112.177

비동일 분포 병렬 채널을 위한 폴라 부호 기법과 인덱스 코드를 위한 연계 폴라 부호 설계 기법

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2015. 8. 이정우.본 논문은 Part I의 비동형 대칭 이진 이산 무기억 채널에서 채널 용량을 달성 하는 폴라 부호의 설계 기법 및 증명과 Part II의 비동형 이진 독립 무기억 채널에서 인덱스 부호와 폴라 부호의 연계기법을 통한 최적의 전송률을 달성하는 연계 기법에 대한 설계로 구성된다. Part I에서는 먼저 각 채널의 통계적 특성을 대변하는 채널 파라미터가 결정적인 형태로 부호기와 복호기에 주어지는 경우대 대해 다루며, 두번째로 이 파라미터들이 결정적이 아닌 랜덤한 값으로써 주어지는 경우에 대하여 적합한 폴라 부호 기법에 대해 기술한다. 후자는 다시 두가지의 하위 경우로 나뉘는데 하나는 모든 파라미터들이 단 하나의 확률 분포에 대한 실현값인 경우이고, 또다른 한가지는 각 파라미터들이 각각의 서로 다른 확률 분포의 실현값인 경우이다. 폴라 부호를 이용하여 결정적인 경우와 랜덤한 실현값으로 주이지는 모든 경우에 대하여 평균 채널 용량을 달성 할수있음을 증명한다. 이에 더해 결정적 채널 파라미터가 가정된 시스템에서 채널 입력으로 사용되는 정보 벡터의 치환 연산의 중요성에 대하여 논한다. 적절한 치환 연산을 이론적 상한값인 채널용량에 대한 수렴속도를 향상 시킬수 있음을 예시를 통해 보이고 휴리스틱 치환 알고리즘을 개발하여 달성 전송률 또는 시스템 신뢰도를 향상 시킬수 있음을 보인다. Part II에서는 폴라 부호와 인덱스 부호를 접합시켜 일종의 연계된 소스-채널 부호 설계 기법을 개발하고 제안된 기법이 최적의 전송률을 달성함을 보인다. 먼저 인덱스 부호에서 수신노드에서 송신노드로 전달되는 부가정보를 통해 그려지는 그래프가 완전그래프일때 항상 최적의 달성 기법이 존재함을 보이고, 이를 임의의 부가정보 패턴이 주어지는 경우로 확장한다. 완전 그래프가 그려지는 경우와 달리 임의의 패턴으로 주어지는 경우는 부가정보들이 특정 조건을 만족하는 경우에 한하여 최적 전송률을 달성하게됨을 보이고 이를 만족하는 인덱스-폴라 부호 설계 기법을 제안한다. 마지막으로 부가정보가 결정적으로 주어지지 않고 존재성을 표현하는 확률로써 주어지는 경우 제안된 연계기법을 이용한 평균 전송률에 대하여 논한다.Abstract i Contents iv List of Figures viii List of Tables xii I Polar codes for Non i.i.d. Parallel channels 1 Chapter 1 Introduction 1.1 Backgrounds 1.2 Scope and Organization Chapter 2 Polar codes with deterministic non-identically distributed channels 2.1 Non-identical channels with deterministic CP 2.1.1 The evolution of Symmetric Capacities 2.1.2 Achievable Scheme based on the symmetric capacity 2.1.3 The evolution of Bhattacharayya Parameters 2.1.4 Supermartingale Zn 2.1.5 Convergence of Zn 2.2 Channel mapping via the Interleaver Q 2.2.1 Exhaustive Search Method with Grouping 2.2.2 Heuristic method 2.3 Link failures: Puncturing operation 2.4 Polarizations on non-independent channels 2.5 Summary Chapter 3 Non-identical Binary Erasure Channels with random Erasure probabilities with Single distribution 3.1 Non-identical Binary Erasure Channels with random Erasure probabilities with Single distribution 3.1.1 Proof of Theorem 2 3.1.2 The Achievable Polar coding scheme 3.2 Random Erasure probabilities with non-identical distributions 3.2.1 Case1: Variable coding structure 3.2.2 Case2: Fixed coding structure 3.3 Summary II Polar codes schemes for Index Coded Systems Chapter 4 Nested Polar codes structures for Index codes 4.1 Introduction to Index codes 4.2 Nested structures for NC and Polar codes 4.3 ICPC for fully connected SI 4.3.1 General channel setting 4.3.2 Degraded channel setting 4.3.3 IC gain analysis 4.4 ICPC for Arbitrary SI 4.4.1 Proof of the Lemma 6 4.4.2 Proof of the Theorem 5 4.4.3 Achievable ICPC scheme for degraded structures 4.4.4 Proof of the Corollary 2 4.4.5 The ICPC scheme 4.4.6 Example: Partially Perfect Graph 4.5 ICPC for Probabilistic Side Information 4.5.1 Random ICPC for non-identical B-DMCs 4.5.2 Expected rate maximization 4.5.3 Expected achievable rate via Random graph 4.6 Summary Chapter 5 Conclusions 121 Appendix A A.1 Proof of (2.25) A.2 Proof of (2.36) A.3 Proof of (2.37) A.4 Proof of the number of equivalent channel combinations Bibliography Abstract in Korean 138Docto

Channel Polarization on q-ary Discrete Memoryless Channels by Arbitrary Kernels

A method of channel polarization, proposed by Arikan, allows us to construct efficient capacity-achieving channel codes. In the original work, binary input discrete memoryless channels are considered. A special case of $q$-ary channel polarization is considered by Sasoglu, Telatar, and Arikan. In this paper, we consider more general channel polarization on $q$-ary channels. We further show explicit constructions using Reed-Solomon codes, on which asymptotically fast channel polarization is induced.Comment: 5 pages, a final version of a manuscript for ISIT201